一个Linux下的文件系统碎片整理工具

tmcco

Post by ProgramFan
我的 ReiserFS 现在慢得出奇 (emerge --sync)，看来还是用 ext3 算了，似乎 reiserfs 比较容易出碎片。
奇怪的是我用上面的工具检查 /usr/portage 居然说不用做碎片整理，但我的系统明明已经很慢的了。

抱歉，我很久没有用过Gentoo。一般来说处理大量小文件时Reiser3/4应该较为高效，不知道您的“emerge --sync”是否涉及很多磁盘I/O操作？另外defragfs报告结果对于Reiser3/4的默认模式均不准确（因为其tail-packing特色，可以关闭）

poppyer

hi, tmcco,你的实验非常的有意思
不过那个23%的ext3碎片率 和 3%的FAT碎片率是不是不可比较呢
因为碎片率=碎片文件数/总文件数. 会不会可能是FAT上总文件特别多？ (特别是小于簇的文件数, 因为这些文件肯定是无碎片的)
还有虽然23%的文件有碎片, 可能每个文件只是碎成少数几块？

所以我建议算一下"连读率", 也就是相邻两个簇属于同一个文件的概率
因为这个才是效率的关键, 不用寻道就可以继续读

不管怎么说,  你的这个研究很有意思.

ProgramFan

emerge --sync 的确有许多磁盘 io 操作，而且都是针对小文件的

tmcco

Post by poppyer
hi, tmcco,你的实验非常的有意思
不过那个23%的ext3碎片率 和 3%的FAT碎片率是不是不可比较呢
因为碎片率=碎片文件数/总文件数. 会不会可能是FAT上总文件特别多？ (特别是小于簇的文件数, 因为这些文件肯定是无碎片的)
还有虽然23%的文件有碎片, 可能每个文件只是碎成少数几块？

所以我建议算一下"连读率", 也就是相邻两个簇属于同一个文件的概率
因为这个才是效率的关键, 不用寻道就可以继续读

不管怎么说,  你的这个研究很有意思.

1, 23%的ext3碎片率和 3%的FAT碎片率都是由defragfs报告的。FAT32分区大约是93694个文件，总空间10GB，占用率75%，平均文件大小约80KB，簇大小默认。除了计算碎片率，还计算了平均碎片数目：总碎片数 / 总文件数，很明显1应该是最好的
File Fragmentation Rate:        3.73343010224774%
Avg File Fragments(1 is best):  1.12146989134843

2, “连续率”的确非常重要，我在实验中发现XFS在1024MB，50%占用率的测试中，在20次老化后平均性能跌至40%-50%，但是defragfs和xfs_db都汇报了极低的碎片率（如xfs_db仅仅是0.84%）。这不能够反应文件系统的性能损失：因为此时虽然每个文件均连续，但是文件系统的整体结构是极其分散的：
原：1112233334566..........
后：22...111..4...66...5...3333

tmcco

在看过这些页面之后：

http://defragfs.sourceforge.net/theory.html
http://defragfs.sourceforge.net/theory1.html
http://defragfs.sourceforge.net/theory2.html
http://defragfs.sourceforge.net/defrag.html

Theodore Ts'o（一位Linux文件系统和其它方面的大师）对这个项目做出了一些评论：

"I see you've done a lot of very careful measurements here. One thing
that is worth noting is that your tests can also be viewed as
modelling what happens within a single project directory in a much
larger filesystem, since most filesystems do use some kind of block
allocation group to try to keep related files (usually defined as "in a
single directory") in the same block allocation group.

So where I'm going with this is that while it is a good idea to think
about defragmenting filesystems, and it while I agree with your
premise that filesystems *do* fragment over time, and that it is an
overstatement to say that all Linux filesystems are fragmentation-free
--- it is better to have the filesystem to be as
fragementation-resistent as possible, rather than try to defragment
the system after the fact, as this is slow and subject to all sorts of
complicated race conditions (i.e., what if the file is in use when you
are trying to defragment it).

There is definitely more work that can be done to make ext3/ext4 more
fragmentation resistant, and in the end my personal belief is that
this is at least as important as defragmenters. That's not to say
that folks shouldn't work on defragmentation technology, but it would
be good if we could come up with benchmarks that would in fact
demonstrate that various defragmentation hueristics that depend on
filenames, or other characteristics that show up in real-life
scenarios, would actually make a difference."

食古不化

这位大师说得啥意思呢？

tommy007

用windows的时候我都不整理硬盘。。。。严重碎片的时候，一个文件就有几千个。。
解决方法，复制粘贴＝ ＝，如果磁盘有空的话。
linux的文件系统看起来比windows好的多，貌似没什么必要。
对桌面用户来说，整理一次硬盘要的时间和存取文件所多花费的时间不成比例。

tjzero

我经常emerge --sync  越来越慢 ，后来 我cp rm mv  portage

速度就快多了

gentoo里面没有碎片整理软件吧？

gnwd

这篇文章有些意思，先标注一下。

理论的分析当然重要，不过为了简单起见，可能大家还是希望看到个人的实际使用感受。一点不明白的是，好像都在说ReiserFS比Ext3文件系统要好，为什么大量发行版都是采用的ext3……

从前面的回帖来看，有一位使用reiserfs的说自己系统慢，而使用ext3的似乎还没有报告。

昨天我将老婆的thinkpad整理了一下(ntfs)，使用contig文件碎片整理工具，将一些常用文件（文件类型或者某些软件目录下所有文件）进行了碎片整理，个人主观感觉改善时明显的，避免了重新安装XP。

LongerZ

同楼上，关注下文件系统的磁盘碎片...
个人认为，对于使用中的内容，简单的rm ,cp一下可能有用。。。