研究分享：图片文件在各种文件系统上的访问性能对比

1 概述

某产品线的图片服务器存储数亿图片文件。 每个文件的大小在0.5k到100k之间，1K以下的文件数量在50%左右，1-4K的文件数量在40%左右，4K以上的文件数量在10%左右。 大量的文件存储对文件系统的性能要求很高。 特别是研究了当前行业常用系统在影像服务中的性能表现。

由于在线闪存卡的故障率很高，我正在寻找替代解决方案。 磁盘能否满足在线系统的要求？ 它是否满足未来的可扩展性（容量、文件数量）？ 有没有更好的方法来处理数据同步使用时间？

2 预期的解决方案

1. 磁盘可以代替闪存卡吗？

目前发现1Tflash卡的故障率极高。 在严重的情况下，它每周会损坏数次。 修复数据需要很长时间，至少需要6个小时。

2. 测试jfsreiserfsxfsext2文件系统在图片业务中的性能（读写）。

3 测试方法和结果

3.1 测试方法

1． 模拟线上环境并进行压力测试

搭建一套后续目前线上系统环境相同，提取7天所有线上日志，使用压力工具（可以模拟所有数据返回 ) 模拟在线环境进行压力测试（连续加压2小时以上）。

2. 使用磁盘测试工具测试设备性能

3. 比较磁盘占用的空间和inode节点数

4. 使用在线数据同步，测试同步所需时间

3.2 结果分析

1. 使用磁盘完全可以替代flash

从模拟线上产品使用压力得出结论HP机器上使用jfs和ext2文件系统完全可以满足目前线上系统的需求，并且可以使用一段时间 未来的时间。 值为 2000。

2. 目前镜像服务的瓶颈是网卡

在模拟在线压力测试时，除dell-reiserfs外的所有文件系统都可以达到网卡1G的峰值流量，随着时间的延迟，平均值 会减少，但是cpu会逐渐变得空闲，

3. 在镜像服务中各种文件系统性能的业务测试中，得到如下结果

1) ext2在闪卡上的性能表现突出

2) 盘上的jfs更适合现在的线上业务

3）reiserfs占用的空间最小，比其他文件系统节省空间60%-65%

下表：

4． 修改在线图片更新脚本可以减少10%的时间，

5. 各个文件系统下的数据同步耗时完全不同，ext2在闪存卡上，jfs在磁盘上非常好。

下表：

6． 磁盘上，HP机器的小文件处理能力比dell更适合影像服务。