图片文件在各文件系统上的访问性能对比

研究分享:图片文件在各种文件系统上的访问性能对比

1 概述

某产品线的图片服务器存储数亿图片文件。 每个文件的大小在0.5k到100k之间,1K以下的文件数量在50%左右,1-4K的文件数量在40%左右,4K以上的文件数量在10%左右。 大量的文件存储对文件系统的性能要求很高。 特别是研究了当前行业常用系统在影像服务中的性能表现。

wwW。123456.Cn

由于在线闪存卡的故障率很高,我正在寻找替代解决方案。 磁盘能否满足在线系统的要求? 它是否满足未来的可扩展性(容量、文件数量)? 有没有更好的方法来处理数据同步使用时间?

2 预期的解决方案

1. 磁盘可以代替闪存卡吗?

wwW。123456.Cn

目前发现1Tflash卡的故障率极高。 在严重的情况下,它每周会损坏数次。 修复数据需要很长时间,至少需要6个小时。

2. 测试jfsreiserfsxfsext2文件系统在图片业务中的性能(读写)。

3 测试方法和结果

3.1 测试方法

1. 模拟线上环境并进行压力测试

搭建一套后续目前线上系统环境相同,提取7天所有线上日志,使用压力工具(可以模拟所有数据返回 ) 模拟在线环境进行压力测试(连续加压2小时以上)。

2. 使用磁盘测试工具测试设备性能

3. 比较磁盘占用的空间和inode节点数

4. 使用在线数据同步,测试同步所需时间

3.2 结果分析

1. 使用磁盘完全可以替代flash

wwW。123456.Cn

从模拟线上产品使用压力得出结论HP机器上使用jfs和ext2文件系统完全可以满足目前线上系统的需求,并且可以使用一段时间 未来的时间。 值为 2000。

2. 目前镜像服务的瓶颈是网卡

wwW。123456.Cn

在模拟在线压力测试时,除dell-reiserfs外的所有文件系统都可以达到网卡1G的峰值流量,随着时间的延迟,平均值 会减少,但是cpu会逐渐变得空闲,

wwW。123456.Cn

3. 在镜像服务中各种文件系统性能的业务测试中,得到如下结果

1) ext2在闪卡上的性能表现突出

2) 盘上的jfs更适合现在的线上业务

3)reiserfs占用的空间最小,比其他文件系统节省空间60%-65%

下表:

4. 修改在线图片更新脚本可以减少10%的时间,

5. 各个文件系统下的数据同步耗时完全不同,ext2在闪存卡上,jfs在磁盘上非常好。

下表:

6. 磁盘上,HP机器的小文件处理能力比dell更适合影像服务。