理论教育 PaaS设计:提供的平台解决方案

PaaS设计:提供的平台解决方案

时间:2023-06-17 理论教育 版权反馈
【摘要】:PaaS平台的技术特色如下:平台中面向SaaS的文件数据体系,面向大规模小文件业务:设计百亿个小文件的高效存储和访问,面向快速置换、实时要求高的大量流式数据;设计高速访问的大文件临时中转系统而不影响硬盘的读写寿命面向数据量大但访问压力相对小且实时性要求不高数据。IFS磁盘不分组,磁盘损坏时,数据块的恢复可以从集群内所有磁盘读取,写入系统内所有磁盘中,可以做到1TB数据30分钟恢复。

PaaS设计:提供的平台解决方案

智能业务云平台PaaS面向硬件基础设施的屏蔽能力清单,如表4-6、表4-7、表4-8:

表4-6 IT设备

表4-7 网络设施

表4-8 终端系统(几年变化预测)

iPON智能终端一体机会停发,转为发放iPON网关+智能IP机顶盒,iPON网关+智能电视机在2019年逐步上量,后续逐渐成为主流,EPON+LAN网络+Linux高清机顶盒和高清机顶盒(单向)逐步被iPON网关+智能IP机顶盒和iPON网关+智能电视机所取代。

PaaS平台的技术特色如下:

平台中面向SaaS的文件数据体系,面向大规模小文件业务:设计百亿个小文件的高效存储和访问,面向快速置换、实时要求高的大量流式数据;设计高速访问的大文件临时中转系统而不影响硬盘的读写寿命面向数据量大但访问压力相对小且实时性要求不高数据。深度优化的hadoop数据仓库,大幅度提升检索速度和局部实时性检索要求。

分布式存储服务:磁盘文件系统实际存储数据的磁盘,直接使用裸盘存储,不使用标准的ext4 xfs等文件系统,裸盘自定义文件系统,压缩与精简文件片段元数据,文件片段元数据直接加载内存(4TB磁盘消耗100MB以内的内存大小),读文件只产生一次磁盘IO,能将磁盘性能全部发挥出来;超大视频文件存储由于IFS对文件切片,文件的所有切片与冗余片均匀分布于ifs存储集群所有磁盘,文件IO输出能力强劲;小文件存储:对小的几十KB~1MB的大量小文件采用不同的存储策略,小文件使用备份存储,磁盘存储介质可以使用机械磁盘,或SSD固态磁盘,小文件数量多但占用磁盘空间并不大,使用SSD固态磁盘成本并不高。单文件均衡对单文件的分布情况进行检测,对于单文件在集群内的磁盘分布不均匀的情况进行整理和迁移,以达到整体均匀;系统数据均衡和扩容在集群范围内数据自动抹平,支持磁盘掉线再上线,系统扩容的数据自动均衡;热点缓存系统存储服务器网络IO性能不足情况下,可以扩展IO缓存系统;IO缓存系统分为缓存控制服务与缓存数据服务,缓存控制服务一般配置2~3台以支持高可用,缓存数据服务可以配置任意多台。

数据分块冗余备份策略:一般分布式文件系统通常采用三备份制模式对数据进行冗余备份,数据冗余度为300%;IFS文件系统对文件进行分块存储,冗余数据采用数据编码模式,支持4+2、6+3、8+4等经典模式,数据冗余度为150%,节省一半磁盘空间;服务器和交换机数量也支持M+N的自定义模式,例如4+3、6+4、8+6、28+4等等。

与传统文件系统差异(www.daowen.com)

磁盘部分差异:传统文件系统即ext4文件系统。ext4之类的文件系统,数据索引存储于磁盘且在不同的位置,一次读取会带来多次的磁盘IO,且元数据太多,文件建立时间、修改时间、文件的inode编号等,其他很多不需要的信息。

IFS使用裸磁盘文件系统,简化压缩元数据,只保留必要的一些元数据,文件分片索引数据预先导入内存(4TB的磁盘写满文件,索引数据占用内存100MB以内),一次文件读取行为只产生一次磁盘IO。

单文件存储差异:传统文件系统单个文件以操作系统文件的方式存储于单个ext4文件系统内,单文件如果为热点,只能提供N备份所在的N块磁盘的输出能力。更适合短视频存储输出,并不适合高清视频存储和输出,对大量小文件例如1亿以上也显得不合适,因为最终文件存储于ext4文件系统,单盘文件数量800万性能下降会很严重(ext4文件系统多级索引导致)。

数据冗余备份策略差异:传统文件系统数据冗余备份方式为备份制,2备份或者3备份。IFS数据冗余备份方式为编码制,支持4+3、6+3、8+4等经典模式,更安全的4+3、6+5等模式,更加节省磁盘空间的28+4模式等,经典模式下数据冗余备份为150%,相比3备份模式300%,节省一半的磁盘、服务器、交换机和机房空间。

数据恢复能力差异:传统文件系统不支持数据恢复,即使由外部对磁盘采用group方式分组,group内磁盘损坏,数据只能从group内其他磁盘恢复到新磁盘,一块4TB的磁盘损坏需要24小时左右完成恢复。

IFS磁盘不分组,磁盘损坏时,数据块的恢复可以从集群内所有磁盘读取,写入系统内所有磁盘中,可以做到1TB数据30分钟恢复。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈