2017年存储世界不止如此-EB级存储引擎背后的技术.pdf

《2017年存储世界不止如此-EB级存储引擎背后的技术.pdf》由会员分享，可在线阅读，更多相关《2017年存储世界不止如此-EB级存储引擎背后的技术.pdf（32页珍藏版）》请在三个皮匠报告上搜索。

1、T02T02技术发言n 技术发言n 存储世界，不止如此-0-级存储引擎背后的技术 T02T02技术发言n 技术发言n 摘要 e要分mq2006开始，腾讯内部q无存储平台到存储量达0-级别的T1S2.0存储平台这一过程b所经历的技术问题。在社l图片和视频盛行的时s，存储系统的设计和运营如何进行适配，揭秘微信c2c图片和视频如何提升体验、降低成本，t及在云时s，腾讯是如何开放内部的存储技术的。T02T02技术发言n 技术发言n 内容%.0-级存储系统的发展过程 2.图片时s存储设计t及在运营上的思考 3.视频时s的存储设计t及在运营上的思考 (.云时s的开放g路 T02T02技术发言n 技术发言n

2、 存储数据增长趋势及内容分布 文v,%图片,)+%视频,32%文v类型分布 文v类型分布 010020030040050060070080090010002006.052007.122009.042012.062017.010P1P10P100P1000P存储量增长趋势存储量增长趋势 T02T02技术发言n 技术发言n 混h时s a务z多，各自存储 方案多样，运营复杂 性能低，成本高 容灾不完善 6?js?Apache?CGI1?CGI2?memcache?mysql?h6?T02T02技术发言n 技术发言n 存储的第一s需求 U2.a务爆发，37扛不住 频繁扩容，运维伤不起 存储成本高 T0

3、2T02技术发言n 技术发言n T1S第一sg4V存储系统 经典三层架构 接口简单，快速接入 一致性哈希分布 易扩展，高性能 半自动化运营 HANDTDB Library?SetGetDel?MasterCELLHANDHANDCELLCELLCELLCELLCELL?T02T02技术发言n 技术发言n 通用协议 20TVS0TV/050T0 接口通用 bFdVPFdVGBT（OPrFnDY 40Y通用 ValuB（OPrFnDY 返回通用 4V系统，异构升级的基础 T02T02技术发言n 技术发言n 扩展性设计V自动分裂 0-99?tablet?100-199?tablet?999900-9

4、99999?tablet?0-99?59-99?0-49?T02T02技术发言n 技术发言n 高性能保证?OLag?4?I?2?h?1?V?2?OL?OL?V?T?8?%?%?2?2?0?-?He?OL?H?H?a?a?T02T02技术发言n 技术发言n T1S第一sV文v系统 Id)cEG Id)IaOPBr FdSIaOPBr uOBrFdS CFlBFdS cESIaOPBr/U cESd/U cESd/U cESd/U cESd TrSd 6TOMl/T/-LrBuLlKad EPPLOvr T02T02技术发言n 技术发言n 37调度 masterchxd1chxd2ChxdNChx

5、dN+1?chxd?chxd77Master?chxd?T02T02技术发言n 技术发言n 空间管理 2123?21?3?213?213?4T02T02技术发言n 技术发言n T1S上线解决ipf问题 UIN?Album1 Pic1_1 Pic1_2?AlbumN PicN_1 PicN_2?.?.?10ms.?Picdata1_1?Picdata1_3?Picdata1_2?Picdata1_4?Picdata1_N?2RMB.?TB?4?G.?(?5?,set?)Set1Set2SetNT02T02技术发言n 技术发言n 图片时s的来c 0500100015002000?(G)?(G)数百

6、数百8-8-存储存储、T T级下载带宽级下载带宽。日上传数十o次日上传数十o次、日下载数千o次日下载数千o次。T02T02技术发言n 技术发言n 图片时s存储系统遇到的挑战 文v小，)0%删除 吞吐极大 T02T02技术发言n 技术发言n 图片定制存储系统?server?4?4?server?cache?TFS?/?server?4?4?(?)?SDK?hNp?SDK?IDC?4?T,?,?webp/jpeg?s?0?0?99%?s?4?CDN?Cache?Webp/Jpeg?4?T02T02技术发言n 技术发言n