当前位置:首页 > 报告详情

将云供应商提升到一个新的水平:使用 Azure 数据砖解决复杂的挑战.pdf

上传人: 2*** 编号:139018 2023-06-04 76页 6.57MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了Akamai公司如何使用Azure Databricks解决大规模数据基础设施的主要挑战。主要内容包括: 1. Akamai公司面临的主要挑战包括:数据处理量达到10-14 Gbps,存储容量超过6PB,查询量达到每分钟数百次,每个查询可以扫描数百TB的数据。 2. Akamai公司采用了多种策略来解决这些挑战,包括:使用Kafka存储指向原始数据文件的“指针”,将数据管道拆分为多个部分以克服存储限制,避免过度调用存储API等。 3. Akamai公司还采用了Delta Lake作为开放表格式,并利用了Azure存储的高级预览功能,如区域存储。此外,他们还通过使用zstd压缩格式来减少数据存储量,并提高数据处理性能。 4. Akamai公司还通过采样技术来提高查询性能,同时对结果的准确性影响较小。 5. Akamai公司通过这些策略,显著提高了数据处理和存储的效率,并降低了成本。
如何解决云存储限制问题? 如何优化大规模数据基础设施? 如何提高大规模数据查询效率?
客服
商务合作
小程序
服务号
折叠