当前位置:首页 > 报告详情

Java与大数据架构:08-仙隐-Data WareHouse, Data Lakes, What's Next.pdf

上传人: li 编号:29721 2021-02-07 24页 13.23MB

1、Data Warehouse, Data Lakes Whats Next? Xiaowei Jiang Apr 23rd, 2020 About Me Stratify Inc. 2000 - 2002 Member of Technical Staff 2002 Microsoft 2002 - 2010 Principal Software Engineer Facebook 2010 - 2014 Software Engineer Alibaba Group 2014 - Now Senior Director 2010 2014Now Use Case: Realtime Mach

2、ine Learning Kafka Search & Recommendation Preprocessing Feature Updates Model Updates Online Training Log Data Flink HBase More and more Complex Architecture Kafka Flink HBaseCassandra Realtime Ingestion Dim Table Join Subscription Dashboards Point Lookups More and more Complex Architecture Kafka F

3、link HBaseCassandra Realtime Ingestion Dim Table Join Subscription Dashboards Point Lookups More and more Complex Architecture Kafka Flink HBaseCassandra Realtime Ingestion Dim Table Join Subscription Realtime Analytics Realtime Ingestion ClickHouseDruid Reports Dashboards Point Lookups More and more Complex Architecture Kafka Flink HBaseCassandra Realtime Ingestion Dim Table Join Subscription Hiv

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要探讨了数据仓库、数据湖之后的未来趋势。作者介绍了自己的工作背景,包括在Stratify Inc.、Microsoft、Facebook和阿里巴巴集团的任职经历。文章提出了实时机器学习在不同场景下的应用,如Kafka、Flink、HBase等技术的集成使用,以及对应的复杂架构。作者指出,现有的数据处理架构存在硬件成本高、数据冗余、维护难度大等问题。在此基础上,文章提出了数据湖的解决方案,包括增量ETL、统一存储和分析处理等。最后,作者介绍了Hologres,一种云原生、异步无锁的内存管理技术,用于实现高效的实时数据处理和存储。文章强调了简化架构、统一数据存储和服务、以及高性能计算的重要性,旨在提高业务效率并降低总体成本。
"数据仓库与数据湖之后,下一步是什么?" "如何实现实时机器学习的高效架构设计?" "如何通过简化架构提升数据处理性能与降低成本?"
客服
商务合作
小程序
服务号
折叠