小米集团基于 Apache Doris 的 OLAP 实践.pdf

1、DataFunSummitDataFunSummit#20232023小米集团基于小米集团基于Apache Apache DorisDoris的的OLAPOLAP实践实践魏祚小米集团-数据库内核研发工程师Apache Doris Committer&PMC系统选型及应用现状系统选型及应用现状小米数据生态中的小米数据生态中的DorisDoris小米用户行为分析实践小米用户行为分析实践未来规划未来规划目录目录 CONTENTCONTENTDataFunSummitDataFunSummit#202320230101系统选型及应用现状系统选型及应用现状系统选型Apache Doris优势应用现状Da

2、taFunSummitDataFunSummit#202320230202小米数据生态中的小米数据生态中的DorisDoris小米BI平台架构数据工场统一元数据管理对上层的服务提供统一的元数据视图对上层的服务提供统一的元数据视图对所有存储资源进行统一的管理，形成统一的资源视角对所有存储资源进行统一的管理，形成统一的资源视角对所有的资源变更和访问，进行有效的审计对所有的资源变更和访问，进行有效的审计统一权限管理通过权限代理对上层用户屏蔽底层引擎的权限体系，实现统一权限管理。通过权限代理对上层用户屏蔽底层引擎的权限体系，实现统一权限管理。数据作业管理数据治理数据安全管理，隐私数据扫描及安全等级定义

3、数据安全管理，隐私数据扫描及安全等级定义数据质量管理，服务可用性监控和治理数据质量管理，服务可用性监控和治理数据成本管理，数据成本管理，数据分层存储及数据生命周期管理数据分层存储及数据生命周期管理DataFunSummitDataFunSummit#202320230303小米用户行为分析实践小米用户行为分析实践小米用户行为分析平台事件模型数据来源于各业务在网页或数据来源于各业务在网页或APPAPP上的埋点数据上的埋点数据用户在用户在网页或网页或APPAPP中的各种操作都会抽象成事件实体中的各种操作都会抽象成事件实体基于事件模型进行建模，实现用户行为分析基于事件模型进行建模，实现用户行为分析事

4、件分析事件：用户在网页或事件：用户在网页或appapp上的行为或业务过程上的行为或业务过程指标：即具体的数值，如页面访问量，访问时长等指标：即具体的数值，如页面访问量，访问时长等维度：可指定不同值的对象的描述性属性或特征维度：可指定不同值的对象的描述性属性或特征事件分析selectselect (a.time-1635696000000)div 3600000 as time,(a.time-1635696000000)div 3600000 as time,count(count(distinct if(a.event_name=download,a.distinct_id,null)dis

5、tinct if(a.event_name=download,a.distinct_id,null)as val1 )as val1fromfrom db_testdb_test.table_testtable_test a awherewhere a.date between 20230530 and 20230530 a.date between 20230530 and 20230530 and a.event_name in(download)and a.event_name in(download)group bygroup by 1 1havinghaving val1 is no

6、t null val1 is not nullorder byorder by 2 desc 2 desclimitlimit 10000 10000留存分析留存分析SELECT retention_count(c.retention_info)SELECT retention_count(c.retention_info)FROM(FROM(SELECT distinct_idSELECT distinct_id,retention_info(1664553600000,day,timestamp,CASE,retention_info(1664553