2018年从0到1云服务助力全民直播快速构建大数据平台.pdf

1、阿里云支持与服务专场从0到1，云服务助力全民直播快速构建大数据平台1挑战2解决方案3收益技术挑战直播实时性高、互动性强，对平台的稳定性、视频流的流畅度都有非常高的要求异常报警系统监控问题定位性能优化流量预警及时响应快速定位终端性能视频优化运营需求内容推荐用户运营主播价值市场营销平台营收解决方案ELKMysql+Web大数据平台面临困难工具繁多如何选型海量数据如何保证稳定如何保证数据安全成本紧张时间紧迫人员不足经验不足经费有限借助阿里云构建大数据平台运维成本低使用门槛低系统稳定高安全性非常灵活几乎零运维成本支撑海量数据几乎无故障工作人员响应很及时组件即开即用用最少的资源去试错表级权限管理非研发人

2、员也能独立完成数据报表需求全民大数据架构日志规范数据采集埋点用户事件载体规范先行信息齐全接收服务器数据采集逻辑简单，存本地文件Golang，单机QPS 2W+适当合并请求，支持protobuf，gzip压缩终端断网时暂存本地，等待离线上传数据采集相比 Filebeats、Flume等开源工具，性能更优Logtail 高效稳定，资源占用少，几乎不会影响线上服务实时采集配置简单，支持JSON、正则等多种模式部署方便，立即生效数据采集日志服务提供海量日志分析能力，可进行业务监控迅速定位用户行为轨迹实时查询数据采集StreamConpute可以直连日志服务，以监控业务，对直播视频实时护航投递到 Max

3、Compute 供离线计算数据投递直播视频实时护航视频流是直播平台的核心服务，视频流的稳定性直接影响到用户体验，继而影响平台收益监控弹幕信息全链路实时监控迅速响应快速定位多方积极配合切换节点切换线路完善监控完善流程数据体系MaxCompute 提供一站式数据仓库解决方案DataX 结合 tunnel 简化数据同步通过ACL和角色管理，实现数据隔离数据集成权限管理数据清洗任务调度可以设置周期时间可以定义依赖关系元数据管理DataWorks 数据管理提供完整的元数据信息2.爬取 DataIDE 接口获取任务元数据1.使用开放接口获取表结构信息表基本信息存储信息血缘关系通过爬取数据，完善元数据管理责任人信息数据分析挖掘支持Python直连PyOdps查询效率高Hive2.0Hive-proxyROdps使用方便支持更多开源工具支持R直连数据报表通过Hive-proxy连接MaxCompute图表展示丰富通过Log-grafana-plugin连接阿里云日志服务Hive-proxy开源数据分析工具Zeppelin灵活易用实时报表，业务监控让企业专注业务用户分群精细化运营主播挖掘内容推荐阿里云支持与服务专场