智能钛机器学习平台计算优化实践.pdf

1、腾讯云智能钛机器学习平台计算优化实践腾讯云AI基础产品中心CONFIDENCIAL MATERIAL FROM TENCENT CLOUD#page#腾讯云一连接智能未来目录智能钛产品介绍01产品能力与核心价值TI-TensorFlow优化能力02智能钛定制版TensorFlow的技术优势TI-TNN推理技术03TNN模型推理方法介绍CONFIDENCIAL MATERIALFROMTENCLOUD#page#腾讯云连接智能未来智能钛机器学习平台介绍二夫速发展钛（Ti）是一种轻量级、高强度的金属，也是制造钢铁侠飞行战衣的材料。在人的重要的今天，智能钛机器学习平台（TI-ONE）作为腾讯AI战略

2、发展（TencentIntelligence组成部分，致力于让广大用户拥有如钛（TI）一般轻量级、高水准的体验，致力于为开发者提供（THONE）覆盖整个机器学习闭环的全流程、一站式（ONE）服务，这就是智能钛机器学习平台的含义和愿景。#page#开发者诉求分析腾讯云一连接智能未来用户现状智能钛风险大在线服务版本切换灰度发布、流量切换模型效果多版本比对横型服务调参久模型自动调参、参数/定时运行数据更新算法效果比对超参数调优调优机器学习：分类、聚类、回归门槛高NLP图算法图像算法.尊法深度学习：CNNRNNDNN-PYT6RCH维护繁项内置各框架各版本计算框架Caffe2计算资源、存储、网络CPU

3、GPU成本高底层资源效率优化CONFIDENCIAL MATERIAL FROM TENCENT CLOUD#page#智能钛机器学习平台能力模型腾讯云一连接智能未来解决方案层（内容审核/金融风控/推荐/搜索.）TI-ONETI-EMS客户特征产品能力核心价值数据调优模型维护算法开发业务流部署DevOps/CICD处理监控评估管理模型训练算法集施里式NtM快速交付/标准化系统接入/平台集成/模型市场服务能力模型管理/支撑计算优化算法优化/框架优化集群管理模型优化框架优化计算优化加速资源的高效利用资源管理弹性资源管理，池化低成本CONFIDENCIAL MATERIAL FROM TENCENT

4、 CLOUD#page#计算优化是永恒的话题腾讯云一连接智能未来f（x,y,z)=h（g（x，y），z）g（i,j）=i+j高级计算图语言需求：语言越接近人类时候计算效率越低h（p,q)=p*q符合神经网络的建模，结构化的体现计算过程巨大的神经网络几乎不可能用符号公式表达数据流建模神经网络的研究与开发集中在结构调整经济价值需求：算力昂贵，人工智能算力机渴成为业务瓶颈有现实商业需求背景计算架构需求Edsoltdso-冯诺依曼架构下存储带宽赶不上计算能力的发展通用CPU/GPU与AISC融合，出现AI计算专用能力（INT8/TensorCore）WOPOV1CONFIDENCIAL MATERIA

5、L FROM TENNCENT CLOUD#page#TI-ONE具备业界领先的训练能力腾讯云一连接智能未来2分31秒！腾讯云创造128卡训练ImageNet新记录1业界速度腾讯云速度大Batch收鱼机训终优化能福福视CPU云服务器焦群MLPerf最新发布的训练性能数据，腾讯云单机8卡Transformer训练时间比第二名快30%12）MLPe单机8卡V100https:/ MATERIAL FROM TENCENT CLOUD#page#优化实现降本增效的价值腾讯云一连接智能未来腾讯云视频分类服务，通过使用智能钛弹性模型推理服务TIEMS，推理服务成本降低62%TIEMS支持自动加速Face

6、bookDetectron框架推理性能1支持动态大小图片输入支持模型量化CascadeR-CNN+FPN模型优化前后推理性能对比（images/sec）部分优化贡献到开源社区212（提升160%）优化前优化后https/ MATERIAL FROM TENCENT CLOUD#page#腾讯云连接智能未来TI-TensorFlow文1、模型编译优化2、高维动态稀疏特征支持3、混合精度训练4、量化训练技术#page#模型编译优化腾讯云丨连接智能未来，模型的执行可以等效于程序的编译，因而模型的优化可以借鉴程序编译的优化方法 TensorFlow Grappler XLA (Accelerated