2019年在线教育行业中视频理解的应用.pdf

《2019年在线教育行业中视频理解的应用.pdf》由会员分享，可在线阅读，更多相关《2019年在线教育行业中视频理解的应用.pdf（20页珍藏版）》请在三个皮匠报告上搜索。

1、全球化共享教育模式全球化共享教育模式走向爆走向爆发发|0123456780102030405060702014年底只年底只有有102名学名学员员学学员突破员突破1万万学学员突破员突破10万万2019年年4月月学学员突破员突破60万万教教师突破师突破7万万与与TESOL国国际联盟合作际联盟合作与美国国家地与美国国家地理学理学习合作习合作成成为为ETS大大陆地区唯陆地区唯一一钻石级合作伙伴钻石级合作伙伴与与HMH达成达成独家独家战略合作战略合作产品打磨期口碑升温期国际化发展期付费学员量（万）我们是在线教育公司；同时，也是一家视频内容公司每天在VIPKID 平台上，产生超过400W分钟、30T的视频

2、数据。每年累计达10PB+的视频内容|直播、长短视频行业的火爆，数据量呈指数增长。应用场景也从审核、编辑过度到围绕内容理解的推荐产品、视频内容创作；从提升产品的用户体验、内部运营效率等需求角度驱动视频内容理解技术的发展。|视频内容理解的背景，从人工到机器的大趋势视频内容理解的背景，从人工到机器的大趋势审核内容创作搜索推荐|深度学习的兴起，带来视频内容理解快速发展深度学习让视 频内容理难度大幅降低2个步个步骤：数据标注、模型调优构建骤：数据标注、模型调优构建在人在人脸检测识别、物体检测、表情识别、语音识别等基础算法领域脸检测识别、物体检测、表情识别、语音识别等基础算法领域提升巨大提升巨大传统机器

3、学习 算法下的计算机视觉语音5个步个步骤：数据标注、图像语音预处理、特征提取、特征刷选、骤：数据标注、图像语音预处理、特征提取、特征刷选、模型模型调优构建调优构建依依赖专家领域知识、特征工程复杂度高，赖专家领域知识、特征工程复杂度高，特征反复特征反复调试成本大，效果预期不明显。调试成本大，效果预期不明显。每天待处理超10亿张亿张图片每天待处理超400W分分钟钟语音|基基础数据庞大，数据处理挑战大础数据庞大，数据处理挑战大基基础技术，自研第三方技术厂商通力合作础技术，自研第三方技术厂商通力合作第三方技术厂商：阿里云、腾讯云、亚马逊云、Face+、驰声|AI人脸识别手势识别情绪识别光线检测教具识别

4、断网识别语音评测语音识别音视频截取鼓励词识别语音互动识别听不懂指令识别专注度识别图像合成纠音识别语速识别鉴黄识别年龄识别知识点提取机器翻译PPT停留时长UA完成情况沉默识别光线背景识别部分部分脸识别：脸识别：在机器审核课程质量评估精彩片段等项目中，核心的误召回来自于老师、学生的部分脸识别效果较差。前后标注和优化了多次模型，做为人脸识别的补充，额外多召回脸部10%。|部分部分脸识别从产品需求出发脸识别从产品需求出发1.手手势识别势识别2.手手势分类势分类|多种特定手多种特定手势识别，从检测到手势分类势识别，从检测到手势分类模型名称模型名称训练数据训练数据召回率召回率速度速度模型版本模型版本Fas

5、ter_rcnn_resnet101350340.80%0.75s 1.3hzV0.0.12SSD_mobilenet350343.55%0.065s15hzV0.1.141433748.28%V1.0.032233269.49%V1.1.095805267.92%V1.1.17RFCN_resnet1012233275.93%0.4594s2.17HZV1.2.065805279.02%V1.2.16RFCN_mobilenet2233276.27%0.069s14hzV2.0.13V2.1.215805277.52%|多种特定手多种特定手势检测势检测|机器审核 敏感信息 学生纪律 迟到早退

6、 非本人上课 遮挡镜头 老师精神状态机器审核让效率提升100倍|学生水平及学习情况AI看课（学生侧）回放反应时长听懂指令情绪师生互动次数最大沉默时长AI量化学生每节课学习情况发音总时长语速专注度知识掌握度答题正确率AI看课课堂质量评估，提升教学效果|外教风格及服务质量AI看课（学生侧）回放纪律PPT完整度课堂背景师生互动次数无精打采AI量化学生每节课学习情况发音总时长语速教具手势情绪AI看课课堂质量评估，提升教学效果老师鼓励：难点1：鼓励多种多样 手势鼓励：手势识别 语言激励：语音识别 NLP 道具激励：物体识别难点2：鼓励的有效性|AI看课课堂质量评估，提升教学效果|无精打采连续语音、图片构

7、建的分类模型 脸部位置 手势位置 语音交互 语音-MFCC 表情识别分类模型01AI看课课堂质量评估，提升教学效果1.课件切割2.对话切割|TeacherStudent候选片段1候选片段2精彩片段自动挖掘用户兴趣点，引爆社交媒体.人脸检测识别 手势识别分类 表情识别 语音识别 连续情感识 噪音识别|候选片段1候选片段2候选片段N视频合并模型预测M0101特征提取&离散化精彩片段自动挖掘用户兴趣点，引爆社交媒体3.精彩片段精彩片段选取和排序选取和排序自动精彩片段截取，用户分享意愿超高|精彩片段自动挖掘用户兴趣点，引爆社交媒体基于评价结果调整学员特征、能力模型等数据，智能生成新的自适应学习内容、学习方案和练习内容，形成学习行为的数据闭环通过CT（Computer Test）和TC（Trial Class），多维度测试题目智能测试学员，形成学员肖像、能力模型基于学员测试结果，智能推荐自适应学习内容、提供个性化学习方案，在内容上和节奏上为学员搭建最佳学习路径水平水平测试测试学学习报告习报告个性化个性化学学习方案习方案|个性化教学的基础，师生匹配的学习目标Thanks