智能语音在字节跳动内容平台上的应用-殷翔v5.pdf

1、智能语音在字节跳动内容创作方向上的应用殷翔字节跳动AI-Lab智能语音-语音合成 Leader个人简介学业经历学业经历 中国科学技术大学语音国家工程实验室硕博连读，研究方向是语音合成中的神经网络声学建模方法研究 自读研起进入语音领域，至今已有10年语音产品技术研发经验工作经历工作经历 加入字节前就职于腾讯，负责小微音箱、QQ空间魔音说说等产品的智能配音和歌唱玩法 2018年加入字节跳动人工智能实验室，负责音频生成算法团队智能语音赋能内容创作短视频创作套件有声书生产平台未来展望 团队使命和愿景AI歌曲创作流程团队使命和愿景AI Lab智能语音团队技术框架我们的愿景建立工业界领先的智能语音解决方案

2、和技术平台智能语音赋能内容创作有声书生产平台音频市场调研 字节-番茄小说APP在移动阅读领域活跃度较高 番茄小说文字内容需要有声化 移动阅读在装保持在6亿，MAU约3.2亿 在线音频MAU为4.6亿，25年增长到8.9亿人工审听自动化生产高品质AI音色库成本高周期长音色单一真人有声制作痛点AI有声解决方案质量把控难人工辅助修正解决真人有声制作痛点番茄有声书效果展示多播效果配乐效果方言效果番茄有声书业务提升成熟大叔音、甜美少女音等5个优质单播音色完成了全量书籍的覆盖多人播讲、自动化后期、方言等方向的尝试，均取得了良好的数据反馈，正在扩量中听书功能的业务渗透率逐月提升真人主播真人主播AIAI有声有

3、声AI有声小说技术框架角色分配剧本阅读进棚录制审听修正错误补录后期制作人物库构建对话人物归属文本情感判定音色配置人物提取特征分析指代合并对话切分角色判定情感语音合成后期制作旁白：成熟大叔 清纯少女主角：刚正青叔 坚韧少御配角：反派大叔 慈爱大妈AI编剧：长文本理解1.1.人物库构建人物库构建：这本小说中有哪些角色？2.2.对话人物归属对话人物归属：这句话是谁说的？3.3.文本情感判定：文本情感判定：这句话要用怎样的情感表达？人物库构建对话人物归属文本情感判定音色配置人物提取特征分析指代合并AI情感语音合成后期制作对话切分角色判定*篇章理解：A Chapter-Wise Understandin

4、g System for Text-To-Speech in Chinese Novels,J-J Pan,etc,ICASSP 2021小说原始文本五少奶奶饶景君出生将门，父兄皆是久战沙场的将军。而她本人也是自幼受家庭影响，对武艺也颇有了解。就拿她此时舞的工剑术来看，每一招每一势都是那么形健骨遒，端庄势整。舞剑毕，饶景君深深地吐了一口气，只听得门外有人拍手道好。转身一看，竟是四少奶奶和她的丫鬟翠柳。饶景君面无表情，轻轻行了一礼，道：“见过四少奶奶。”林暮寒面带笑容，眼露惊羡之色，开着玩笑道：“没想到妹妹的剑法竟耍得这样好，平日里，我少见妹妹出来行走，原来是躲在家里练神功啊！”饶景君淡淡一笑，

5、道：“姐姐说笑了，我不过是闲来无事，找找乐子罢了。”饶景君这人向来比较冷漠孤傲，不喜与人打交道。现在见林暮寒站在门口，也不请进门来。林暮寒到很不客气，自已一边说着话，一边就走进门来了。“我向来崇拜能文能武的女子，今日得见妹妹耍得一手好剑法，真是羡慕不已，若是来日妹妹能传授一二，那可真是太好了。”饶景君面无表情地道：“难得姐姐不嫌妹妹粗野，但若说能文能武，实则抬举，妾身万不可当。若论文，妹妹哪敢与大少奶奶相比，大少奶奶出身官宦世家，又乃书香门弟，自是才貌双全。至于武，妾身也不过略懂一些花拳绣腿而已，让姐姐见笑了。”林暮寒拉着饶景君的手，道：“妹妹不必如此谦虚，我是真心觉得妹妹的剑耍得好，我出身寒

6、微，打小没受过什么良好的教育，所以羡慕那些能文能武之人，只可惜如今年岁已大，就算现学来恐怕也迟了。”饶景君见林暮寒似乎真心对武艺有兴趣，于是，便道：“武学与年岁无关，姐姐若是真心想学，妹妹教姐姐便是。”林暮寒惊喜地叫起来，道：“妹妹可当真？”饶景君点点头，道：“嗯。”林暮寒顿时高兴得忘乎所以，竟露出了二十一世纪的女性本色，重重地在饶景君额头上亲了一口，道：“唉哟，我爱死你了！”饶景君被她这一反应搞得有些难为情。这时，翠柳提醒道：“四少奶奶，我们该回去了，等会种花师傅还要送花来呢。”林暮寒拉着饶景君的手，又道：“我还有事就先走了，改日再来向妹妹请教。”饶景君道：“姐姐慢走！”林暮寒和翠柳刚回到西