小红书- 宋德嘉(秦明)-小红书多模态内容生成技术分享.pdf

《小红书- 宋德嘉(秦明)-小红书多模态内容生成技术分享.pdf》由会员分享，可在线阅读，更多相关《小红书- 宋德嘉(秦明)-小红书多模态内容生成技术分享.pdf（27页珍藏版）》请在三个皮匠报告上搜索。

1、亿级社区内容背后的故事亿级社区内容背后的故事 小红书多模态技术探索与实践小红书多模态技术探索与实践秦明（宋德嘉）秦明（宋德嘉）小红书多模态算法团队负责人小红书多模态算法团队负责人秦明（宋德嘉）小红书多模态算法团队负责人“小红书社区技术部多模态算法团队负责人。当前主要负责多模态内容理解、AIGC、智能编辑等方向工作，推动相关技术在社区多个业务场景落地。在计算机视觉开源社区贡献多个开源项目，star 1k+。获得ICCV 2019 VOT 目标跟踪国际竞赛冠军。”讲师简介 概述：概述：一本生活的百科全书 定位定位：旅游攻略分享平台-复合型生活方式社区 用用户户：小众需求-大众生活健康健康遇事不遇事

2、不决决小小红书红书美食美食旅游旅游小小众内众内容破圈容破圈陆冲陆冲飞盘飞盘CityCity WalkWalk小小红书红书社社区业务区业务概述概述优优质内质内容是最容是最宝贵宝贵的的资产资产小小红书红书社社区业务区业务概述概述图图文文内内容容视频内视频内容容促进内容分享，帮助别人也是帮助自己创作者创作者消费者消费者高效获取高效获取轻松创作轻松创作智能创作工具内内容消容消费费内内容容创创作作个性化分发推荐|搜索数数十十亿亿数数百万百万参与共建回馈社区参与共建回馈社区索取内容获得帮助索取内容获得帮助既是受益者，又是贡献者既是受益者，又是贡献者普通人帮助普通人普通人帮助普通人小小红书红书社社区业务区业

3、务概述概述 业务业务特特点点内内容意容意图图：分享意分享意图为图为主主(喜好、外在、喜好、外在、经历经历等等)-)-真真实实作者构成作者构成：普通用普通用户户占占绝绝大多大多数数，女性比例高，女性比例高创创作作诉诉求：求：对内对内容精致度、容精致度、创创意要求高，工具足意要求高，工具足够简单够简单兴趣社交兴趣社交分享创作分享创作分享喜好分享喜好分享外在分享外在分享经历分享经历随手拍随手拍普通创作者普通创作者腰部创作者腰部创作者头部创作者头部创作者 核心核心业务问题业务问题让创让创作更有趣作更有趣让创让创作更作更简单简单算力成本控制算力成本控制智能特效智能特效-让创让创作更有趣作更有趣 用用户刚

4、户刚需需:这项这项技技术对术对于小于小红书红书的意的意义义不是炫技！不是炫技！创创作形式作形式：图像为主 x 年轻人 x 分享外在效果效果需求：需求：有创意 x 有艺术感 x 注重细节创创作效率：作效率：低时延发布（甚至接受异步发布），制作发布一体化 业务业务挑挑战战差异化差异化风风格定制：格定制：如何平衡生图效果 vs.效率(新鲜感/首发)?局部局部细节细节控制：控制：效果更加细致、稳定？拓展拓展创创新玩法：新玩法：如何基于成熟技术进行玩法裂变？丁丁达达尔尔重重彩彩油油墨墨背后基本技背后基本技术术原理？原理？AIAI绘画绘画工具工具:图片特效玩法更进一步，适合表达自我 过过往特效往特效:表情

5、控制、属性编辑、换脸等等VAE：基于变分下界约束得到的Encoder-Decoder模型对GAN：基于对抗的Generator-Discriminator模型对 深度生成模型：深度生成模型：训练阶训练阶段段拟拟合合数数据分布，在推理据分布，在推理阶阶段通段通过产过产生与生与训练数训练数据分布很相似的据分布很相似的图图像、像、视频视频智能特效智能特效-深度生成原理深度生成原理 扩扩散模型：散模型：高度高度语义语义一致、一致、视觉视觉效果逼真、出效果逼真、出图图高清、高清、风风格化能力格化能力强强扩扩散散过过程程去去噪噪过过程程从清晰图加噪开始加高斯噪声随机过程(马尔科夫过程)条件概率分布建模多步

6、完成如何做出差异化？如何做出差异化？【人物人物】纤细舒婉【颜颜色色质质感感】流行的插画风格现代感的颜色水墨质感的笔触现代古典元素结合国风国风智能特效智能特效-差异化差异化风风格定制格定制辅辅助助线线【人物人物】扁平人物【背景背景】未来赛博科技线 主要挑主要挑战战 风格高度依赖开源 citivai、huggingface、liblibai 风格集中在二次元，审美疲劳 小红书用户对细节要求高 问题问题解法解法 产运设自发脑暴，结合站内调性 垂直领域风格，从国风-拼贴 多维细节-人物/背景/元素/质感/颜色【动动物种物种类类】鲤鱼、喜鹊、仙鹤【两两岸商岸商铺铺】酒坊、花坊、茶铺、胭脂铺、糕饼铺、面馆