卢馨婷-大模型产品运营之路.pdf

《卢馨婷-大模型产品运营之路.pdf》由会员分享，可在线阅读，更多相关《卢馨婷-大模型产品运营之路.pdf（30页珍藏版）》请在三个皮匠报告上搜索。

1、演讲嘉宾：卢馨婷顺丰科技 大模型高级产品运营经理大模型产品运营之路分享顺丰科技AIGC应用的运营探索与思考目录0 1解密大模型产品运营0 20 3大模型产品如何运营0 4分享三个核心认知行业趋势及其他分享01 解密大模型产品运营什么是大模型？大模型：人工智能大模型（简称“大模型”）是指由人工神经网络构建的一类具有大量参数的人工智能模型。人工智能大模型是近十年来兴起的新兴概念。其通常先通过自监督学习或半监督学习在海量数据上进行预训练，然后通过指令微调和人类对齐等方法进一步优化其性能和能力。大模型特点：参数量大、训练数据大、计算资源大，拥有解决通用任务、遵循人类指令、进行复杂推理等能力。图片来自百

2、度百科图片来自顺丰内部分享大模型产品 vs 传统互联网产品特征传统互联网产品大模型产品交互核心菜单/表单、搜索、筛选、点击自然语言对话输入高度结构化、明确非结构化、模糊、复杂、自然语言处理逻辑规则引擎、数据库查询语言理解、知识推理、内容生成输出结构化列表、详情页整合性方案、个性化文档、动态建议个性化程度较浅(基于标签/历史)极深(基于对话上下文理解独特偏好)核心价值信息聚合、比价、标准化流程、效率理解意图、深度定制、信息整合、灵感激发用户角色主动探索者、决策者(自己拼图)需求提出者、方案审阅者(与AI协作)信息负担用户承担高(需自己筛选、比较、整合)AI承担高(用户聚焦需求定义和方案确认)灵活

3、性低(受限于预设选项)高(可处理复杂多变需求)创造性低(基于现有选项)高(可生成新颖组合和建议)确定性高(输入相同输出高度一致)相对低(输出可能有变化)技术基础数据库、Web服务、规则引擎大语言模型(LLM)、知识图谱、API集成02 大模型产品如何运营？从一个大模型产品说起t工作提效运费时效t作业陪伴语音助理实时服务人文关怀产品&服务推荐l 产品简介：小哥服务中心-智能问答机器人，旨在帮助小哥解决日常收派作业的疑难杂症，提升小哥作业效率，支持小哥图/文/语音互动，7*24小时贴心陪伴，提升小哥工作幸福感！收寄标准包装方案互联网产品运营 vs 大模型产品运营产品定义产品上线产品运营产品定义大模

4、型验证产品上线产品运营互联网产品运营大模型产品运营“大模型验证”是互联网产品运营和大模型产品运营核心差异，也是大模型产品运营的核心环节之一。大模型准确率FAQ/API/性能测试持续优化语料库数据指引产品迭代用户分层运营宣传推广使用5W1H小哥服务中心大模型验证：设定模型准确率为上线基准整体节奏：小范围测试-模型准确率达标-持续扩量-全量上线-周期抽检校验全量前上线基准：大模型准确率超95%（准确率衡量：P值=准确数/识别数）图片来自顺丰内部分享小哥服务中心大模型验证：模型测试保障稳定上线意图识别测试：数据打标-测试脚本-结果比对FAQ测试：根据问题返回结果分类，进行准确率核对，同时记录每个请求

5、的入参、返参和耗时性能测试：压力测试；3秒内出答案图片来自百度小哥服务中心大模型验证：上线后持续优化语料方式一：周期性抽检提升问答质量校验方式：大模型准确率=准确回答/抽检数量统计频率：双周抽检校验维度：相关性、准确性、完整性检验人：产品、测试、业务方式二：小哥语料库运营流程：TOP问答-语料准确性核验-语料调优用户分层运营 新工（0-6个月）特征：新工业务不熟悉策略：核心作业帮扶 独立上岗（6个月-1年）特征：已具备收派能力、需持续牵引质量提升策略：服务分、评价体系认知强化 熟练老员工（1年以上）特征：熟悉区域客户、操作流程、老员工制度引导策略：队长选拔、增收活动、专家问答产品功能升级 体验

6、升级：千人千面、个性化指引 语料升级：更加拟人化、场景化、业务化 产品升级：AI助手（有问必答）-全能助理（指引作业）-陪伴者（贴心伙伴）基础保障缩短响应时长、持续提升性能数据结合实践 运营数据看板产品核心路径埋点、模型指标监控交叉分析（人群、行为、事件）深入一线倾听小哥声音，尊重客观事实保持空杯心态，持续优化产品运营方式小哥服务中心产品运营智能问答类机器人的重在大模型验证和语料打磨，其他产品运营重点方向有三今年1月-6月小哥服务中心渗透呈增长趋势，累计渗透率+20pp，希望通过AI提升小哥在顺丰工作的幸福感。同时智能问答机器人也在顺丰营运、销售、办公等多场景复用，助力业务增长，提升办公效率。