姬军翔-Servless助力大语言模型工程化实践.pdf

《姬军翔-Servless助力大语言模型工程化实践.pdf》由会员分享，可在线阅读，更多相关《姬军翔-Servless助力大语言模型工程化实践.pdf（33页珍藏版）》请在三个皮匠报告上搜索。

1、演讲人：姬军翔目 录01LMSI模型02LLM应用案例分析03Serverless最佳实践04回顾和总结LMSI1.应用层(Application Layer)2.表示层(Presentation Layer)3.会话层(Session Layer)4.传输层(Transport Layer)5.网络层(Network Layer)6.数据链路层(Data Link Layer)7.物理层(Physical Layer)OSI 7层网络模型1.应用层（安全和用户管理，部署）2.优化层（提示词的自动优化）3.控制层（合理的分片逻辑/并发推理等）4.提示约束层（单独的前置/后置合规模型）5.提示层

2、（多种提示模块的组合）6.神经网络层（单个或多个大语言模型）7.算力层（GPU/CPU）LMSI低高https:/ Transformers云厂商1应用层2优化层3控制层4提示约束层5提示层6神经网络层7算力层案例分析某游戏公司需要翻译游戏的多语言版本，因为存在较多游戏中特有的地名，人名，机器翻译的效果不好，主要是人工翻译为主，翻译的时间根据工作量的不同从数天到数周不等，业务团队希望利用大语言模型加速翻译过程并降低翻译成本。mapping:CHS:奇怪的渔人吐司,CHT:奇怪的漁人吐司,DE:Misslungene Fischerschnitte,EN:Suspicious Fisherman

3、s Toast,名称名称互联网信息服务深度合成管互联网信息服务深度合成管理规定理规定生成式人工智能服务管理暂行办法生成式人工智能服务管理暂行办法信息安全要求第七条 深度合成服务提供者应当落实信息安全主体责任安全主体责任，建立健全用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置等管理制度管理制度，具有安全可控的技术保障措施技术保障措施。输入输入 InputInput第十一条提供者对使用者的输入信息和使用记录应当依法履行保护义务，不得收集非必要个人信息，不得非法留存能够识别使用者身份的输入信息和使用记录，不得非法向他人提供使用者的输入信息和使

4、用记录。输出输出 OutputOutput第九条提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务。涉及个人信息的，依法承担个人信息处理者责任，履行个人信息保护义务。用户个人信息保护(PII)客户专有数据开源模型小模型数据科学家Session/缓存知识库/RAG中国区合规跨境数据网关跨境数据传输服务大模型最佳实践用Serverless承载大模型应用Cloud Programming Simplified:A Berkeley View on Serverless Computinghttps:/arxiv.org/abs/1902.03383v1FaaSBaaSServerless

5、$tree helloworldhelloworld/app.py requirements.txt chalicelib _init_.py utils.py vendor puppy.jpg$cd helloworld/.chalice/deployments$unzip f6epython3.6.zip d/tmp/unzipped/$tree/tmp/unzipped/tmp/unzipped/app.py chalice _init_.py app.py PIL BdfFontFile.py.MORE FILES._init_.py _imaging.cpython-36m-x86_

6、64-linux-gnu.so Pillow-5.3.0.dist-info chalicelib _init_.py utils.py puppy.jpgimport boto3from chalice import Chaliceapp=Chalice(app_name=helloworld)ec2=boto3.client(ec2)app.lambda_function()def make_aws_call(event,context):return ec2.describe_regions()helloworld/app.pyVersion:2012-10-17,Statement:E