郑予彬-生成式AI提升开发者效能.pdf

1、中国DevOps社区峰会 2024 上海生成式AI提升开发者效能郑予彬 开发者布道师 亚马逊云科技目录当前生成式人工智能的趋势和挑战1技术革新与开发思维的变革2生成式人工智能赋能开发全流程3生成式人工智能对开发模式的影响41PART 01当前生成式人工智能的趋势和挑战如何对我的业务产生影响?怎么用在生成中?什么是大语言模型?什么是生成式AI?我需要成为prompt 的工程师吗?安全吗?如何选择模型?我应该从哪里开始?这些模型都有哪些特性?什么是基础模型?如何确定项目的优先次序?怎么在行业中创新?如何落地?如何降低成本?如何扩展?哪个模型适合这个应用场景?如何控制风险?我应该训练自己的模型吗?哪

2、种自定义手段适合我?人工智能政策和标准Agents多种模式多种模型72PART 02技术革新与开发思维变革计算能力推理能力预训练能力模型部署能力和推理架构兼容性弹性计算和有效成本数据传输和同步分布式系统和并行计算接口与适配的SDK模型选择应用集成和调用能力自定义能力全流程自动化智能化用于人工智能应应用构建的工具和服务务用于调调用大语语言模型和基础础模型构建应应用的平台计算能力推理能力预训练能力模型部署能力和推理架构兼容性弹性计算和有效成本数据传输和同步分布式系统和并行计算接口与适配的SDK模型选择应用集成和调用能力自定义能力全流程自动化智能化利用云环境云环境进行软件开发计算资源的可扩展性数据存

3、储和管理协作与共享成本优化安全与合规持续集成和部署最新技术支持用于人工智能应应用构建的工具和服务务用于推理和预训练预训练的计计算架构计算能力推理能力预训练能力模型部署能力和推理架构兼容性弹性计算和有效成本数据传输和同步分布式系统和并行计算接口与适配的SDK模型选择应用集成和调用能力自定义能力全流程自动化智能化使用通用数据集对于典型任务如分类，生成等自动进行评估，评价指标包括准确性、有害性和鲁棒性自动评估使用 统一的评价框架来组织自己的团队进行在自己的数据集上评估。利用自己的数据集合进行定制的评估如果您内部没有人力或专业知识，可以利用云供应商专家团队进行评估采用云供应商资源专业评估直接在控制台的

4、Playground 上试用不同的模型，比较成本、延时等Playground在迭代用例或模型时使用自动评估在定义使用场景并识别 FM 基础效果时使 playground当开始测试第一个原型应用或准备试运行时，带上自己的团队进行评估云供应商专业托管团队，为应用程序的生产发布提供专业的基础平台模型评估基础模型定制自己的数据利用自己的数据定制专属模型继续预训练微调检索增强生成生成式生成式AI的的Agent让生成式 AI 应用程序利用自己的系统和数据源执行多步骤任务观察结果借助Agent 将复杂任务拆解为分布操作思考下一步直至得出最终答案执行工具操作或搜索知识库保护数据安全和隐私不使用任何客户数据来训

5、练底层模型所有数据在传输和存储时均进行加密用于训练自定义模型的数据保留在您的虚拟私有云中支持多种标准，包括 GDPR 和 HIPAA用于调调用大语语言模型和基础础模型构建应应用的平台用于推理和预训练预训练的计计算架构计算能力推理能力预训练能力模型部署能力和推理架构兼容性弹性计算和有效成本数据传输和同步分布式系统和并行计算接口与适配的SDK模型选择应用集成和调用能力自定义能力全流程自动化智能化开发者是核心生产力开发者是核心生产力优化开发工具链提升生产力改善可维护性持续改进和创新优化开发体验优化开发体验，提高开发效率提高开发效率简化工作流程提升开发者满意度和幸福感开发发速度：实现的自动化和辅助功能

6、,有助于更快地完成编码、调试和重构等任务,从而提高整体开发速度和效率。满满意度：提供智能代码建议、自动补全和代码生成等功能,减轻开发人员的工作负担,降低认知负荷,从而提高开发人员的满满意度和幸福感代码质码质量：自动检测并发现代码中的错误和潜在问题,建议优化方案,并生成高质量的文档和注释,有助于提高代码质量和可维护性安全性：可以被训练用于检测安全漏洞和不当编码实践,为开发人员提供安全建议,从而提高应用程序的安全性。入门速度：对于新加入项目的开发人员,生成式AI可以生成代码解释和上下文文档,帮助他们更快地熟悉现有代码库