【斑马网络周海维】智能座舱交互的训练工作流实践与优化.pdf

1、智能座舱交互算法的训练工作流实践智能座舱交互算法的训练工作流实践周海维斑马智行 高级算法工程师01背景02选型03实现04回顾斑马智行斑马智行业务背景语义理解业务背景工作流框架选型单元测试，单元测试，单元测试测试部署的一致性易上手，可精通又来一个。（学习成本）移植成本高Flyte代码示例实施过三关集成关实现关推广关OSS集成Path style to Virtual hosted stylepatch stow，重新编译 FlyteAdmin FlytePropeller实现OSS persistent支持OSS多endpoint资源配额修改集成关集成关 任务间交互实现关 规划任务以大功能为任

2、务划分基本单元力求任务易于理解 清晰的输入输出定义 确保任务是无状态的 不追求任务复用任务之间不进行复杂逻辑控制 复杂逻辑跳转在Python代码实现使用日志记录中间过程配置规范化问题：存放位置分散文件数量多格式多样格式统一为YAML合并成：训练配置，数据处理配置，字典配置实现关 开发规范化代码规范化单元测试统一环境和特例Python2/3Tensorflow版本依赖使用conda解决依赖关系冲突注意：不要使用Dict参数来传递。所有数值都被转换成浮点。Issue2880利用OSS目录共享使用CSV文件接口支持不同版本实现关 数据处理插件代码共享困境版本同步文件复制submodule环境不一致理

3、解用法和限制推广关 部署过程1.打包（pyflyte pkg）静态编译Workflow/Task到Protobuf打包代码将上面两者合并打包2.注册（flytectl register）上传打包文件上传Metadata编译Workflow Closure并上传推广关-Flyte常见问题没有正确配置/.flyte/config.yaml没有使用task或workflow修饰符必须使用key=value形式传递参数在Workflow中不能对任务返回值进行操作（返回值是Promise类型）使用默认资源设置造成OOM回顾一开始从单元测试出发，通过引入Flyte来规范开发过程，提升了开发部署效率和代码质量。谢谢 谢谢 观观 看看thanks