A2--赵恒--AI生成代码的质量、合规风险及对策.pdf

1、AIGCode的质量、安全、合规风险及对策赵恒Black Duck 高级安全架构师赵恒Black Duck 高级安全架构师就职于Black Duck软件安全公司，担任高级安全架构师。主要研究方向为软件应用安全，包括SAST、IAST、DAST、SCA、Fuzzing、DevSecOps等多个细分领域。曾协助支持国内多家头部客户安全工具和服务项目的成功落地，具有丰富的项目管理和实施经验。目录C O N T E N T S1.AIGC 及及 AIGCode 的魅力的魅力2.AIGCode 的质量、安全、合规风险的质量、安全、合规风险3.AIGCode 的风险对策的风险对策4.AI in Black

2、 Duck Portfolio1.AIGC 及及 AIGCODE 的魅力的魅力AIGC 的演进ML机器自主学习（无需显式编程）NLP分析、理解自然语言DL高阶ML（自动提取特征）Neural NetworksLLM理解、生成自然语言GenAI依上下文生成新内容AI机器像人一样感知、思考、行动AIGCodeAIGCode 的魅力 效率显著提升“我需要按优先级从列表中选择项目的代码”生成式 AI 将颠覆软件编码，结合开发相关技术，程序员 30%的工作可被自动化。Gartner，AI 技术成熟度曲线，2023质量质量成本成本进度进度AIAI赋能软件研发赋能软件研发提质提质增效增效2.AIGCODE

3、的质量、安全、合规风险的质量、安全、合规风险质量：有报告表明，AIGCode 后，代码质量下行明显可维护性下降。AI总是倾向于做加法：新增/复制为主/多出1/3 删除/更新/移动为辅 GitClear,Coding on Copilot:2023年数据表明代码质量面临下行压力4年来的代码变更率GitClear 分析了 2020.01 2024.12 修改的 1.53 亿行代码，以评估代码质量差异质量下降。提交两周内就修改的代码行占比：2020(3.3%)2023(7.1%)翻番预计 2024 比 2021(AIGC前)再翻番4年来的代码变动情况（loc）安全：有研究表明，AIGCode 并不那

4、么安全35.8%包含安全漏洞C+代码漏洞最多涉及 42 种 CWE其中 11 种属于 CWE Top 25-2022Security Weaknesses of Copilot Generated Code in GitHub(Oct.,2023)Is GitHubs Copilot as Bad as Humans at Introducing Vulnerabilities in Code?(Aug.,2023)在各种漏洞类型上的表现不同在引入漏洞方面不像人类那么糟糕生成代码中漏洞未修复的几率：1/3生成代码中漏洞已修复的几率：1/4安全：AIGCode vs 人工代码AI更擅长规避某些（

5、比如语法类）漏洞，如：CWE 787-Out of bounds WriteCWE 79-Cross Site ScriptingCWE 416-Use After FreeCWE 125-Out of Bounds ReadCWE 190-Integer OverflowCWE 119-Improper Restriction of Operations但，AI更容易受外部输入/数据的影响，如：CWE 20-Improper Input ValidationCWE 502-Deserialization of Untrusted DataCWE 78-OS Command Injection

6、CWE 22-Path TraversalCWE 434-Unrestricted Upload of File with Dangerous TypeCWE 522-Insufficiently Protected Credentials合规：AIGCode 可能引入 IP 合规风险 软件吞噬世界、开源吞噬软件、风险吞噬开源 OSS 是 LLM 训练数据的重要来源 AIGCode 中很容易夹杂存在着 license 合规风险的 OSS 组件/片段生成 Code 的 LLM 本身也面临着 10 大安全威胁LLM01提示词注入通过设计提示词（输入）操纵LLM 执行恶意操作LLM02不安全的输出直