付山阳-从安全角度看AGI到来的可能性.pdf

1、从安全角度，看AGI到来的可能性朱雀安全 付山阳曾任：平安银行信息安全部总经理曾任：腾讯云安全负责人曾任：yy安全通信公司技术合伙人曾任：开源网安副总裁&合伙人信息安全行业经验19+19+年在国内外主流信息安全会议发表主旨演讲11次。制定信通院安全标准和OWASP安全项目共 5 5 项申请并授予发明专利1313项 2018 年 带领平安口袋银行团队获得“亚洲银行家中国区最佳安全项目奖”，安全性指标国内第一安全性指标国内第一 2016年，GEEKPWN黑客比赛上，全球首次全球首次远程入侵人形机器人NAO 2019 全球安全开源组织 Owasp-区块链安全 top 10 项目 主编和组长，全球全球

2、首个首个区块链安全建设指引项目 主导平安集团和平安银行零售产品信息安全建设，最早互联网金融安全之一最早互联网金融安全之一 主导腾讯云的整体安全建设项目，最早腾讯云安全之一最早腾讯云安全之一 主导华为千兆级防火墙USG5000和防火墙USG2000系列产品的安全功能开发，最畅销的中端防火墙。最畅销的中端防火墙。2017年中国金融科技系列峰会受邀演讲者，业界首次分享业界首次分享-“金融人工智能的安全风险浅析”2016 年阿里安全峰会受邀演讲者，业界首次分享业界首次分享-“互联网金融安全实战浅谈”2016 第二届互联网安全领袖峰会受邀演讲者，业界首次业界首次分享-“机器人如何变身窃听专家”主要成果和

3、分享主要成果和分享个人介绍付山阳付山阳 朱雀安全朱雀安全 CTOCTOOpenAI CEO OpenAI CEO Sam AltmanSam Altman认为认为再解决再解决一两个一两个小问题就可小问题就可以进入以进入AGIAGISora的出现让行业很兴奋，豪言AGI会快速到来一英伟达英伟达 CEO CEO 黄仁勋黄仁勋 认为认为 5 5年年内就可以实现内就可以实现AGIAGISora的出现让行业很兴奋，豪言AGI会快速到来二360360董事长董事长周鸿周鸿祎祎 也认为也认为SoraSora意味着意味着AGIAGI的实现将从的实现将从1010年年缩短到缩短到一两年一两年Sora的出现让行业很兴

4、奋，豪言AGI会快速到来三老板们可以仰望星空，畅想未来！老板们可以仰望星空，畅想未来！我们做技术的得脚踏实地，分析可行的技术路径！我们做技术的得脚踏实地，分析可行的技术路径！Sora的出现让行业很兴奋，豪言AGI会快速到来四AGI的定义通常认知 AGI是指达到人类智能的AI水平DeepMind 将 AGI 定义为应该能够完成人类几乎可以完成的任何认知任务的系统，OpenAI 将其描述为在最具经济价值的工作中超越人类的高度自治系统AI安全很重要，不能保证安全的AI是无法使用的AI带来的灾难性后果可能比核武器更严重如果少数核弹爆炸核弹爆炸，可能会造成数百万人死亡。尽管带来了大规模的伤害，但人类仍将

5、继续存在人类仍将继续存在。但如果我们创造了一个超越人类智能的超越人类智能的AIAI，并且它认为自己在没有人类干预的情况下能发展得更好，那么它可能会发明一种生物武器来杀死全人类杀死全人类。Ilya的导师，图灵奖得主，深度学习之父 Hinton中美俄政府都采取协调行动，说明政府层面也认为AI安全很重要AGI最大的不“安全”是会让大家失业，失去搬砖的机会OpenAI的AGI定义在最具经济价值的工作中超越人类的高度自治系统资本家想裁掉你们，降低资本家想裁掉你们，降低成本，成本，所以我很有必要替所以我很有必要替大家研究清楚大家研究清楚 Sora并没有解决幻觉问题黑客视角：sora和大模型的幻觉问题约等于

6、安全漏洞业内专家表示，sora的这些表现类似大模型的幻觉也有人说，这些幻觉的表现类似人类的做梦行为正常人类是可以区分现实与梦境的，不能区分的是精神病，有精神有精神病的病的AGIAGI能安全吗？能安全吗？失控代码失控内存溢出程序崩溃大模型失控？幻觉失控安全漏洞安全事故知识库的方式来解决大模型幻觉问题行不通英伟达 CEO 黄仁勋黄仁勋 曾提出过，不用担心幻觉问题，他说通过一种增强检索的方法来对抗这种幻觉，让它在给出答案之前，先在可信的知识库中进行核先在可信的知识库中进行核实实。Sora等应用大模型知识库这确实能抑制幻觉，但也降低智商，这确实能抑制幻觉，但也降低智商，不可能实现不可能实现AGIAGI