安远AI：2024年国家级人工智能安全研究所及其国际网络-为何建立如何运作及未来挑战报告（29页）.pdf

1、执摘要执摘要英国和美国率先成国家级智能安全研究所(AI Safety Institute，以下简称AISI)以来，安远AI始终密切关注和分析其演进过程。本分析了当前多个国家级智能安全研究所及其国际络的设背景、进展、对和挑战，旨在为中国在全球智能治理中的定位与政策制定提供参考。1.背景GPT-4等前沿智能展现出强的涌现能，推动了多模态模型、主智能体、科学发现智能体和具智能等众多技术向，在多个领域已逼近甚超越类平，但也引发了新的安全挑战。两届全球智能安全峰会先后发布的布莱切利宣和尔宣推动了国家级智能安全研究所的设，以应对技术险并加强全球治理。2.进展英国和美国分别在2023年届全球智能安全峰会率先

2、设智能安全研究所，随后本、新加坡、加拿、韩国、法国等国家以及欧盟相继跟进，同时美国积极推动智能安全研究所国际络的发展。此类机构以智能安全评测、智能安全研究、促进信息交流或推进标准制定为核职能，已初步建双边和多边的协作。3.对不同国家的国家级智能安全研究所在机构属性、职能定位、研究重点及国际协作等呈现多样性，在详细对已官宣成的8家国家级智能安全研究所的上述信息的基础上，我们重点就领先的智能安全研究所进了案例分析：英国智能安全研究所：充的政府资持，吸纳量技术才，希望引领前沿智能安全评测和研究；得到OpenAI、DeepMind、Anthropic的部署前评测授权；参与全球智能安全峰会的筹办；已开源

3、评测框架Inspect，为测试员提供了评估各类模型特定能的具。美国智能安全研究所：关注前沿智能险，并涵盖更泛的险类型；依托美国国家标准与技术研究院和合作络，成了智能安全研究联盟；获得OpenAI1国家级智能安全研究所及其国际络和Anthropic新模型发布之前和之后的访问权限。初期更关注国内安全问题，后通过与英国等智能安全研究所合作并宣布建智能安全研究所国际络后，越来越关注全球合作，旨在协调各制定前沿智能的测量科学、愿指南和严格测试标准。然，特朗普当选新总统后，其全球合作前景存疑。其他的国家级智能安全研究所则结合需求，在标准化、安全研发、执监管等各有侧重。4.挑战尽管智能安全研究所及其国际络在

4、安全评测、安全研究和国际合作中具有重要潜，但未来仍需在模型访问与评测权限、信息共享与安全实践、标准制定与监管框架、资源差异与合作平衡、全球包容性与国际协调进改进，以应对智能技术为全球治理带来的复杂挑战。2录录执摘要11 背景11.1 ChatGPT等前沿智能展了技术的潜和潜在的险11.2 英国推动全球智能安全峰会，应对前沿智能的险22 进展42.1 继英美之后，多个国家宣布设国家级智能安全研究所42.2 智能安全研究所国际络开展安全评测等国际合作53 对83.1 机构属性与投规模83.2 职能定位与作内容93.3 领先的智能安全研究所案例分析113.3.1 英国智能安全研究所（UK AISI）

5、113.3.2 美国智能安全研究所（US AISI）163.4 异同点结204 挑战2331 背景1 背景1.1 ChatGPT等前沿智能展了技术的潜和潜在的险GPT-4等前沿智能展现出强的涌现能，推动了多模态模型、主智能体、科学发现智能体和具智能等众多技术向，在多个领域已逼近甚超越类平，但也引发了新的挑战。例如开源模型已被改造成多种新型络犯罪具，前沿模型可能成为物安全险的潜在推动者，此外智能竞赛、组织险、主体失控，甚可能造成灾难性险或存险1。这些发展引发了全球各界的泛关注，促使包括科学家、业领袖以及政策制定者在内的众多利益相关采取动。暂停巨型智能实验的公开信2、智能险声明3以及“智能安全国际

6、对话”等呼吁加强对技术的治理和监管，以应对这些新兴技术可能带来的挑战。为应对这些挑战，中国政府发布了成式智能服务管理暂办法4和全球智能治理倡议5等，旨在确保智能技术在安全和可控的框架内发展。同时，联合国6、G207、G78、GPAI9以及等国际组织也纷纷采取动，制定并采纳了确保智能安全发展和使的全球性原则，以促进智能技术在全球范围内的负责任应和治理。9GPAI,“Working Group on Responsible AI”,2024-11-25(引期),https:/gpai.ai/projects/responsible-ai/.8OECD,G7 Hiroshima Process on