当前，全球人工智能技术快速更迭，以ChatGPT为代表的生成式人工智能技术不断催生新场景、新业态、新模式和新市场。在赋能人类社会经济进步的同时，人工智能“狂飙突进”式的发展也给全球带来安全隐患和风险挑战。

(一)概念内涵

根据“全球治理委员会”的定义：治理是个人和制度、公共和私营部门管理其共同事务的各种方法的综合。人工智能治理是一个涉及伦理、法律、技术等多方面的概念，结合“治理”定义，我们将人工智能治理的概念定义为：人工智能治理是多方主体通过制定和执行原则、标准、指南与政策法规等，确保人工智能技术在尊重人权、保护隐私和安全的前提下，促进其安全、可靠和健康发展的过程。

(二)核心目标

人工智能治理的核心目标是确保人工智能安全、可靠、可控，在此基础上，最大限度地发挥其在经济、社会和文化领域的积极作用，防范和控制可能出现的风险与负面影响。为实现人工智能的安全、可靠、可控，我们结合方滨兴院士、中国联通等在人工智能安全架构设计方面的观点，提出了一个五层安全架构模型，包括供应链安全、数据安全、算法安全、应用安全与伦理安全，以系统化地识别和应对人工智能在不同层面上的安全需求。

图1人工智能安全架构

一是供应链安全。人工智能供应链安全是指在人工智能供应链的整个生命周期中，确保所涉及的训练框架、第三方库、操作系统、数据库、芯片、云服务等软硬件和服务的安全性、完整性和可靠性。

二是数据安全。人工智能数据安全是指通过采取必要措施，确保人工智能系统使用的数据得到有效保护，并且合法、安全地被利用，同时具备持续保障数据安全状态的能力。

三是算法安全。人工智能算法安全是指在整个人工智能系统的设计、开发、部署和使用过程中，确保算法的公正性、透明性、鲁棒性和抗攻击能力，同时采取必要措施保护算法免受未经授权的访问和篡改，以及确保算法的决策过程和结果合法、合规。

四是应用安全。人工智能应用安全是指确保人工智能应用在实际操作中的安全性和可靠性，防止其被滥用或误用，保障应用的输出和行为符合预期。

五是伦理安全。人工智能伦理安全是指在人工智能系统的整个生命周期中，确保其设计和行为遵循以人为本的原则，尊重并保护个人权利，促进社会价值和公共利益，同时避免产生不公平、歧视或责任不清等问题。

(三)治理主体

一是国际组织。国际组织是人工智能治理的协调者和推动者，致力于促进各国在人工智能领域的合作与交流，共同应对人工智能治理全球性挑战。一方面，搭建国际合作平台，促进各国在人工智能治理方面的协作与信息共享，共同探讨人工智能的未来发展方向与治理机制。另一方面，牵头统筹或参与制定人工智能的国际标准，确保人工智能技术的可信度和互操作性，促进全球范围内的技术交流与合作。

二是政府部门。政府部门是人工智能治理的主要监管者和推动者，保障人工智能技术的安全、可靠、可控。一方面，制定和执行人工智能治理相关的政策法规，明确人工智能技术的研发、应用和管理等方面的要求和规范，为人工智能技术的健康发展提供制度保障。另一方面，针对人工智能技术开展监管和执法，确保人工智能技术的应用符合法律法规和道德准则，防止滥用和误用现象的发生。

三是科技企业。企业不仅是人工智能技术的研发者和应用者，更是治理环节中的重要参与者和实践者，是推动人工智能技术健康发展的重要力量。一方面，遵循人工智能伦理原则，如可信、公平、非歧视等，确保技术的公正性和透明度，明确人工智能技术的研发、应用和管理等方面的要求和规范，推动企业内部治理体系逐步完善。另一方面，参与行业自律与标准制定，推动形成行业共识，共同应对人工智能带来的挑战和问题。

除了国际组织、政府部门与科技企业外，非政府组织、高等院校、科研机构等也在人工智能治理中发挥着重要作用，这些主体各自具有不同的优势和资源，通过相互合作和努力，共同推动人工智能技术的安全、可靠、可控，并造福人类社会。

(一)国际组织

全球人工智能治理从国际共识向全球共治演进，逐步形成全球性的治理框架。近年来，国际组织如联合国、经济合作与发展组织(OECD)、20国集团(G20)等在人工智能治理方面发挥着关键作用，推动各国针对人工智能发展表达合理关切、寻求解决方案。

联合国及其下设机构积极推动全球人工智能治理进程。联合国教科文组织在2019年发布了《人工智能伦理问题建议书》，呼吁各国政府、企业、社会组织和个体，在人工智能技术的研发、应用、治理等方面，积极考虑人工智能伦理问题，推动人工智能伦理原则的全球传播与实施。2021年11月，该建议书成为联合国教科文组织正式通过的首份全球性人工智能伦理协议。2023年7月，联合国安理会举行主题为“人工智能给国际和平与安全带来的机遇与风险”高级别公开会，这是安理会首次就人工智能问题举行会议，中国常驻联合国代表提出关于人工智能治理的五条原则。2023年12月，联合国秘书长设立的人工智能咨询机构发布了《以人为本的人工智能治理》临时报告，该报告阐明了人工智能对人类潜在益处的机会和推动因素，强调了人工智能在当前和未来一段时期潜在的风险挑战，并明确了解决全球治理赤字所需的原则以及满足当下需求的新功能和制度安排。2024年3月，联合国大会通过了首个关于人工智能的全球决议，呼吁推动开发“安全、可靠和值得信赖的”人工智能系统，以促进可持续发展。

其他国际组织也在全球人工智能治理中发挥重要作用。2019年5月，经合组织通过了首部政府间人工智能政策指导方针，其36个成员国以及阿根廷、巴西、哥伦比亚、哥斯达黎加、秘鲁和罗马尼亚等国在部长理事会会议上联合签署了经合组织人工智能原则。它们包括具体的公共政策和建议，并于2024年进行了更新，以应对人工智能技术的最新发展。同年，20国集团发布《G20人工智能原则》，强调了人工智能的伦理和社会责任，鼓励各国在人工智能技术的研发、应用和治理方面，采取符合伦理要求和负责任的措施，并加强全球治理合作，共同推动人工智能的健康发展。

(二)国家和地区

近年来，全球多个国家和地区高度重视人工智能治理，通过颁布政策文件、成立统筹机构、发布指导框架等方式，逐步加强人工智能监管与统筹，以确保人工智能的健康发展并应对潜在风险。

欧盟监管风格趋向于强硬，期望通过设立全球范围的规则对人工智能进行全面监管。早在2018年，欧盟就提出了《人工智能的伦理准则》，强调人工智能的应用必须符合人类价值观和伦理原则，并建议采取措施加强人工智能的监管和透明度，促进人工智能技术的可持续发展。2021年，欧盟提出了《人工智能法案》，该法案对高风险人工智能系统的使用提出了严格的要求，并对不合规行为进行罚款和制裁，以限制和减少人工智能系统算法歧视风险。经过多轮谈判与协商，2024年5月，欧盟理事会正式批准该法案，其广泛的域外适用效力将对欧盟和其他地区产生重要影响。同月，欧盟委员会宣布内设人工智能办公室，旨在降低人工智能风险，促进人工智能的开发、部署和应用，该办公室将在欧盟《人工智能法案》的实施中发挥关键作用。

美国强调人工智能风险管理，逐步向加强监管靠拢。2023年10月，美国颁布《关于安全、可靠和值得信赖的人工智能开发和使用的行政命令》，建立安全和隐私保护标准，并要求开发人员对新模型进行安全测试。2024年5月，美国参议院跨党派公布人工智能政策“路线图”，要求在必要时对人工智能的高风险使用提出适当的、具体要求，例如透明度、测试评估标准等，为美国人工智能治理立法拉开序幕。与此同时，美国人工智能监管职责正由分散化向集中化转变。2023年11月，美国在《行政命令》颁布后宣布成立人工智能安全研究所(USAISI)，以加快与其他联邦政府机构的协调工作，推进人工智能风险管理。随后，2024年3月，美国白宫管理与预算办公室(OMB)要求在各联邦机构指定一名首席人工智能官(CAIO)，并建立人工智能治理委员会，以推进人工智能治理、创新和风险管理。

新加坡逐步完善治理框架，推动国家负责任地使用人工智能。新加坡于2019年发布了首版《人工智能模型治理框架》，指导各组织大规模负责任地部署人工智能解决方案，该框架于2020年进行了更新。2023年6月，新加坡信息通信媒体发展局发布了《生成式人工智能：对信任和治理的影响》，概括了生成式人工智能存在的安全风险并对现有的框架进行审查。2024年1月，新加坡AIVerify基金会和新加坡信息通信媒体发展局联合发布了《生成式人工智能模型治理框架草案》，以期培育可信的生成式人工智能生态系统。该框架草案在2020年版本基础上，进一步扩展了模型治理框架，推动了关于生成式人工智能治理的国际共识。随后，2024年5月，该框架的正式版本发布。此外，2022年5月，新加坡推出了全球首个人工智能治理测试框架和工具包(AIVerify)，允许公司对自身的人工智能系统进行自愿评估，并出具客观、可验证的证明。

(三)科技企业

科技企业通过签署承诺书、实施最佳实践、设定风险阈值等方式，大力推动了全球人工智能技术的安全和可靠。

签署自愿性承诺提升人工智能系统安全可信度。2023年7月和9月，美国拜登政府分别召集了包括Amazon、Anthropic、Google、Inflection、Meta、Microsoft、OpenAI、Adobe及IBM等在内的15家领先的人工智能技术公司，共同作出自愿性承诺，旨在提升人工智能系统和产品的安全性与可信度。2024年2月，在第二届全球人工智能(AI)伦理论坛上，全球移动通信系统协会(GSMA)、INNIT、联想、LGAI研发(LGAIResearch)、微软、摩托罗拉、赛富时和西班牙电信八家全球性科技机构和公司与联合国教科文组织签署协议，将结合教科文组织《人工智能伦理问题建议书》中有关人工智能伦理的价值观和原则，设计和使用人工智能系统。

设定风险阈值管控人工智能安全风险。2024年5月，在韩英两国举办的人工智能首尔峰会上，包括OpenAI、谷歌、Microsoft、智谱AI等涵盖中美欧等国家或地区的16家科技公司，共同签署《前沿人工智能安全承诺》，这些公司自愿承诺实施与前沿人工智能安全相关的一系列最佳实践，包括内外部红队测试、信息共享、网络安全投资、第三方漏洞报告机制等，并公开透明地报告其安全框架和风险管理方法。此外，签署方还承诺设定并评估“不可容忍”的风险阈值，在风险过大时暂停开发或部署人工智能模型和系统，以确保技术的安全和可信。

(一)政策发展

三大基本法为我国人工智能领域健康发展保驾护航。近年来，一系列规范人工智能技术发展和应用的相关法规陆续出台，展现出我国在人工智能治理方面的高度重视与积极作为。2017年6月1日，《中华人民共和国网络安全法》开始施行，为人工智能的技术发展提供了网络安全保障。2021年9月1日，《中华人民共和国数据安全法》开始施行，进一步强化了人工智能系统或应用中的数据安全法制保障。2021年11月1日，《中华人民共和国个人信息保护法》开始施行，有力维护了公民个人信息安全，为人工智能的合规应用奠定了基础。

不断探索人工智能治理法制与监管路径。2021年9月17日，发布《关于加强互联网信息服务算法综合治理的指导意见》，旨在管理好使用好发展好算法应用，全面提升网络综合治理能力。2023年1月10日，《互联网信息服务深度合成管理规定》开始施行，对人工智能在互联网信息服务中的应用进行了规范，确保了信息的真实性、准确性和可靠性。2023年8月15日，《生成式人工智能服务管理暂行办法》开始施行，为生成式人工智能的发展和应用提供了明确的管理规定，推动我国人工智能产业健康有序发展。2023年12月，《科技伦理审查办法(试行)》开始施行，人工智能研究单位被列入科技伦理(审查)委员会范围。

(二)标准发展

前瞻性开展人工智能标准体系顶层设计。2019年6月，国家新一代人工智能治理专家委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出了人工智能治理的框架和行动指南。

2020年8月，国家标准化管理委员会、中央网信办等五部门联合印发《国家新一代人工智能标准体系建设指南》，明确了我国人工智能标准化顶层设计。2024年1月，工业和信息化部对外发布《国家人工智能产业综合标准化体系建设指南》(征求意见稿)，旨在进一步加强人工智能标准化工作系统谋划。

积极推进国内外标准制定工作。目前我国也已经开展了《网络安全技术人工智能计算平台安全框架》《网络安全技术生成式人工智能服务安全基本要求》等多项国家标准的制定工作，《信息安全技术机器学习算法安全评估规范》(GB/T42888-2023)已于2024年3月实施。此外，中国作为国际标准化组织(ISO)的六大常任理事国之一，积极参与ISO和IEC制定的人工智能相关标准，例如ISO/IEC2382:2015，该标准针对信息技术中人工智能的使用提供了框架和指南。

(三)行业发展

我国人工智能科技企业渐成壮大态势助力行业健康发展。近年来，我国涌现出了一批具有国际竞争力的人工智能领域科技企业。以百度、阿里巴巴、腾讯为代表的大型互联网公司纷纷加大在人工智能领域的投入，不仅在语音识别、自然语言处理等技术方面取得了重要突破，还在智能硬件、自动驾驶等领域展开了积极探索。此外，我国还培育了一批专注于人工智能技术研发和应用的创新型企业，如商汤科技、旷视科技等，在人工智能芯片、计算机视觉等细分领域取得了显著成果。在行业发展过程中，科技企业积极参与政府主导的人工智能治理工作，与政府、学术界和社会各界共同探讨和制定人工智能的监管政策和法规，推动行业的健康发展。

人工智能自律机制逐步建立完善。一是成立人工智能伦理委员会或相关部门。例如，阿里巴巴、百度、旷视科技等均成立了人工智能伦理委员会，注重人工智能技术的伦理和法律问题；腾讯通过建立人工智能实验室和研究院，与全球的科研机构合作，推动人工智能健康发展。二是积极发布行业治理与伦理框架。例如，百度发布了《百度人工智能伦理宣言》，明确提出了在人工智能技术研发和应用中应遵循的伦理原则，如公平、公正、尊重隐私等。腾讯发布了《腾讯人工智能伦理准则》，强调了人工智能技术的安全性、可靠性和公平性，并提出了在人工智能应用中保护用户隐私和数据的措施。三是将治理原则融入自身产品与应用。例如，京东在物流和供应链管理中应用人工智能技术，同时注重保护用户数据安全，提升服务透明度;旷视科技在其面部识别技术中实施了严格的伦理标准，确保技术的使用不会侵犯个人隐私，并在公共安全等领域为社会带来积极影响。

(四)国际合作与倡议

积极彰显人工智能治理中国主张。我国高度重视人工智能治理，早在2018年，习近平总书记在主持十九届中央政治局第九次集体学习时就强调要未雨绸缪，加强战略研判，确保人工智能安全、可靠、可控。2022年11月，中国向联合国大会提交《中国关于加强人工智能伦理治理的立场文件》，文件从人工智能技术监管、研发、使用及国际合作等方面，进一步梳理了中国关于人工智能伦理治理的主张。2023年10月，中国在第三届“一带一路”国际合作高峰论坛上正式发布《全球人工智能治理倡议》，这一倡议坚持“以人为本、智能向善”，围绕人工智能发展、安全、治理三个方面阐述人工智能治理的中国方案，为人工智能的开发与安全提出建设性的解决思路。此外，习近平总书记多次发表关于全球人工智能治理的重要讲话，体现了中国为推动全球人工智能治理所做出的积极努力。

积极推动人工智能治理双多边政策对话。2024年4月3日，中非互联网发展与合作论坛成功举行，中非双方就人工智能领域的合作进行深入交流，并发表了《2024年中非互联网发展与合作论坛关于中非人工智能合作的主席声明》，呼吁加强政策对话与沟通，推动技术研发与应用，促进产业合作与发展，开展人才交流与能力建设，筑牢网络和数据安全屏障。2024年5月，习近平总书记在对法国进行国事访问期间，中法双方共同发表《关于人工智能和全球治理的联合声明》，就人工智能方面达成共识，包括深化人工智能国际治理模式、加强人工智能治理的国际合作以及各人工智能治理框架和倡议之间的互操作性等。

倡议规范人工智能军事应用。2021年12月，我国首次就规范人工智能军事应用问题发布《中国关于规范人工智能军事应用的立场文件》，这份文件是《特定常规武器公约》框架下首份关于人工智能安全治理问题的立场文件。文件聚焦人工智能军事应用涉及的研发、部署、使用等重要环节，并就如何在军事领域负责任地开发和利用人工智能技术提出解决思路。该文件的发布有利于增进国家间互信、维护全球战略稳定、防止军备竞赛、缓解人道主义关切，也有助于打造包容性和建设性的全球安全伙伴关系，在人工智能领域推动构建人类命运共同体。

(一)各国立法步调不统一，全球监管框架难以落地

由于不同国家的发展阶段、产业基础、价值观念等存在差异，各国在人工智能立法的目标、重点与进程上难以达成一致。例如，欧盟、美国等发达国家和地区在人工智能领域逐步建立健全人工智能立法和监管体系，而一些发展中国家甚至还未开始涉足该领域。这种立法步调的不统一，使得全球人工智能治理面临碎片化风险，全球共治步伐受阻。此外，人工智能技术的跨国界特性和广泛影响意味着没有任何单一国家、地区或企业能够独立应对人工智能安全风险挑战。全球监管框架的建立需考虑各国法律和文化差异，以及执法和监管能力的不同，这些因素阻滞了全球监管框架的实际落地。

(二)部分国家寻求规则主导权，在推动人工智能治理过程中存在政治化苗头

在推进全球人工智能治理的过程中，一些大国如美国和欧盟等，在强化本国人工智能治理体系的同时，也在寻求在全球新一轮科技治理规则制定中占据主导位置，试图通过制定有利于自身利益和发展战略的规则，争夺在全球人工智能治理中的话语权和影响力。这种政治化的苗头不仅可能加剧国际合作中的信任危机，还可能阻碍全球人工智能治理共识的形成，使得全球治理体系难以公平、公正地反映各国的共同利益。此外，部分国家可能利用全球治理体系中的规则漏洞，通过政治手段对其他国家的人工智能产业进行限制和打压，进而损害全球人工智能技术的创新和发展。

(三)全球智能鸿沟进一步放大数字鸿沟弊端，治理能力弥合难以追赶鸿沟扩大速度

随着人工智能技术的快速发展，技术和资源的不均衡分布导致全球范围内的智能鸿沟日益加剧。智能鸿沟是数字鸿沟在人工智能技术快速发展背景下的进一步扩大，它不仅体现在国家间，也体现在社会不同群体之间。例如，对于个人而言，智能鸿沟的扩大造成技术接触机会愈发不平等，资源丰富的个人能更多、更迅速地提升数字素养，而资源匮乏者则因机会有限而难以提高。对于国家而言，智能鸿沟的扩大将进一步威胁国家安全。技术落后可能导致国防能力、信息安全、关键基础设施保护等方面的不足，从而增加国家安全的脆弱性。智能鸿沟因人工智能技术的自适应、进化性等特点，其扩大速度将远超数字鸿沟，使得弥合治理能力的挑战变得更加艰巨。

(四)人工智能安全监管滞后，仍较大程度依靠企业自我约束

人工智能技术的快速迭代和广泛应用导致监管措施滞后于实际应用，从而难以有效应对潜在的安全风险，使得当下监管与治理仍较大程度依靠企业自我约束。但这种模式存在很大的局限性，难以形成统一、全面的安全保障。一是监管滞后使得人工智能技术的应用可能超出现有法律的约束，从而引发一系列的安全和伦理问题。二是企业在追求利润最大化的过程中可能忽视人工智能技术的潜在风险，从而增加安全问题和隐私泄露的风险。三是由于资源和技术实力的差异，不同企业在人工智能安全监管方面的能力和投入存在显著差异，使得整个行业面临安全风险。

(一)完善顶层设计

针对供应链安全、数据安全、算法安全、应用安全、伦理安全五层人工智能安全架构，识别人工智能在不同层面上的安全风险，制定对应层级的治理目标与计划，完善我国人工智能治理顶层设计，确定需要开展的关键技术研究，以及相应的资源投入和保障机制。此外，加快制定与人工智能治理相关的法律、行政法规、规范性文件、指导性意见等基础制度，规范人工智能安全风险管理，注重个人权利保护。

(二)实施有力监管

一是借鉴我国通信行业发展模式，建立合理分工、责任明确、运转顺畅的强统筹总体组，发挥总体组主导作用，引导行业规范发展，推动我国人工智能治理取得实效。二是实施全流程监管，建立分级分类监管机制。一方面，针对人工智能技术研发、测试、应用等不同技术环节，制定相应的安全技术标准，实现全环节的风险预防和控制;另一方面，根据人工智能应用的不同场景与风险程度，设定差异化的监管红线，确保人工智能技术应用安全，并为创新发展预留最大空间。三是深入研究不同领域可能带来的算法歧视和道德伦理问题，建立和完善人工智能应用算法歧视和伦理审查等规则。例如，人工智能导致事故后的权责判定问题，以及沉迷人工智能带来的青少年心理健康问题等，并据此研究制定人工智能算法歧视、道德伦理审查规则和标准。同时，鼓励通过行业自律形式营造积极应对人工智能算法歧视、道德伦理问题的良好氛围。

(三)推动技术发展

坚持以人为本、智能向善原则，推动技术健康发展，以技术发展带动治理体系完善。一是将合法原则、以人为本原则等要求嵌入到系统开发的技术中，不断提升对抗性机器学习、算法可解释性等技术的安全性、可靠性、可控性、公平性。二是前瞻研判人工智能伦理风险，确保人工智能的应用不侵犯个人权利，不危害社会安全。加强源头治理，积极发展促进安全开发的相关技术，从而带动人工智能治理体系完善。三是促进科技企业人工智能海外业务的安全开发与部署，强化出海科技企业人工智能合作的安全治理，加强风险研判与应急响应，预先防范美欧等国家和地区的政治化非正常制度打压。

(四)强化国际合作

秉持全球共治原则，缩小国家间的智能鸿沟，推动全球人工智能技术均衡发展。一是坚持真正的多边主义，确保各国平等参与人工智能全球治理，提升发展中国家的话语权，反对滥用人工智能技术优势干涉他国。二是广泛开展国际合作，支持在广泛参与和协商一致的原则下，共同构建具有普遍共识的国际人工智能治理框架，确保人工智能技术安全、可靠、可控。三是推动人工智能技术的均衡发展，助力发展中国家能力建设，通过政策支持、教育培训、技术转移和资金援助等方式，促进技术的共享和知识的传播，缩小智能鸿沟，确保技术进步能够惠及更广泛的群体。

来源：通信产业网