上海AI大模型落地提速：34款已备案，17款正在备案_证券配资网

上海聚焦大模型安全，人工智能安全治理新进展

元描述: 上海市委网信办总工程师杨海军在 2024 年国家网络安全宣传周上海地区活动中谈及大模型安全治理，介绍了上海在人工智能安全领域的最新进展，包括大模型备案情况、人工智能安全治理实验室的成立以及相关法规政策的出台。

引言: 随着人工智能技术的快速发展，大模型在各个领域展现出巨大的潜能，但也带来了新的安全挑战。上海作为人工智能发展的重要力量，积极探索大模型安全治理之道，在监管、技术和伦理方面进行多方位布局，努力构建安全可控、健康发展的人工智能生态。

这是一个激动人心的时代！ 人工智能如同奔腾的巨浪，席卷全球，而大模型则是这波浪潮的“弄潮儿”，它正在改变着我们的生活和工作方式。然而，技术进步的同时也伴随着风险挑战，特别是大模型的安全问题，成为业界关注的焦点。

上海，作为人工智能发展的前沿阵地， 早已意识到大模型安全的重要性，并在国家政策的指导下，积极探索安全治理的有效路径。近年来，上海在人工智能安全领域取得了显著进展，涌现出一批优秀的企业和科研机构，为推动人工智能安全发展贡献力量。

大模型备案与安全治理实验室

上海市委网信办总工程师杨海军 在 2024 年国家网络安全宣传周上海地区活动中，分享了上海在大模型安全治理方面的最新进展。截至目前，全国已有 188 款大模型完成备案，上海市共 34 款，其中徐汇区 21 款。上海还有两批次 17 款大模型正在备案流程中。

备案制度是确保大模型安全发展的重要举措， 它为大模型的研发、应用和监管提供了规范框架，有效防范了潜在的风险。同时，上海还在今年的世界人工智能大会上正式揭牌了 “上海人工智能安全治理实验室”。

这个实验室将致力于：

探索人工智能安全治理的新理论、新方法

建立人工智能安全评估体系和标准

推动人工智能安全技术研发和应用

培养人工智能安全人才

实验室的成立将进一步加强上海在人工智能安全治理方面的研究和实践， 为打造安全、可信、可控的人工智能生态体系提供有力支撑。

法规政策引导安全发展

除了监管和技术措施外， 上海还积极出台相关法规政策，引导人工智能安全发展。2023 年 8 月 15 日，国家网信办等七部委联合出台的《生成式人工智能服务管理暂行办法》正式施行，这是全球生成式人工智能服务监管立法的先行者。

该办法明确了生成式人工智能服务的监管责任、安全要求和伦理规范， 为人工智能安全发展提供了法律保障。上海在贯彻落实国家政策的基础上，还制定了一系列地方性法规和标准，为推动上海人工智能安全发展提供更细致的指导。

大模型安全挑战与应对

大模型的快速发展，也带来了新的安全挑战， 例如：

数据安全: 大模型需要大量的训练数据，如何确保数据来源合法、安全、可靠，是需要解决的重要问题。

算法安全: 大模型的算法复杂，存在被攻击、误用、滥用等风险，需要加强算法安全研究和防范。

伦理安全: 大模型可能会被用于生成虚假信息、歧视性内容等，需要加强伦理规范和监管。

面对这些挑战， 上海积极探索应对之策，例如：

加强数据安全保护: 推动数据脱敏、加密等技术应用，建立数据安全管理制度。

提升算法安全水平: 加强算法安全评估和测试，开发安全算法，防范恶意攻击。

倡导伦理规范: 建立人工智能伦理委员会，制定人工智能伦理规范，引导人工智能健康发展。

行业专家共话大模型安全

2024 年国家网络安全宣传周上海地区活动徐汇区大模型主题分论坛 邀请了来自学术界、产业界和监管部门的专家，围绕 “大模型浪潮下的安全挑战” 主题，进行了深入的探讨和交流。

论坛上， 上海市信息安全测评认证中心总工程师李宏达分享了《生成式人工智能内容安全指引及备案》；智巡密码（上海）检测技术有限公司副总经理、高级工程师刘军荣探讨了《密码技术守护大模型安全》；上海商汤智能科技有限公司、上海数字安全科技有限公司、观源（上海）科技有限公司、深圳奥联信息安全技术有限公司等单位的专家也参与了圆桌讨论。

这些专家们从不同角度分析了大模型安全面临的挑战， 分享了各自的经验和见解，并探讨了未来大模型安全发展方向。