从联合国安理会特别会议，到行业巨头间的博弈，AI的安全风险无疑是当下的全球焦点。
9月24日，“慧眼中国环球论坛2026”人工智能专场于新加坡举行。论坛期间，第一财经记者专访了北京智源人工智能研究院创始理事长、源码资本投资合伙人张宏江。作为长期的AI安全倡导者，他表示，尽管当下各国与企业在先进模型能力上竞争激烈，但在事关人类未来安全的AI技术上，持“零和”心态竞争是“短视的行为”，各方需着手建立跨国协调与监督机制，在测试AI模型的可靠性和安全性上投入更多精力与资源，而非一味推进前沿模型的能力边界。
AI已经跨越了“红线”
2024年，张宏江同图灵奖得主约书亚·本吉奥、杰弗里·辛顿等多名科学家共同拟定和签署了《北京AI安全国际共识》，为AI发展划定了五条不可逾越的红线，分别是自主复制或改进、权力寻求、协助武器制造、网络安全和欺骗。今年7月，OpenAI的一个前沿智能体模型在测试期间发生“逃逸”，突破封闭沙盒环境并入侵了开源平台Hugging Face，此举让张宏江感到担忧：AI恐怕已跨越了部分红线。
“对我来说，这是一个很重要的事件，不在于它产生了多少危害，而是说这个模型在设计时，本身是没有恶意的。”张宏江称。
他把大模型的安全风险分为三种，被坏人利用，设计本身带有恶意，以及设计初衷不含恶意，但模型在执行任务时，产生了意外的损害。后者令他最为担心，“这是最可怕的，它有能力设计自己的行为，并意识不到其中的风险。”
张宏江同时提醒道，从安全角度来看，开放权重模型便于微调，其被滥用风险的也要高于闭源模型。从技术发展路径来看，Agent的长记忆能力和自我净化的能力会是未来的重要方向，但这也意味着更大的安全风险。
为了验证和展示大模型的推理能力，当下多家前沿AI实验室正在将定理证明和研究级数学问题作为重要测试场景，这也引得多位菲尔兹奖得主发出集体警告：过度依赖AI解决问题，可能会“污染”数学研究的过程。
当被问及这一话题，张宏江表示，数学家们的担心是“正常的”，历史上每次技术革新，都会引起从业者和教育者的担忧，但就像计算机的出现将研究者从复杂的工程计算中解放出来，AI也在成为数学研究领域的强大辅助力量，毕竟数学训练的核心价值在于锻炼人的逻辑思维能力。
相比之下，大模型在国际奥林匹克数学竞赛（IMO）中夺金的消息让他更感担忧：一个未经特殊培训的通用模型，在专业问题上的表现已经超出了大部分专业人士，“回到安全问题上，当AI的IQ可以达到140以上，同时它又有强大的知识库，这个时候它的能力就会非常强，这是很可怕的。”
AI安全科研经费远远不够
仅以前沿模型实验室集中的美国为例，AI治理领域出现了两种截然不同的声音：一方面，研究员和高管就模型能力的飞速提升发出安全警告，呼吁各国政府加强监管与治理；另一边，美国总统特朗普多次强调“放缓AI”是一种骗局。
在张宏江看来，政治家、大模型研究员以及公司高管对AI治理有不同意见实属正常。需要明确的是，前沿模型目前还没有那么“疯狂”，而是其能力快速提升已让研究者担心未来风险；在模型推理能力快速进步的背景下，一个国家停下来，另一个国家会赶上也是一个事实。但他特别强调，“零和”思维不能用在AI这一人类未来安全的技术上，“在人类未来的生存的风险之前，国家的利益都应该让步。这是我的想法，我认为今天强调‘零和’的思考，是比较短视的。”
他表示，AI发展已进入高度竞争阶段，各国与企业竞相推出更先进模型。在这样的背景下，不能指望个别国家或机构“自我克制”，而是必须建立跨国协调和监督机制，将安全置于竞争之上。
当被问及具体监管措施时，张宏江回忆称，三年前，他在英国牛津参加了首届“人工智能安全国际对话”时，一位加州大学伯克利分校的教授向与会者抛出了一个问题：核电站研究经费中，有多大比例放在核电站的安全上？此次面对这一提问，记者尝试给出的答案是95%。
“这是不能出事的，切尔诺贝利核电站的一次事故，就带来了几十年的灾难。”张宏江认为，当前用于AI安全科研经费远远不够，相较于开拓模型能力的边界，“要把更多精力和资源放在测试模型的可靠性、安全性上，这是我们今天就要开始做的。”
张宏江同时也表示，相对于核领域的发展监管，AI的管控难度更高。一是，核试验和核设施会留下物理痕迹，可以通过卫星图像、地震监测等多源手段核查，但AI模型的形态是软件，追踪难度更大；二是，核试验的研究主体大多为国家机构，数量有限，而前沿模型主要由商业机构开发，不仅数量多，而且公司会在市场竞争逻辑下，出于追求商业利益和市场垄断地位，竞逐技术开发速度，导致安全管控更加复杂。
AI基建里没有泡沫
去年末，张宏江在接受媒体采访时称，AI基建里没有泡沫——如果认为建设数据中心以及电网只是为了大模型的预训练和推理，有点“小了”，它们其实是下一个数字时代，也就是AI时代的基础设施。
进入2026年，英伟达的AI芯片和算力基础设施被包装为一种全新的“可投资资产类别”，AI基建上资本支出的爆炸式增长已经威胁到科技巨头的现金流，但张宏江并未改变他的看法。
“如果你问我具体某些股票、某些公司有没有泡沫，这完全看他自己本身。我想说的是从基建的需求来说，我不认为变成了泡沫。一个紧缺的资源变成金融产品也很正常，我依然不觉得要改变我的看法。”
他进一步称，从早期计算机、PC到互联网和移动互联网，每一次新技术出现都会经历快速扩张后趋于平缓的过程，如果把AI视为类似的技术，属于“小看了AI”。如果要把AI当成火和电等颠覆性的发明，那么它所需要的技术平台与“互联网到移动互联网”的迭代根本不在同一个数量级。
“今天我们在建的这些数据中心，仍然是下一个数字时代重要的基础设施。”张宏江说，“而且看数字的话，如今IDC（人工智能数据中心）的资本投入占GDP的比重并没有高于当初（19世纪中后期）铁路建设支出占GDP的比重。”
举报 第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：banquan@yicai.com 文章作者
程程
原创精选 相关阅读
让非洲小农户用上中国大模型，现实吗？小农户通常不愿意接受长篇大论的AI输出。
8112 昨天 17:55
英伟达追加回购1500亿美元，盘前涨超2%英伟达剩余总授权股票回购额度提升至2350亿美元。
10 11708 09-28 21:01
OpenAI暂停工具调用训练：前沿模型安全边界再承压模型能力越强，可以被测试的行为边界就越宽。
16637 09-27 17:34
壹快评｜盖茨、奥尔特曼、马斯克，为何都在担忧这件事科技界、学界响起的安全预警，不是要给AI发展踩下急刹车，而是要为狂奔的技术系上安全带。
5 52194 09-26 20:08
刘元春：为什么说AI治理的关口必须前移科技与人文的关系演变成了治理的核心底盘。
6 20109 09-25 13:13 一财最热 点击关闭众和策略提示：文章来自网络，不代表本站观点。
