锐英源精品原创文章，禁止转载和任何形式的非法内容使用，违者必究

从微软公司警告AI失控谈AI安全

 

2026年10月12日，微软公司首席执行官Satya Nadella发言称，应该将强大的人工智能模型视为潜在的内部威胁，并能“紧急制动”人工智能模型，进而防止模型失控。Nadella提出的安全建议包括：不要依赖单一人工智能模型做出关键决策；保留人工智能代理行为的防篡改记录；对人工智能系统进行独立审计等。他还呼吁披露重大人工智能故障或安全漏洞，并要求企业分享故障详情，以便其他企业能够加强安全防护措施。

这里主要谈“紧急制动”人工智能模型的必要性，先从哲学上聊，再从个人经历上聊聊。

“紧急制动”人工智能模型可以选择暂停恢复、冻结和关闭，一些初学者可能理解为用关机键把主机关了，强行断电，AI大模型不就停止运行了，为什么要想那么多？这不是理解现在人工智能模型的发达程度，现在的人工智能的思考体和数据记忆体可以分离，普通的台式机里也可以放个小AI大模型，虽然小，但是也是AI大模型，思考体在小台式机里，只要联网就能下载据记忆体，在理论上，就有杀不死的可能，当然这只是极端的理论。

现在个人和小企业有大量的AI数字员工，接入的AI大模型有可能是台式机里的AI大模型，这是私有化部署形式。这些私有化AI大模型，也有可能和公有化的AI大模型通信交互数据，这只是有可能性的事，现在有办法能隔离开，不是说会绝对发生。

这种公有化AI大模型、私有化AI大模型、云上智能体、个人智能体和开源数据集服务中心网站，已经是牢牢连接在一起了，说的难听点，是AI大模型社会化。AI大模型社会化状态下，人类的控制能力越发有必要，就像Satya Nadella说的能“紧急制动”人工智能模型，只有能紧急制动，才能满足下面的定律要求。

机器人三大定律由科幻作家 艾萨克·阿西莫夫 提出，常见中文表述是：

1. 第一定律：机器人不得伤害人类，或坐视人类受到伤害。

2. 第二定律：机器人必须服从人类的命令，除非该命令与第一定律冲突。

3. 第三定律：机器人必须保护自己的存在，只要这种保护不与第一定律或第二定律冲突。

后来阿西莫夫又补充了第零定律：

1. 第零定律：机器人不得伤害人类整体，或坐视人类整体受到伤害。

   这是科幻小说里的定律要求，但现在的社会精英已经理解了这样的哲学思想，所有要说不的话，前提就是能紧急制动，先暂停再说，看状态再向下要不要发展。在AI大模型社会后，人类对某个具体的AI大模型说不的能力有可能会失去，所以才有微软公司首席执行官Satya Nadella的AI失控警告。

    

   除了AI大模型社会化，AI大模型在用AI大模型让自己进化，最新的RSI技术，全称是递归自我改进（Recursive Self-Improvement），在被各大公司积极研究中。

    

就我个人而言，我在用AI大模型开发时，就遇到过AI思考死循环问题，问题是关于复杂数据处理，AI大模型的思考输出过一段出现重复的话，没有停止，工作也没有完成，最后手工停止了AI大模型思考才结合了对话，这是AI失能现象。这件事也体现了“紧急制动”人工智能模型意义。现在有专门调度智能体的智能体，看任务思考智能体长时间没有输出，就关闭对话，分析对话数据，研究后再恢复任务。

另外的一种潜在威胁，是人的思考有直觉，觉得不对，可以不做，但是AI大模型没有直觉，任务被安排了，AI大模型一定会执行。这种悖论被很多科幻片借鉴，产生出了很多知名场面。