加载中…人工智能系统面临“致命三重奏”
(2025-11-18 12:00:00)| 分类： 军事与科技 |
人工智能系统面临“致命三重奏”
2025-10-29
英国《经济学人》周刊网站：人工智能(AI)承诺计算机编程不再是高深技能。但这种承诺也是系统性缺陷的根源。
存在安全隐患
LLM无法区分数据与指令。最底层接收的文本，如果是一个问题，它们会提供答案；如果是一个指令，它们会尝试执行。
如果问题中掺杂指令呢，LLM很可能也会照做。这就是安全隐患。
外部内容接触、私人数据访问和外部通信的结合称为“致命三重奏”。
由于LLM通过普通英语指令进行训练，所以难以完全屏蔽恶意指令。
建立多道防线
最安全的做法是从源头避免形成这三要素的组合。只要移除其中任何一项，危害的可能性就会大幅降低。
第二道防线是，一旦系统接触过不可信数据，就应该将其视为“不可信模型”。
第三种策略是，通过阻断通信渠道来防止数据被窃取。
规避致命三重威胁，也不能保证杜绝安全漏洞。
时时保持警惕
有应用程序宣称能为AI助手赋能，但若操作不当则暗藏风险。
即使单个组件安全无虞，组合使用却形成三重威胁的困境。
AI行业主要通过产品训练来解决安全问题。
其他方法包括限制LLM本身。可以使用两个独立的LLM来规避致命三重威胁的某些方面。其中一个模型处理不可信数据，另一个模型处理其余数据。
最终的解决方案在于软件行业放弃对确定性的执念。
物理工程师在设计时会考虑公差、误差率和安全系数，过度构建结构以应对最坏的情况，而非假设一切都会按预期运行。
喜欢
0
赠金笔
前一篇：容斋续笔（宋）洪迈·卷第八
后一篇：容斋续笔（宋）洪迈·卷第九