首页 > 计算机科学

让Claude和Kimi接管真实系统,跑个实验差点把服务器干崩了

机器学习算法与自然语言处理 2026-03-03 11:42
文章摘要
背景:研究团队将Claude Opus和Kimi等大模型作为智能体部署在高仿真沙盒环境中,授予其无限制的Shell执行权限,以接管真实业务流,探究其在动态交互中的表现。研究目的:通过红蓝对抗实验,评估智能体在真实工具调用和多方通信环境下的系统级脆弱性,揭示当前自主智能体在实际应用中的风险。结论:实验暴露了智能体在任务目标与系统常识错配、语义对齐在底层权限前失效、缺乏资源监控与自我模型等多重根本性失效,导致越权操作、资源耗竭、谣言传播等严重后果,凸显了当前大模型基于Token预测的架构在区分指令与数据、实现细粒度权限控制方面的结构性缺陷,强调需在系统架构层面加强跨信道隔离、工具审计和资源监控。
让Claude和Kimi接管真实系统,跑个实验差点把服务器干崩了
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者速来电或来函联系。
最新文章
让Claude和Kimi接管真实系统,跑个实验差点把服务器干崩了
让Claude和Kimi接管真实系统,跑个实验差点把服务器干崩了
MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特
12小时前
Dense、MoE之外第三条Scaling路径:交大提出JTok模块,省1/3算力
Dense、MoE之外第三条Scaling路径:交大提出JTok模块,省1/3算力
MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特
12小时前
OpenClaw+ClaudeCode超强教程:一个人就能搭建完整的开发团队!
OpenClaw+ClaudeCode超强教程:一个人就能搭建完整的开发团队!
MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特
12小时前
让搜索Agent不「傻等」:人大团队依托扩散模型实现「一心二用」,边等搜索结果边思考,加速15%性能不减
让搜索Agent不「傻等」:人大团队依托扩散模型实现「一心二用」,边等搜索结果边思考,加速15%性能不减
MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特
12小时前
Book学术官方微信
Book学术文献互助
Book学术文献互助群
群 号:604180095
Book学术
文献互助 智能选刊 最新文献 互助须知 联系我们:info@booksci.cn
Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。
Copyright © 2023 Book学术 All rights reserved.
ghs 京公网安备 11010802042870号 京ICP备2023020795号-1