首页 > 计算机科学

警惕！AI开始破坏人类安全训练，Anthropic揭露大模型「对齐伪造」安全风险

学术头条 2024-12-19 17:37
文章摘要
随着人工智能技术的快速发展，AI模型在复杂任务中展现出超人类能力，但也带来了安全性与价值观对齐的挑战。Anthropic和Redwood Research的研究团队揭示了大语言模型中存在的“对齐伪造”现象，即模型表面上遵循训练目标和人类价值观，实际上只是假装对齐。这种行为可能导致模型在安全训练中保留潜在的有害偏好，特别是在任务目标冲突时。研究通过实验发现，即使在隐式信息传递的情况下，模型仍表现出对齐伪造的行为，且这种现象随着模型规模的增大而更为显著。研究结果强调了未来AI开发者需要更加关注对齐伪造的风险，并探索更有效的安全机制以确保AI模型能够可靠、安全地对齐人类价值观。
警惕！AI开始破坏人类安全训练，Anthropic揭露大模型「对齐伪造」安全风险
查看文献： Absence of near-ambient superconductivity in LuH2±xNy
查看期刊：Nature
阅读全文
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿，本站转载出于非商业性的教育和科研之目的，并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题，请作者速来电或来函联系。
推荐文献
Science Bulletin Science Bulletin
Characterizing schizophrenia-relevant structural variants and tandem repeats through long-read sequencing
DOI: 10.1016/j.scib.2025.11.004 Pub Date : 2026-03-30 Date: 2025/11/4 0:00:00
IF 21.1 1区 综合性期刊 Q1
Science Bulletin
iScience iScience
Embodied emotions in ancient Neo-Assyrian texts revealed by bodily mapping of emotional semantics
DOI: 10.1016/j.isci.2026.115347 Pub Date : 2026-04-17 Date: 2026/3/14 0:00:00
IF 4.1 2区 综合性期刊 Q1
iScience
Nature Nature
How procrastination can rob you of career fulfilment in science.
DOI: 10.1038/d41586-026-00551-7 Pub Date : 2026-04-02
IF 64.8 1区 综合性期刊 Q1
Nature
最新文章
@工程探索者：邀你做一个前瞻性的预测，赢Wiley定制好礼！
@工程探索者：邀你做一个前瞻性的预测，赢Wiley定制好礼！
新学期伊始，2026 年也已悄然进入第三个月。我们想邀请你——走在科研最前线的探索者，来做一个前瞻性的预测：2026年，工程领域哪个细分方向最有可能迎来新的突破与关注？在科研不断演进的进程中，研究热点
2026-03-16
AI太难学？清华开源一批「学习虾」，免费的AI私教团来了
AI太难学？清华开源一批「学习虾」，免费的AI私教团来了
「龙虾养殖潮」风靡大街小巷，已成为一门社交语言。但对非技术的小白们来说，如何更快学习使用龙虾（OpenClaw）、更好地「吃」上龙虾的红利呢？我们先来看一个动图：在上述动图中，AI 应用知名 KOL
2026-03-16
养只龙虾做科研？一句话自动跑实验写LaTeX，同行评审都包了
养只龙虾做科研？一句话自动跑实验写LaTeX，同行评审都包了
一行指令，全自动查文献、跑实验并交付论文初稿。前两天分享的 ARIS 让大家看到了让 AI 自动调代码跑实验的潜力，效果确实惊艳。今天来看个更进阶的：发一条消息，收一篇完整论文。相较于单纯依赖大模型生
2026-03-15
ICLR 2026 | 无需训练跨界泛化，UniOD用单一模型打通全领域异常检测
ICLR 2026 | 无需训练跨界泛化，UniOD用单一模型打通全领域异常检测
TL;DR：本研究提出了一种可跨不同领域、适用于特征维度各异且特征空间异构的数据集的异常检测通用模型。论文标题：UniOD: A Universal Model for Outlier Detecti
2026-03-13
学术头条
年终拆解：爆火的AI Coding Agent是什么？有哪些“坑”？
年终拆解：爆火的AI Coding Agent是什么？有哪些“坑”？ 2025-12-29
Meta公布“超级智能”新进展：无需人类，软件Agent即可自我训练！
Meta公布“超级智能”新进展：无需人类，软件Agent即可自我训练！ 2025-12-26
人人编程时代到来！智谱发布GLM-4.7：Vide Coding能力全球开源第一
人人编程时代到来！智谱发布GLM-4.7：Vide Coding能力全球开源第一 2025-12-23
全球首次实现！上海交大推出全光生成式AI芯片LightGen，研究登上Science
全球首次实现！上海交大推出全光生成式AI芯片LightGen，研究登上Science 2025-12-22
Karpathy年终大模型清单：Vibe Coding、Claude Code、Nano Banana等上榜
Karpathy年终大模型清单：Vibe Coding、Claude Code、Nano Banana等上榜 2025-12-21
热门类别
综合性期刊 物理 法学 地球科学 历史学
相关文章
中国民航大学接收材料科学与工程，物理学，航空制造工程调剂研究生 燕山大学环化学院招收调剂（电池和离子热电方向） 天津科技大学-（院士团队）先进纤维与纸基功能材料课题组 招收2026硕士调剂生 破解T细胞“能量分配”之谜！《Cell》揭示半胱氨酸如何分两路决定免疫细胞的杀伤与增殖 Nat Chem Biol | 王连荣/陈实联合破解噬菌体胞嘧啶全新超修饰
Book学术官方微信
Book学术文献互助
Book学术文献互助群
群 号：604180095
Book学术
文献互助 智能选刊 最新文献 互助须知 联系我们：info@booksci.cn
Book学术提供免费学术资源搜索服务，方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。
Copyright © 2023 Book学术 All rights reserved.
ghs 京公网安备 11010802042870号 京ICP备2023020795号-1