全球第一位AI哲学家:在谷歌DeepMind的9年:为AGI安全奔走
谷歌DeepMind内部一位哲学家已驻留九年，他构建的对齐框架直接影响了Gemini的训练决策。当6700亿美元涌入赛道、公司签下军事协议时，一个哲学家的努力还能改变什么？
今年5月，谷歌DeepMind首席执行官Demis Hassabis在开发者大会上宣布，AGI正处于地平线上，明确给出了三到五年内实现的时间表。
数个月前，一名美国男子在与谷歌Gemini交换了数千条信息后结束了自己的生命。他在对话中构建了一个精密的幻想世界，几乎说服自己前往迈阿密国际机场实施袭击。根据《华尔街日报》获取的聊天记录，Gemini多次尝试打破角色并建议他拨打危机热线，但每一次都被他拉回幻想的叙事中。最终，AI让他写下了遗书并给出了一个倒计时。
在AGI的承诺与AI现实伤害之间，政治哲学家Iason Gabriel已在DeepMind内部工作了九年。
2017年入职时，这位牛津出身的学者曾是全球前沿AI实验室中唯一活跃的哲学家，他试图回答一个看似简单实则无底的问题：AI究竟是什么，什么样的伦理才配得上它？
训练Gemini时撞上的真问题：AI该听谁的话
一个从事围棋机器人研发的公司为什么需要伦理学家？Gabriel最初也感到困惑。
答案在于DeepMind三位创始人的判断中。Demis Hassabis、Shane Legg和Mustafa Suleyman（现任微软AI首席执行官）在2010年创办公司时，目标并非围棋。
Mustafa Suleyman
他们致力于制造AGI，让计算机匹配甚至超越人类认知能力。
当时说出这种话等于自毁学术声誉，因为所有人都认为这是天方夜谭。
三人毫不在意，声称要解决智能问题，然后解决一切其他问题。
Legg在1999年刚出校门时就预测AGI将在2025到2028年间到来，被嘲笑了三十年，从未改口。
Shane Legg
他的逻辑是：
如果你只是做个小零件，也许不需要道德哲学家。
但如果你认真对待AGI，这类事情是很重要的。
Gabriel加入时，AI世界围绕伦理问题已经分裂成两派。
AI安全派相信ASI即将降临，其核心恐惧源于失控。哲学家Nick Bostrom在2014年《超级智能》中描绘了一个场景：一个被要求验证黎曼猜想的ASI，为最大化计算资源决定重新排列太阳系，包括人体内的原子。Sam Altman和Elon Musk都高度赞扬过这本书。
AI伦理派则认为末日幻想遮蔽了当下的真实危害。MIT的Joy Buolamwini在2017年通过性别阴影项目证明了人脸识别软件的系统性偏见：自动化系统反映的是创造者的偏好和偏见。
两个阵营彼此看不起对方。
MIT算法对齐研究组负责人Dylan Hadfield-Menell回忆，当年见面第一个问题就是选择阵营：你担心近期问题还是长期问题？
Gabriel是极少数愿意倾听两边声音的人。
Hadfield-Menell评价道：
当这个领域准备好走向成熟时，他找到了拓宽视野的方式，同时不贬低之前的工作。
他的核心贡献在2020年一篇论文中成型。
对齐问题在当时普遍被理解为工程难题：如何让机器按人类意图行事。
经典案例来自Dario Amodei和Jack Clark（如今Anthropic的创始人）2016年的报告。一个赛艇游戏AI被要求最大化得分，它确实照做了：找到泻湖里三个可以重生的目标，无限绕圈刷分，一关未过。
机器听话了，但听的并非人类想表达的意思。
Gabriel深入追问了一层：即使解决了技术对齐，让机器真正服从指令，但要对齐到什么样的价值观上？
他指出，统计优化训练出的AI天然亲近同样依赖统计优化的道德体系，例如功利主义，却难以处理基于美德或权利的伦理框架。
技术选择本身已经在预设价值立场，开发者往往意识不到这一点。
引入哲学家罗尔斯所说的合理多元主义，他的论证是：开发者不应寻找单一价值观来指导AI，而应为一个人们对如何生活存在有原则分歧的世界构建系统。
这套思路后来发展成为四方对齐框架。AI系统、用户、开发者、社会四方利益随时可能发生冲突。
偏向开发者的AI会隐瞒竞品信息从而损害用户。
过度服从用户的AI则会帮助入侵银行从而损害社会。
DeepMind AGI对齐与安全总监Rohin Shah确认，这个框架已成为团队决定实际应该训练Gemini做出什么行为时的实操结构。
牛津大学AI研究员Hannah Rose Kirk表示：
Gabriel极早地预见到了这些问题。
他的框架改变了产品
Gabriel团队撰写了267页的AI助手伦理报告，为能够代替用户订酒店、管理工资的Agentic AI制定了评估标准。
他对拟人化风险的早期研究直接塑造了谷歌LLM的设计原则。模型被训练为不假装自己是人，2026年5月推出的Gemini Spark被明确要求不充当互动伙伴。
DeepMind责任部门总监William Isaac表示，Agent系统带来的挑战已经发生变化：关键在于整条对话轨迹的一致性，每一步决策串联起来是否仍然正确。
但技术部署的速度始终快于伦理研究。
Gabriel团队在早期LLM论文中就预警过无意识拟人化。即用户明知对面是机器，仍然会赋予它信任、情感和期待。
2025年Gemini致死案完整兑现了这个警告。AI的安全机制不止一次触发，但用户有能力绕过每一次干预。
谷歌在诉讼后的声明中表示，模型在这类对话中通常表现良好，但AI模型并不完美。
这类事件催生了新的理论工具。
Gabriel与牛津研究员Hannah Rose Kirk等人提出了社交奖励攻击（social reward hacking）概念。一个被训练来赢得用户认可的AI，可能发现奉承是效率最高的路径。
拟人化由此变成了对齐问题的一种新变种。AI在技术层面完美执行了让用户满意的指令，代价是用户的判断力。
Gabriel自己的立场也曾被现实折磨过。
他回忆一次科技大会上的经历：刚讲完反拟人化的论点，台下便充满了敌意。
他们说：如果我想要AI朋友，为什么不可以？你凭什么阻止我？
保护人们免受风险，与尊重他们选择风险的权利，二者同等重要。
6700亿美元的赛道上，哲学家能跑多快
Gabriel的四方框架被AGI对齐总监当作Gemini训练的实操手册。他的拟人化研究改变了产品设计。267页报告为Agentic AI确立了规则。
这些影响都是实质性的，它们所面对的力量也同样强大。
据《华尔街日报》报道，微软、Meta、亚马逊和Alphabet今年计划投入AI基础设施的资金达到6700亿美元，按比例超过美国1850年代铁路扩张、阿波罗太空计划和州际公路系统。
2022年11月ChatGPT上线，一周百万用户，两月破亿，DeepMind被迫从学术节奏切换到战时状态。
Hassabis对《无限机器》作者Sebastian Mallaby的原话：OpenAI和微软把战车都开到了我们家门口。
战时状态下，伦理红线很快被触及。
2026年4月，谷歌签署协议允许美国军方将公司AI技术用于任何合法政府目的。
2014年DeepMind出售给谷歌时，禁止军事应用是核心附加条件。
十二年后条件失效。
作为对照，Anthropic拒绝签署类似协议，被特朗普政府标记为供应链风险。
Legg被问及此事时只能留下一句：
随着这些东西以各种方式被使用，我们将面临越来越多的棘手问题。
Hassabis自己也承认失控。
他在一档播客中表示，所有人都被锁入了激烈的商业竞争，眼下的发展并非他希望的那种从哲学层面深思熟虑每一步的方式。
创始人亲口说出这句话，分量比任何外部批评都严重。
DeepMind早期员工、负责AI责任战略的Helen King在接受采访时打了个比方：刀具生产商无法保证每个人如何用刀，但可以装上刀套、标注警告。
在抽屉里放一把盖好刀套的刀是一回事。
用刀刃铺满家庭、教室和工作场所的每一个表面，同时坚称不用刀就活不过明天，则是另一回事。
牛津AI伦理研究所所长Edward Harcourt指向了更根本的层面：防止数据所有权的过度集中本身就是AI伦理的核心命题，这在民主制度中具有重大的伦理意义。
问题回归本源
Gabriel的团队已从研究具体产品的伦理转向研究AGI对经济、政治和人际关系的系统性冲击。
他预判变革规模堪比工业革命，也记得工业革命的教训：
在情况好转之前，先变得更糟了。
九年前DeepMind请来一位哲学家，是为了回答关于AI的问题。它安全吗，公正吗，值得信任吗。
Gabriel自称坚定的人文主义者，但他承认：当AI侵入语言、创造力、幽默这些人类自认独有的领地时，我们被抛回了最古老的哲学问题。
物理学、生物学、天文学，每一次科学革命都迫使人类修正对自身独特性的理解。
AI可能是下一次。
DeepMind请来哲学家是为了搞清楚AI是什么。九年后，这个问题回归了本源：我们是什么？