最近 Superpower 似乎迎来了一批卸载潮
最近推上非常多在说 superpower 有问题的事情,顺带想到一些想聊的,那就随便聊聊吧
Superpower 的基本逻辑就是:用一整套人为设计的认知,接管模型如何思考、何时规划、如何分工、如何验证,以及何时算完成的判断点
这类东西在我的看法里头,已经可以被称为 harness 了,它将模型的行为策略直接替换了,而不是简单的 capability Skill
superpower 对模型做了非常多的假设,比如说:
- 模型容易直接开始构建而不会先理解需求
- 模型并不知道如何稳定地生成一份可用于执行以及记录执行的计划
- 从 Agent 实践来说,主 Agent 并不适合同时实现和审查,而模型对于实现和审查这部分的行为经常是不稳定的
- 而模型容易偏离任务,因此必须把工作切得很细
- 模型自己的完成判断是不可信的,必须要多轮 review
- 模型无法决定什么时候该探索、什么时候该执行
这些假设在之前的模型上都似乎还挺有价值的,但是问题就在这里
它越有效,就越容易和某一代模型的缺陷深度绑定。相信大家发现 superpower 非常影响 5.6 Sol 的表现,甚至是完全副作用
但是 Fable 5 的时候却没有人说,这个可以延伸到两家对于模型训练的思路是不一样的,当然其实这个很早就能看出来了,大家看 Codex 和 claude code 的实现的 harness 思路都不一样的
5.6 Sol?boom
GPT-5.6 Sol 已经不是被定位成一个需要外部教它如何 Agentic 的基础模型了,原本 GPT 系列模型被约束为需要用户提到它才会主动调用比如 spawn 这类工具,但是很明显现在 GPT 支持了 proactive 的 Subagent 派发模式,在现在的 Ultra 模式下直接默认打开,这意味着 Sol 本身就已经特殊强化了规划、工具协调能力
这也意味着 Sol 内部已经存在了一个比较完整的隐式策略了,而且是跟 superpower 不一样的,Superpowers 又向它塞进去一个显式 policy
然后实际上就变成:
这一块的竞争展现出来的是模型能力退化
Sol 原本可能会根据任务本身动态判断,而这些判断并不是以一份显式工作流的形式存在,而是已经被训练进了模型的行为分布里。
因此,Sol 表现得好的地方,未必是它比以前更会遵循一套复杂流程,而可能正好相反:它不再需要用户或 Skill 把流程完整写出来,也能够根据任务本身自主选择策略
问题就在于 Superpowers 做的事情,是把这些本来应该由模型动态决定的变量又重新固定下来
Sol 原本的动态策略选择,被替换成了一套静态的方法论,模型被要求优先服从另一套行为策略,而这套行为策略是在更早一代模型的能力假设上建立起来的
换句话说,Superpowers 对 Sol 造成的影响,是在一个已经拥有较完整 Agent policy 的模型上重新安装了一套外部 policy,而这两套 policy 其实并不一致...
Fable 5 没有出现同等级别的反作用
Fable 5 同样已经拥有长周期执行、规划、委派和验证能力,因此从“功能是否重复”的角度来说,Superpowers 对 Fable 5 其实也已经存在冗余。
A\ 对 Fable 5 的定位,是偏向长周期 Agent 的,而 Fable 5 自身其实也已经具备 Superpowers 想外置实现的大部分能力
但这里有一个关键差异:Fable 5 的行为形态仍然与 Claude Code harness 非常同构。
从 tool 的设计以及整体 claude code harness 设计来看,模型本身就会先展开问题,写较完整的计划,保守推进,主动检查,服从长篇流程性指令,同时把方法论视为高优先级约束
它可能变慢、变啰嗦、Token 消耗增加,但是表现其实不会出现很大的问题,因为模型自身的 policy 和外部 policy 大体同向,所以它不太容易把 Fable 5 推向一种完全违背其原生行为分布的状态。
可移植 Skill 与 Harness 的冲突
Superpowers 本身就一直以 Claude 作为主要适配对象。后来虽然支持 Codex 啥的
但是所谓可移植 Skill 在现阶段是无法脱离模型和 harness 的行为分布的
所以从这个问题出发,我们也许能发现更深一层的问题是,OpenAI 和 Anthropic 对模型能力与外部 harness 之间的分工,似乎一直都存在不同的倾向
Claude Code 的很多 Agent 能力长期以来都以显式 harness 的形式存在
- Plan Mode
- 权限模式切换
- Todo 与任务状态
- 比 Codex 激进 的 Subagent 策略(之前)
- 极致工程化的上下文压缩(之前我在做 HiJarvis 的时候做上下文压缩极其有感... Codex 的压缩用的应该是不一样的思路,但是无人知道到底咋做的)
- 等等等等
而 Claude 也一直表现出很强的流程可塑性,A\ 升级常常是带着 Claude Code 升级来升级模型体验的,所以 A\ 的产品路径更像是:提供一个能力很强、服从性很高、可塑性很强的模型 + 显式 harness 组织模型行为
所以在这种体系里,模型和 harness 是共同演进的
模型不一定需要把所有 Agent 行为都固化成一种唯一策略,而是需要能够在不同上下文、不同 Skill 和不同工作流下,被塑造成不同类型的 Agent。
Superpowers 本质上就是这种思路:既然模型足够可塑,那么就可以通过一组 Skill,把完整的软件工程方法论加载给它。
OpenAI 在 Codex 上体现出来的方向则有所不同,Codex 的外部 harness 当然同样存在,但是它更集中在:
- 执行环境
- Shell 与文件系统
- Sandbox、权限边界
- Apply Patch,而不使用常规 Edit Tool
- 任务生命周期;
- 可审查产物。
至于模型应该何时规划、是否继续追问、何时调用 Subagent、如何判断完成,则越来越像是模型本身需要承担的能力
你家 Codex 非 plan mode 下连 AskUserQuestion 都不给调用。。。
这是一种更偏向 outcome-oriented 的设计:给模型目标环境以及真实反馈,让模型自己决定中间过程
而 Claude Code 以及 Superpowers 代表的路线,则很明显更偏向 process-oriented:不仅给模型目标和环境,还显式规定模型应当如何组织过程
真正决定这两家思路区别是:哪些决策被认为应该属于模型,哪些决策被认为应该属于 harness。
所以 Sol 的变化可能正好说明,OpenAI 正在把更多决策收回模型内部
过去 GPT 系列在 Agent 场景中存在一个非常明显的问题:模型即使拥有工具,也未必会主动使用。
很多时候我们都需要在 System Prompt 中明确告诉模型什么时候搜索,什么时候创建计划,什么时候使用 Subagent,必须持续工作直至完成,这意味着外部 harness 需要承担大量推动模型行动的职责
但 Sol 上出现的变化是模型开始更加主动地识别任务复杂度,拆分任务主动派发 Subagent(甚至是非常激进地派发)进行多阶段执行,高度强化了模型的组织能力
而这时继续使用过去那种必须显式教模型如何 Agentic 的 Skill,就可能直接产生反效果
思考 Agent 工程的价值正在往哪里移动
在模型能力较弱的时期,Agent 工程的核心价值是帮助模型思考规划、分解任务以及审核完成情况
但随着模型本身逐渐内化这些能力,外部 Agent 工程的价值重心会开始移动。
未来真正不容易失效的工程(其实他们一直都存在),也许就变成了可观测性、权限、human in loop、生命周期管理
这些能力并不会因为模型更聪明而消失,因为概率模型绝对会出错,模型可以更好地决定应该做什么,但系统仍然需要保证它实际做了什么、它能不能做这个。
因此,Superpowers 所折射出来的模型变化其实是
Agent 模型正在逐渐收回原本被外部 harness 接管的认知决策权
而当模型自身开始拥有更加完整的 Agent policy 后,过去那类通过 Prompt、Skill 和工作流替模型设计思考过程的工程,就会进入快速折旧阶段
对模型来说,这些 Skill 它们曾经是能力补丁,之后会慢慢变成重复逻辑
再之后,则可能会成为干扰模型表现的控制系统
围绕某一代模型缺陷建立的 harness、prompt 和 Skill 编排,会随着底层模型升级逐渐失去必要性,甚至由增益项变成干扰项