起点00
97 页综述2026312 篇文献地图
Self-Improvements in Modern Agentic Systems: A Survey
把真正的自我改进定义为：系统依据自身经验，持久修改基础模型参数 θ 或运行脚手架 Σ，使下一次任务从不同起点开始。下面的阅读列表围绕这个判断标准展开。
READING MAP / 02
Agent 如何真正学会
自我进化
从 1987 年的自指元学习，到 2026 年可持续修改模型、记忆、工具与控制逻辑的现代 Agent。按一条能读懂、能比较、也能保持怀疑的路径整理。
14 延伸阅读10 作者直接作品3 条路径39 年跨度
先读理论源头
理解“修改自己”为什么比“再想一次”更强：更新对象、验证条件与旧能力保留，都从这里展开。
- 01
Evolutionary Principles in Self-Referential Learning
把遗传编程递归应用到改进遗传编程本身，给出早期 Meta-GP 与“学习如何学习”的具体方案。
为什么读这是综述所依赖的历史起点：改进器本身也成为可被改进的对象。 - 02
Gödel Machines: Self-Referential Universal Problem Solvers Making Provably Optimal Self-Improvements
系统只有在能够证明一次自我重写会提高既定效用时，才修改自身任意部分。
为什么读它给出 RSI 最严格的理论上界，也解释了现代系统为什么常以经验验证替代形式证明。 - 03
POWERPLAY: Training an Increasingly General Problem Solver
系统持续发明尚不能解决的新问题，同时要求更新后的求解器保留旧技能。
为什么读把主动探索、课程生成、技能积累与防遗忘放进同一个持续改进循环。 - 04
One Big Net For Everything
先让副本通过探索获得新技能，再把新旧轨迹重新压缩进一个共享网络。
为什么读与综述提出的“脚手架快环探索、参数慢环固化”形成直接呼应。
再看现代系统如何落地
从可优化的 Agent 图，到会修改代码的求解器，再到能够积累实验依据的研究系统。
- 05
Language Agents as Optimizable Graphs
将 Agent 表示为节点与边组成的计算图，并自动优化 Prompt 与协作拓扑。
为什么读它把“修改控制逻辑”从抽象概念变成了可搜索、可比较的工程对象。 - 06
Agent-as-a-Judge: Evaluate Agents with Agents
让评测 Agent 主动读取工作区、定位证据，并判断多阶段任务的中间要求是否满足。
为什么读自我改进必须先获得可靠反馈；这篇回答了 Critic 如何从一次打分升级为证据收集系统。 - 07
Huxley-Gödel Machine
不只看当前 Agent 的基准分数，还估计它产生更强后代的“元生产力”，据此搜索自修改树。
为什么读这是作者团队把 Gödel Machine 思想落到现代 coding agent 的最直接实验。 - 08
Neural Computers
探索把计算、记忆与 I/O 统一进可学习运行状态，并追求显式重编程与持久能力复用。
为什么读它把改进目标从单个 Agent 拓宽为能够保存与重用程序性能力的新计算形态。 - 09
VERDI: Retrieval Is Not Transfer for Continual World Model Optimization
把历史优化经验先当作假设，只有在目标模型上通过冻结验证器后，才升级为可复用知识。
为什么读它精确回答了“经验被保存”为什么还不够：跨任务迁移必须重新验证。
最后校准边界与风险
用几个相邻系统区分临时反思、持久技能与完整 RSI，并理解自我修改带来的新攻击面。
- 10
Self-State Attacks on Self-Hosted AI Agents
研究攻击者如何通过合法系统调用污染 Agent 的记忆、指令与配置文件，并评估分层防御。
为什么读当 Memory 与 Tools 会被永久写回，Prompt Injection 就可能从一次性干扰变成长期漏洞。 - 11
Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents
让 coding agent 修改自身代码，用基准实证验证每次变化，并保留多样化后代档案。
为什么读它是 Huxley-Gödel Machine 的关键对照，也代表从形式证明转向受控经验搜索的路线。 - 12
TextGrad: Automatic Differentiation via Text
把自然语言批评当作梯度，沿计算图反向传播，以优化 Prompt、代码与复合系统组件。
为什么读它是 Scaffolding Improvement 中“更新如何传回各组件”的代表性机制。 - 13
Voyager: An Open-Ended Embodied Agent with Large Language Models
通过自动课程、可执行代码技能库和环境反馈，在 Minecraft 中持续积累可复用能力。
为什么读它清晰展示了不改模型参数，也能通过持久 Tool 与 Skill 更新形成跨任务成长。 - 14
Self-Refine: Iterative Refinement with Self-Feedback
同一模型在单次任务中生成反馈并反复改写答案，无需参数训练。
为什么读把它作为对照组来读：如果改进没有被持久写回，效果通常仍属于任务内自我修正，而非完整 self-improvement。
TAKEAWAY / 03
判断进化是否真实，
看它有没有留下可验证的改变。
一次反思可以修好当前答案；持久记忆、可复用工具、被验证的工作流或参数更新，才会改变下一次任务的起点。越接近完整自我修改，版本、权限、独立评测与回滚就越不能省。