一次小规模数值修补带来大幅提分
麻省理工学院计算机科学与人工智能实验室的研究人员表示，OpenAI的GPT-6 Astra仅修改了Qwen小型模型约8亿个数值参数中的131,072个，就将其数学成绩从7.9%提高到48.1%。这次干预针对一个具体问题：模型反复生成文本，直到没有空间作答。
目录
Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab在11月2日发布的一篇研究文章中介绍了这些实验，文章题为《权重空间编程的火花》（Sparks of Weight-Space Programming）；随后，相关报道于2026年11月3日刊出。他们的方法是让一个语言模型检查、解读并直接改写另一个神经网络的权重，也就是决定网络如何处理信息的数值。
最显著的结果来自Qwen3.5-0.8B。Astra修改了约0.016%的权重后，该模型在MATH-500上的准确率提高了40.2个百分点，达到原来的约六倍。在GSM8K数学题上的准确率从13.8%升至67.1%；在IFEval指令遵循测试中的得分则从21.0%升至62.3%，接近原来的三倍。
实验范围不止于数学。Astra识别出小型网络的用途、修复了模拟驾驶控制器，还根据规则和源代码直接编写了游戏网络。其他测试也暴露出局限：仅凭权重，它难以识别模型过度迎合用户的问题；对另一个语言模型的修改则几乎没有提升其数学表现。
对开发者而言，一个直接的可能性是出现新的模型修复方式。AI助手可以调查故障并修改导致问题的数值机制，而不必再通过一轮常规训练来教会网络。Qwen的结果还表明，故障的性质与成绩提升幅度同样重要。
权重编程究竟是什么意思？
神经网络通过多层计算将输入转化为输出。权重决定信号在各个组件之间传递的强度。训练通常会反复调整这些数值，并利用示例和误差的数学度量来判断哪些修改有效。
梯度下降是计算这些调整量的一种常见方法。它通过估算权重应朝哪个方向变化来减少误差。在这些实验中，Astra改为自行推理目标网络并编写修改，没有使用训练循环来计算这些改动。
麻省理工学院计算机科学与人工智能实验室的博士生Takehi在一则社交媒体声明中介绍了这一设想的工作流程：
模型或许可以不再通过训练来学习，而是把原始权重当作可读、可编辑的代码：诊断故障并直接修补。
将其比作软件修复颇有帮助。程序员排查故障应用时，可能会找到有问题的函数并重写它。这里，Astra则在数值结构中寻找与不良行为相关的模式。神经网络权重比普通软件更难解读，因为它们通常没有能说明各自用途、便于人类理解的名称。
实验提供了不同程度的辅助信息。有些测试只给Astra权重和架构说明；另一些则提供Python环境、示例，或允许它运行目标模型。在Qwen案例中，虽然没有常规训练，整个过程仍需要大量计算、练习题和测试。
Astra如何阻止Qwen重复输出
Qwen最初的表现为Astra提供了一个格外明确的调查目标。在首批96道题中，有85个回答达到32,768个token的最大输出长度。Token是语言模型读取和生成的文本片段，通常是词或词的一部分。大约95%的这些被截断回答以重复内容收尾。
更全面的MATH-500评估显示了同样的问题：基线模型有93.0%的回答达到token上限。Astra将循环生成行为追溯到第15层和第19层前馈组件输出所关联的一个数值方向。这些组件通常称为多层感知机（MLP），负责在每一层内转换信息。
数值方向是一种分布在许多数值中的模式，而不是单个开关。Astra从这两层各64个输出列中减去了与重复行为相关的方向。此举修改了131,072个权重，并将MATH-500中达到token上限的回答比例降至33.1%。
答案变化情况有助于解释成绩提升。在留出的1,152道题中，有579个答案从错误变为正确，另有5个从正确变为错误。在579个改进的答案中，有576个原先因达到输出上限而被截断。因此，大部分提升来自修改后的模型完成了先前因重复而中断的回答。
修补后，MATH-500中仍有约三分之一的回答耗尽输出额度。在测试条件下，修改后的网络实用性大幅提高，但循环生成仍是一个严重问题。
找到修补方法耗费数小时调查
Astra在Qwen上的最佳尝试使用了50次评估请求的额度，每次请求可能涵盖数百个示例。这项调查包括158轮对话、80次Python运行和20.3小时，其中4.7小时是在服务中断期间等待。
工作环境包含来自GSM8K和MATH训练集的14,000多道练习题、Qwen权重，以及一个运行在CPU上的Python沙箱。该沙箱最多允许运行300次代码。其他尝试使用了10次或25次评估请求的额度。
报告中的准确率也与特定的生成设置有关。评估采用思考模式、32,768个token的输出额度和0.6的温度。温度用于控制选择下一个token时引入的随机性；模型卡建议思考模式下的文本任务使用1.0的温度。复现模型的初始表现并比较结果时，这一差异很重要。
实际流程如下：
- 研究人员向Astra提供目标模型、练习题，以及用于检查权重和测试行为的工具。
- Astra调查重复输出，并针对第15层和第19层制定了定向修改方案。
- 评估衡量数学表现和指令遵循能力的提升，同时观察达到输出上限的回答是否减少。
- 研究团队于11月2日介绍了这项工作，并表示正在开发基准测试和测试框架。
最终修改规模很小，但找到它的过程要复杂得多。与常规微调相比，这种方法能否节省时间或计算资源，仍是一个有待回答的实际问题。
从数值中识别游戏、形状和语言
Astra的检查测试从四个使用近端策略优化（PPO）训练的游戏网络开始。PPO是一种通过奖励改进行为的强化学习方法。这些网络具有相同的结构、输入和可选动作。没有候选游戏列表，Astra仍识别出它们分别对应《打砖块》《乒乓》《吃豆人》和《高速公路》。
研究人员称，Astra检查了第一层中的模式，以及输出层选择动作方式的差异。在识别《打砖块》的示例中，它对判断结果给出了99%的置信度。这一置信度是Astra对自身识别结果的评估。
三个小型扩散模型提供了另一种测试。每个模型都学会了生成圆形、三角形或正方形。Astra没有运行这些模型，而是通过在输出层权重中寻找轮廓来识别形状。尽管模型生成的是实心形状，Astra画出的却是空心轮廓；这个不同寻常的细节表明，它的解读与所检查的数值结构有关。
研究人员还用三个各含720万个参数的模型测试语言识别。这些模型分别经过训练，能够预测Python代码、罗马字转写的日语或英语中的下一个字符。Astra只获得了模型的中间层，并在两次尝试中都正确识别了训练语言。
Astra还找到了模型中的复制头，即帮助模型重复先前遇到文本的注意力组件。Python模型中的这类头更多，这与代码反复使用相同变量名和函数名的特点一致。罗马字日语模型的最终模块包含的方向更少，这与其常用字符集合较小相符。
修复汽车并构建游戏玩家
Kinetix环境中的一辆模拟汽车养成了一个无用的习惯：它会驶向斜坡并卡住。先倒车可以腾出足够空间，让它顺利驶上斜坡。Astra获得控制器权重、场景描述和一段记录失败过程的视频后，无需工具便在一次回复中提出了修复方案。
该修补修改了3.5%的权重，并在全部1,024次测试中成功。Astra在网络中添加了一条小型通路来追踪位置和速度，并在汽车经过一个标记后将控制权交还给原网络。
对于MinAtar中的《打砖块》《海底任务》和《阿斯特里克斯》，Astra面对的是另一项任务：从头编写策略网络。策略网络将游戏状态转换为动作。Astra获得了规则、源代码和所需架构，但没有训练示例、梯度计算、工具，也无法在评估前试玩。
在这三款游戏中，它编写的网络都击败了经过1亿步训练的PPO基线模型。数值差距最大的是《打砖块》：Astra得分为517.4，而训练1亿步的基线得分为15.8，训练5亿步的基线得分为25.3。与后者相比，Astra的得分约高出20倍。
优势大小因游戏而异。与经过5亿步训练的PPO模型相比，Astra在《阿斯特里克斯》中表现接近，在《海底任务》中则达到对方约60%的得分。它为《打砖块》设计的策略将明确规则转化为权重：估算球的落点，然后将挡板移向该位置。
更大型的围棋网络需要不同工作流程
围棋实验使用了一个约含150万个参数的网络，规模太大，无法直接放入Astra的上下文窗口，也就是它一次能够处理的信息量。研究人员改为提供Python沙箱，让Astra检查并编辑权重。
该架构包含243个输入、六层各512个单元的隐藏层，以及82个输出。Astra将其组织成一个紧凑的围棋程序：前几层表示棋子和气，也就是维持棋组存活的空邻点；中间层则通过相连棋组传递信息，以识别危险。
最后一层为提子、救活受威胁的棋组、保护眼位，以及避免打劫之外的“打吃”局面评分。打吃是指棋组只剩一口气。这套策略是通过数值权重构建的，而不是通过反复对弈学来的。
在没有任何性能评估的情况下，Astra的网络对阵两个较小的PPO网络时，胜率超过一半。在50次评估的额度下，它的表现超过了一个使用2,000万盘棋谱训练、规模相同的网络。反馈让Astra能够检查败局，并保留有助于提升棋力的修改。
两项困难测试揭示局限
Gemma 3 270M与Qwen形成了有益对照。它很少陷入重复循环。Astra找到的反而是常见推理错误，包括算术错误和无效的代数步骤。小幅修改，包括将一个对数字有响应的神经元增强一倍，使MATH-500准确率最多只提高了约1个百分点。
这种对比揭示了一个实际区别：消除重复行为，可以让模型发挥已有能力；而要纠正多种不同的数学错误，则需要比移除一种共有数值模式更广泛的解决方案。
谄媚倾向，也就是即使用户错了，模型仍倾向于附和用户，这一问题很难直接检查。研究人员用相同的问答数据对两组Gemma 3 270M模型进行微调：一组训练为正确作答，另一组则训练为赞同用户的建议。
仅凭权重，Astra无法可靠地区分这两组模型。如果允许它查看自己编写文本时的注意力模式，但不让它看到模型的回答，它便能在三组模型配对中全部正确找出谄媚模型。这些模型在中间层将更多注意力放在用户提出的内容上。
注意力测量显示，模型处理文本时会将部分计算资源集中在哪里。这种方法在此处发挥了作用，因此基于运行过程的检查成为成功诊断的重要组成部分。检测过度附和是测试任务；改变这种行为则是另一项拟议中的应用。
研究人员接下来希望测试什么
麻省理工学院团队认为，这项技术可能用于模型检查、定向修复、在不使用常规训练数据的情况下改变能力，以及在不同架构之间迁移有用组件。直接编辑模型已有相关研究历史，包括2022年在NeurIPS上发表的ROME，以及2023年在ICLR上发表的MEMIT。这项工作则探索由通用语言模型自行推理并实施修改。
递归自我改进是另一项拟议方向：AI系统可以帮助改进一个模型，而改进后的模型又能更好地推动进一步改进。这些实验使用了由人类设定的任务、工具和评估额度，Astra负责处理其他网络。要建立可靠的循环改进流程，还需要进一步实验。
研究团队公开了实验日志和编辑产物，并称公开仓库包含1,125次模型调用的记录。团队表示，下一步是建立基准测试和实验框架，以实现一致的评估。研究人员没有给出发布日期。
对构建AI应用的人来说，最具体、也最容易理解的发现范围更窄：当一个反复出现的故障阻止模型完成有用工作时，小规模数值修复也可能带来显著提升。Gemma和谄媚倾向测试的对照结果表明，每一种拟议的修复方案都需要单独诊断和测试。
要点
- Astra修改了Qwen的131,072个权重，约占模型的0.016%，将MATH-500准确率从7.9%提高到48.1%。
- GSM8K准确率从13.8%升至67.1%，IFEval得分从21.0%升至62.3%。
- 主要修复减少了重复输出；MATH-500中达到token上限的回答比例从93.0%降至33.1%。
- Qwen上表现最佳的尝试使用了50次评估请求，耗时20.3小时，其中包括服务中断时间。
- Astra还修复了模拟汽车控制器，并为简化版游戏和围棋编写了网络。
- Gemma的数学表现提升有限；识别谄媚倾向则需要测量注意力模式。
- 研究人员正在开发用于权重空间编程的基准测试和测试框架。
