2026年11月3日，OpenHands与Snowflake AI Research联合发布了一种做法：开发者不用把已经搭好的智能体框架搬进另一套强化学习框架，就能针对自己的智能体配置对开源权重模型做后训练。沿用的还是原来的提示词、工具、技能和任务定义，变的是模型更适应这套工作方式。
问题出在训练与部署的脱节上。多数模型在通用配置下做后训练，到了具体框架里，就可能调错工具、忽略技能、多走冤枉路，或在预算耗尽前完不成任务。传统强化学习框架往往自带智能体循环与任务结构，开发者要先把现有框架重建一遍，既费工，又可能让训练环境与上线环境不一致。
新流程把三部分拼在一起：OpenHands Agent SDK负责智能体配置，Harbor格式负责任务定义，Snowflake Cortex Training负责GPU算力。每次训练 rollout 都真实执行一次开发者的智能体，配置直接传入；中间代理记录模型每轮实际生成的 token 作为训练数据，提示词和工具结果不计入损失。每个 rollout 在独立的Snowflake Cortex Sandbox里运行，终端与评分器在同一个沙箱内，奖励直接反映执行结果。
上手路径已经做成了一个名为cortex-training-rl的技能，放在OpenHands的extensions仓库里。开发者说清模型、任务目录、技能文件、回合预算和步数，智能体就会完成配置、启动训练、按步汇报奖励，并在完成后释放GPU。本地只在CPU上跑 rollout，训练与采样在Snowflake GPU上进行，默认用4块H200。同一技能也可以在Claude Code和Cursor里使用，运行需要一个开通了Cortex Training的Snowflake账号和一套Harbor任务。
官方用代码定位任务验证：智能体拿到真实Python仓库的 issue，要在10轮内找出需改动的文件、模块和函数，奖励为三级F1之和。团队用Qwen3.5-4B训练了25步，每步64个 rollout，整轮在几小时内完成，结果与专门搭建的强化学习实现相当。限制也要先说清：训练期间智能体只能通过终端改文件，file_editor工具暂不可用，每个命令都在新 shell 里执行，环境变量和后台进程不会保留。已有框架和评测任务的团队可以少重建一套系统；还没有稳定任务集的团队，先搭任务比急着训练更重要。
