让 Agent 接手头身拼接
Linxi 修模 Agent 探索从头部与全身模型的拼接入手,尝试让 Agent 接手一部分人工修模步骤。这篇修模 Agent 复盘记录早期失败如何推动执行约束调整,以及近期 Blender 测试完成对齐与微调后的阶段进展。人工修模仍是现行生产方式。
从人工修模里选一个起点
在 Linxi 的生产探索中,AI 生成模型之后,仍有不少工作需要交给修模师。模型能生成,不代表人物特征、结构和细节已经适合继续制作。我主动提出修模 Agent 方向,把探索放在生成后的模型编辑上,希望逐步把人工经验转成可执行的流程。
最初选定的切口是头部与全身模型的拼接:先让两者的位置和比例对得上,再处理接缝。相比直接要求 Agent 完成整套修模,这个任务的输入、操作范围和检查对象更具体。至于自然语言直接编辑模型,则留到后续探索。
从对齐到精修,分三个阶段推进
我把修模任务拆成了三个阶段,希望逐步验证 Agent 能接手到什么程度。
第一阶段是对齐。从头部与全身模型的拼接入手,先处理位置、比例等关系,让两个模型能够对得上。我们把这一阶段作为最先开展实验的范围,用固定模型观察 Agent 的操作和结果。
第二阶段是去掉多余部分。在对齐的基础上,再处理旧头模或拼接时产生的多余、重叠结构。这部分需要接续前一阶段的结果,也需要明确哪些结构应当保留、哪些可以修改。
第三阶段才是精细修整,进一步处理脸部等细节的还原与美观问题。把它放在后面,是为了先解决整体位置与结构,再逐步进入更细的编辑任务。
这三个阶段是当时的任务规划。早期实验卡在第一阶段,即使保持相同设置、参考成功案例的运行过程,结果仍不稳定。我们据此分析失败、改进执行约束;近期测试进展放在文章末尾,和这段历史实验分别记录。
先把人工步骤拆开
我和修模师一起梳理了鼻尖对齐、比例缩放、隐藏或挤压旧头模、头发叠合、合并与封孔等步骤。拆解的目的不只是列出操作顺序,还要弄清每一步在判断什么、哪些部位需要保护,以及哪里做错后应该退回去。
首阶段只验证粗拼接定位,在 ZBrush 中用固定模型开展实验。我负责产品方案、人工流程拆解、工具需求、实验条件和验收标准,并借助 Codex 推敲工作流与架构;开发同事负责细化实现、稳定性和实际应用。
我也把运行记录、检查点、多视角观察和人工接手纳入方案。希望一次实验结束后,我们能沿着具体操作找到问题,而不只是面对一个不满意的最终模型。
一次没能完成的拼接
首轮固定案例实验没有得到成功的拼接结果。回看运行记录(Trace)时,我们发现,对齐和拓扑校验没有通过,流程却仍允许调用结束动作(finish)。任务的结束,并没有被可靠地约束在验收通过之后。
这让我把两个问题分开看:一个是 Agent 能不能把模型修好,另一个是系统能不能正确判断它还没有修好。对齐失败需要继续查具体操作与判断;允许未通过校验的任务结束,则暴露了执行流程本身的缺口。只继续修改提示词,不能替代对完成条件的约束。
把约束写进执行流程
后续方案中,我把部分约束从提示词移到 Agent 外围的执行控制层,也就是 Harness:对齐和拓扑检查未通过时,不应直接结束;对齐通过后冻结头部,后续操作只修改接缝附近;重复尝试仍不收敛时,触发重试上限,保留现场并转交人工。
运行记录也需要能说明时间花在哪里、调用了哪些工具、为什么失败、人工从哪里接手。这些信息用于判断一次尝试是否值得继续,而不是只看 Agent 有没有执行完一串操作。
这些调整还需要通过新的真实运行检验。拦住不合格结果和得到合格结果,是两件都要验证的事;增加执行约束,本身并不能证明对齐能力已经改善。
从暂缓投入到重新测试
早期多轮迭代仍无法稳定对齐,团队判断模型的空间理解能力是主要瓶颈,先将研发资源转回网页与小程序的上线主流程。
近期重新测试时,GPT6 在 Blender 中完成了头身对齐,并能进行较自然的衔接和一定程度的精准微调。模型与工具环境都有变化,这属于阶段测试进展,不等于已形成稳定的全自动修模能力;现行生产仍由修模师在 ZBrush 中完成。
下一步仍需要在更多固定案例中检查结果、人工介入和失败处理。单次测试进展不能直接推导人工工时下降或完整三阶段自动化已通过。