Aguvis：提升的不仅是 UI Agent 的规划推理能力

正文

请到「今天看啥」查看全文

3. low-level action instruction

决策过程可以分为 2 步完成：Planner 生成 IM 内容，然后 Grounder 按照 产生具体的 grounding 信息。

可插拔的动作空间

把动作执行 统一成了函数调用 （可以借力 base 模型的 function call 能力）：

类似函数调用的方式在 prompt 中告知有哪些函数是可调用的。

Aguvis Collection 数据集

Aguvis Collection 数据集 是作者汇总其他数据集构建的训练数据集；包括以下 2 部分，顾名思义，对应上面的两阶段训练； 后续会开源

1. 1. grounding split ：作者把以下数据集中的 Meta 信息都统一成 pyautogui 命令格式的数据

1. 2. planning & reasoning split

• "Thanks to our detailed inner monologue trajectory data, we implement a reasoning mixture approach , where the model is exposed to various levels of cognitive complexity , from straightforward low-level action instructions to full inner monologues that include observation descriptions, thoughts, and detailed action plans. By dynamically adjusting the complexity of these trajectories, we train the model to be adaptable, fostering step-by-step reasoning and high-level decision-making abilities. This diversity in reasoning ensures that the model can handle a wide range of tasks with nuanced understanding and precision."

Grounding Stage

以下是 grounding 阶段训练使用的数据格式：

⁉️

请到「今天看啥」查看全文