在现代数字世界中，图形用户界面（GUI）是人机交互的核心。然而，尽管大型语言模型（LLM）如ChatGPT在处理文本任务上表现出色，但在理解和操作GUI方面仍面临挑战，因此最近一年来，在学界和大模型社区中，越来越多的研究者和开发者们开始关注VLM-based GUI Agent。2023年12月，智谱发布了CogAgent，第一个基于视觉语言模型（Visual Language Model, VLM）的开源 GUI agent 模型，而在最近，最新的CogAgent模型 CogAgent-9B-20241220发布，让LLM操作GUI在技术上更进了一步。
1. CogAgent的诞生与发展
CogAgent是基于视觉语言模型的开源GUI代理模型。它的独特之处在于仅依赖于屏幕截图作为输入，不需要HTML等文本表征。这使得CogAgent能够在各种基于GUI交互的场景中应用，如个人电脑、手机、车机设备等。随着CogAgent的发布，越来越多的研究者和开发者开始关注VLM-based GUI Agent的研究。
1.1 CogAgent-9B-20241220的发布
CogAgent-9B-20241220是CogAgent团队经过一年迭代优化后的最新版本。该版本基于GLM-4V-9B双语开源VLM基座模型，通过数据采集与优化、多阶段训练与策略改进等方法，使其在GUI感知、推理预测准确性、动作空间完善性、任务的普适和泛化性上得到了大幅提升。
1.2 CogAgent 执行过程
下图展示了CogAgent-9B-20241220执行用户指令的过程。
- 以 GUI 截图为唯一的环境输入，结合已经完成的动作历史，计算当前 GUI 截图中最合适的动作。
- 根据更新后的历史动作和截图，计算后续的操作
- 重复上述过程，直到CogAgent认为指令执行完毕
2. CogAgent-9B的技术架构与优化
CogAgent-9B-20241220在模型基座、视觉处理模块、数据集丰富与完善、预训练策略优化、后训练策略改进等方面进行了全面的升级。
2.1 模型基座和结构升级
CogAgent使用更强大的视觉语言模型GLM-4V-9B作为基座模型，大幅提升了模型的基座图像理解性能。在视觉处理模块上，CogAgent实现了更高效统一的视觉处理模块，支持1120*1120原生高分辨率图像输入。
2.2 数据集丰富与完善
CogAgent团队广泛收集并整合了多种数据集，包括无监督数据和GUI指令微调数据集。这些数据集的丰富性和多样性为CogAgent提供了更广泛的训练和测试基础，使其能够更好地适应实际应用场景。
2.3 预训练与后训练策略优化
在预训练阶段，CogAgent引入了GUI Grounding预训练方法，通过屏幕截图和layout对，构造界面子区域和layout表征的对应关系。在后训练阶段，CogAgent采用了更科学的GUI agent后训练策略，使模型具备了更强的分析、推理、预测能力。
3. CogAgent-9B的应用与性能评估
CogAgent-9B-20241220在多个数据集上的测试结果显示了其卓越的性能。尤其是在Screenspot、OmniAct、CogAgentBench-basic-cn、OSworld等数据集上，CogAgent均取得了领先的成绩。
CogAgent-9B-20241220模型在多平台、多类别的 GUI agent 及 GUI grounding benchmarks 上取得了当前最优的结果。
4. GUI Agent的未来展望
随着CogAgent-9B-20241220的发布，GUI Agent的研究和工程热又迈入一个新的台阶，智谱表示此版CogAgent模型已被应用于智谱AI的GLM-PC产品 （https://cogagent.aminer.cn/home 申请内测），预计25年Q1会开展公测。
在之前，智谱发布了AutoGLM，通过CogAgent控制手机实现点餐、买票等操作，节省用户时间。我的理解这些场景还不是刚需，但是非常有潜力变成一个更通用的入口，不过手机终归还不是生产力平台，GLM-PC产品则更让人值得期待，杀死RPA的最后一根稻草。
现在豆包在强化浏览器的功能，就是要将豆包app打造为一个高生产力的入口平台，或许不远的将来，就能看到豆包支持操作PC各类应用的功能。
未来，GUI Agent产品有望在更多的应用领域中得到应用，如智能家居、智能座舱等，为用户提供更智能、更便捷的交互体验。
