通过构建专门的图标描述数据集，研究人员发现该模型在常见应用图标的描述上更加可靠；在UI截图的视觉提示基础上，加入局部边界框的语义信息（以文本提示的形式）能够显著提升GPT-4o的理解效果。

为了解决这个问题，现在，西湖大学 AGI 实验室张驰团队推出了 AppAgentX —— 一款具备自我进化能力的 GUI 代理。它能够在不断执行任务的过程中学习并优化自身的行为模式，实现更加高效的操作。 任务执行更快，减少重复计算 ：传统的 LLM 代理每次执行任务都需要重新思考操作流程，而 AppAgentX 能够记住并复用执行策略，从而避免重复推理，使得任务执行更加流畅高效。

然而，通过技术规格的分析，还不足以全面评估Magic7Pro的市场表现。这款手机的一个显著特点是其独特的AI交互设计，启用了基于GUI的个人AI智能体AIAgentYOYO，能够通过自然语言和视觉识别来执行用户的命令。与传统的API接口不同，GUY技术使得AI可以直接在用户面前操作，从而提供了一种全新的交互体验。这意味着，只需简单的指令，如“点一杯冰美式”，AIAgent便可自动识别当前屏幕状态， ...

【西湖大学张驰团队推出具备自我进化能力的 GUI 代理 AppAgentX】 日前，西湖大学 AGI 实验室张驰团队推出了 AppAgentX。 它能在执行任务中学习并优化自身行为模式，在多个 GUI 交互任务上实现“降本增效”，从单步执行效率到总体 ...

【西湖大学发布新智能体 ...

日前，西湖大学AG实验室张驰团队推出了AppAgentX——一款具备自我进化能力的GUI代理。它能够在不断执行任务的过程中学习并优化自身的行为式，实现更加高效的操作。从实验结果来看AppAgentX从单步的执行效率到总体的APtoken消耗，在多个GUI交互任务上展现出了显著的“降本增效”。来源：财联社报料、维权通道：应用市场下载 ...

【3 月 10 日，西湖大学 AGI 实验室张驰团队推出具备自我进化能力的 GUI 代理 AppAgentX 】它能在执行任务中学习并优化自身行为模式，实现更高效操作。从实验结果看，AppAgentX 在多个 GUI 交互任务上，从单步执行效率到总体 ...

然而，这些传统方法大多采用“逐步GUI智能体”方式，频繁查询GUI状态，依赖云端模型进行决策，这不仅带来了隐私和安全问题，还增加了用户端 ...