PC Agent-E – 高效智能体训练框架，开启计算机操作智能化新纪元

PC Agent-E是什么

PC Agent-E是由上海交通大学与SII联合开发的智能体训练框架，专为提升计算机操作的智能化水平而设计。它通过创新的数据增强方法，利用少量高质量的人类演示数据，生成丰富的训练样本，从而显著提升智能体在实际操作中的表现。

核心功能

• 高效训练能力：仅需312条人类标注轨迹，结合数据增强技术，即可实现显著的性能提升。
• 跨平台兼容性：在OSWorld基准测试中展现出强大的多系统适应能力，支持多种操作系统环境。
• 复杂任务处理：能够执行文件操作、软件使用和网页浏览等多种复杂的计算机应用场景。
• 数据增强功能：通过生成多样化的行动决策路径，丰富训练轨迹数据集并提升模型的泛化能力。

技术原理

PC Agent-E采用模块化的技术架构，具体包括以下几个关键环节：

• 轨迹收集（Trajectory Collection）：利用PC Tracker工具精确记录人类操作行为的完整轨迹，涵盖任务描述、屏幕截图和键盘/鼠标操作等多维度信息。
• 思维链补全（Thought Completion）：基于Claude 3.7 Sonnet模型对每个动作步骤进行逻辑推理补充，生成符合人类思维方式的推理过程。
• 轨迹增强（Trajectory Boost）：针对每一步操作生成多个可能的决策路径，全面捕捉任务执行中的各种可能性。
• 代理训练（Agent Training）：基于开源模型Qwen2.5-VL-72B进行深度学习训练，采用端到端的高效训练框架。

支持平台

PC Agent-E在Windows和Linux系统上均表现出良好的适应性，具备跨平台的泛化能力。

团队介绍

PC Agent-E由上海交通大学与SII联合开发，研发团队在人工智能领域拥有深厚的技术积累和丰富的研究经验。团队成员在多个国际学术会议和期刊上发表了相关研究成果，并获得了广泛的关注和认可。

项目资源

• 项目官网：https://gair-nlp.github.io/PC-Agent-E/
• GitHub仓库：https://github.com/GAIR-NLP/PC-Agent-E
• HuggingFace模型库：https://huggingface.co/henryhe0123/PC-Agent-E
• 技术论文：https://arxiv.org/pdf/2505.13909

业务场景

• 自动化办公：自动完成文档编辑、数据分析等任务，提高办公效率。
• 软件测试：模拟用户操作，发现软件中的错误和问题，提升软件质量。
• 教育辅助：作为虚拟助教，帮助学生完成计算机操作任务，提供即时指导。
• 辅助残障人士：提供辅助操作功能，方便残障人士使用计算机。