Agent-E：基于 AutoGen 代理框架构建的 AI 浏览器自动化系统

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 功能：Agent-E 能够执行多种浏览器内的自动化任务，如表单填写、电商搜索与排序、内容定位等。
2. 技术原理：基于 AutoGen 代理框架，使用代理执行任务，并通过技能库和自然语言交互实现自动化。
3. 运行方法：提供了详细的安装和配置指南，以及如何通过命令行运行 Agent-E。

正文（附运行示例）

Agent-E 是什么

Agent-E 是基于 AutoGen 代理框架构建的智能自动化系统，专注于浏览器内的自动化操作。它通过自然语言交互，能够执行多种复杂任务，如填写表单、搜索和排序电商产品、定位网页内容等。Agent-E 的目标是提高在线效率，减少重复劳动，让用户更专注于重要事务。

Agent-E 的核心在于其基于代理的架构，通过代理（如用户代理和浏览器导航代理）执行任务。系统围绕技能库构建，技能库包含一系列预定义的动作（技能），分为感知技能和行动技能。自然语言交互使得用户可以用自然语言与浏览器互动，让任务执行更加直观。

Agent-E 的主要功能

• 表单填写：自动填写网络表单，包括个人信息输入。
• 电商搜索与排序：在电商网站如亚马逊上根据销量或价格等标准搜索和排序产品。
• 内容定位：在网站上查找特定内容，如体育比分或大学联系信息。
• 媒体交互：与基于网络的媒体互动，包括播放 YouTube 视频和管理播放设置。
• 网络搜索：执行全面的网络搜索，收集各种主题的信息。
• 项目管理自动化：在项目管理平台如 JIRA 上过滤问题和自动化工作流程。

Agent-E 的技术原理

• 基于代理的架构：基于 AutoGen 代理框架，用代理（如用户代理和浏览器导航代理）执行任务。
• 技能库：核心功能围绕技能库构建，技能库包含一系列预定义的动作（技能），分为感知技能和行动技能。
• 自然语言交互：支持用户用自然语言与浏览器互动，让任务执行更加直观。
• DOM 蒸馏：基于 DOM 蒸馏技术，Agent-E 将 HTML DOM 简化为相关的 JSON 快照，专注于用户任务相关的元素。
• 变化观察：执行动作后，Agent-E 监测状态变化，用语言反馈形式提供给 LLM，指导更准确的性能。
• 层次化规划：采用层次化规划，将复杂任务分解为子任务，由不同级别的代理处理。

如何运行 Agent-E

快速开始

1. 运行安装脚本：

• macOS/Linux：

./install.sh

如果需要安装 Playwright，可以使用 -p 标志：

./install.sh -p

• Windows：

.\win_install.ps1

如果需要安装 Playwright，可以使用 -p 标志：

.\win_install.ps1 -p

1. 配置环境变量：

• 编辑 .env 和 agents_llm_config.json 文件，按照说明设置字段。

2. 运行 Agent-E：

python -m ae.main

macOS 用户：

python -u -m ae.main

手动设置

1. 安装 uv：

• macOS/Linux：

curl -LsSf https://astral.sh/uv/install.sh | sh

• Windows：

powershell -c "irm https://astral.sh/uv/install.ps1 | iex"

2. 设置虚拟环境：

uv venv --python 3.11  # 3.10+ 也可以
source .venv/bin/activate  # Windows: .venv\Scripts\activate

3. 安装依赖：

uv pip compile pyproject.toml -o requirements.txt
uv pip install -r requirements.txt

4. 配置环境：

cp .env-example .env

• 编辑 .env 文件，设置以下变量：

• AUTOGEN_MODEL_NAME
• AUTOGEN_MODEL_API_KEY
• AUTOGEN_MODEL_BASE_URL（可选）
• AUTOGEN_MODEL_API_TYPE（可选）
• AUTOGEN_MODEL_API_VERSION（可选）
• AUTOGEN_LLM_TEMPERATURE（可选）
• AUTOGEN_LLM_TOP_P（可选）
• BROWSER_STORAGE_DIR（可选）

资源

• 项目官网：<https://www.emergence.ai/web-automation-api>
• GitHub 仓库：<https://github.com/EmergenceAI/Agent-E>
• arXiv 技术论文：<https://arxiv.org/pdf/2407.13032>

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦