ZeroSearch – 开源大模型搜索引擎框架的创新与突破
ZeroSearch 是阿里巴巴通义实验室开源的一款创新大模型搜索引擎框架,以下是其详细内容:
什么是 ZeroSearch
ZeroSearch 基于强化学习激励大模型的搜索能力,无需与真实搜索引擎交互,也无需对大模型进行复杂修改。它通过轻量级监督微调,将大模型转化为检索模块,根据查询生成相关或噪声文档,并引入课程学习机制,动态调整文档质量,逐步提升模型推理能力。
核心功能
- 无需真实搜索引擎交互 :模拟搜索引擎激励大模型搜索能力,降低成本和不可控性,如避免因搜索引擎 API 变化带来的影响。
- 动态控制文档质量 :支持生成相关或噪声文档,根据提示关键词调整质量,提供多样化检索场景,方便训练时控制信息难易程度。
- 降低成本 :相比传统方法,训练成本大幅降低,如使用 14B 参数模型在四个 A100GPU 上训练一次强化学习模型约需 70.80 美元,而使用 SerpAPI 进行相同数量搜索查询的训练成本高达 586.70 美元。
- 兼容多种模型和算法 :兼容不同参数规模大模型,如 3B、7B、14B 等,还支持多种强化学习算法,如 PPO、GRPO 等,具较强扩展性和通用性。
技术原理
- 模拟搜索引擎 :利用大模型预训练知识转化为检索模块,生成相关或噪声文档替代真实搜索引擎。
- 轻量级监督微调 :基于少量标注数据微调大模型,生成指定质量文档,适应不同训练需求。
- 课程学习机制 :训练中逐渐增加文档噪声水平,让模型从简单场景逐步适应复杂任务,提升推理能力。
- 基于 F1 分数的奖励机制 :用 F1 分数作奖励信号,关注答案准确性,确保生成答案与真实答案匹配。
- 多轮交互模板 :设计明确推理、搜索、回答阶段,用结构化标签引导模型逐步完成任务。
支持平台
ZeroSearch 支持多种硬件平台,如常见的 GPU 设备等,可在多个操作系统上运行,如 Linux 等,同时兼容多种深度学习框架,像 PyTorch 等。
团队介绍
ZeroSearch 由阿里巴巴通义实验室推出,该团队在 AI 领域经验丰富,技术实力强,通过不断创新为 AI 发展做出贡献。
项目资源
- 官网 :https://alibaba-nlp.github.io/ZeroSearch/
- GitHub 仓库 :https://github.com/Alibaba-nlp/ZeroSearch
- HuggingFace 模型库 :https://huggingface.co/collections/sunhaonlp/zerosearch
- arXiv 技术论文 :https://arxiv.org/pdf/2505.04588
业务场景
- 智能问答系统 :快速准确回答问题,用于智能客服、智能助手等场景,如企业客服机器人解答客户咨询,提升服务效率和质量。
- 内容创作 :帮助创作者获取信息、生成初稿或提供灵感,适用于新闻、文案、学术写作,如文案人员借助其快速生成文案初稿,提高创作效率。
- 教育与学习 :为学生即时解答问题,支持在线教育和智能辅导,如学生遇到学习难题时及时提供解答,辅助学习。
- 企业知识管理 :帮助员工快速检索公司内部资源,提高工作效率,如技术人员快速查找技术文档等内部资料,提升工作效能。
- 研究与开发 :为研究人员提供最新研究成果,加速研究进程,如科研人员利用其快速获取前沿研究信息,推动科研工作发展。