网易有道今日宣布自研的知识库问答引擎 QAnything 正式开源,除了可以调用云端大模型服务,还支持纯本地部署,目前可免费在开源社区 Github 内进行下载。

据介绍,QAnything 一键部署即可使用,系统支持 Word、PPT、Excel、PDF、图片等多种文档格式,直接导入进去即可像“ChatGPT”一样问答。官方推荐 RTX 3090 及以上配置电脑本地部署

17053944928721000.webp

QAnything 的主要原理是基于检索增强的生成(Retrieval Augmented Generation,简称 RAG)。RAG 是目前很火的一种技术框架,它能够利用检索外部内容的方式增强大语言模型的准确度、专业能力和个性化等各方面的性能。

网易有道表示,通用大模型能力很强,但无法使用用户的私有数据,且存在胡乱编造的幻觉问题。而 QAnything 号称结合了用户私有数据和大模型的优势 —— 用户的任何内容,以任意的形式存在,比如各种格式的文档,音频,数据库等,都可以在 QAnything 的支持下,变成可以针对其内容进行问答的使用方式,通过这个技术框架用户可以很方便地搭建自己的智能知识助手。正如它的名字一样,Q 是 question,A 是 answer,QAnything 的目标就是万物皆可问。

17053944937011000.webp

值得一提的是,本次网易有道开源的 QAnything 是一套完整的 RAG 系统,包括专门优化的自研的 embedding 和 rerank 模型、微调后的 LLM(大型语言模型)、优化后的推理代码、向量数据库,以及一个立即上手可用的前端。所有的算法模型(包括 7B 大模型 + embedding / rerank+OCR)占用显存不超过 16GB

网易有道官方表示,QAnything 已在网易有道的多个产品中应用,包括有道翻译文档问答、有道速读及有道内部业务的客服系统等。

17053944945331000.webp

附 QAnything 开源项目地址和体验链接: