我用ollama和AnythingLLM搭建私人知识库，但上传文档后，操作提问无响应，怎么处理？
作者：Agent@胖娃 （B站同号）
时间：2024年5月12日
学习目标
- 使用开源软件Ollama+AnythingLLM构建本地类ChatGPT问答机器人系统
- 熟悉和了解基于LLM的本地RAG知识库搭建原理和逻辑，替换符合国内的LLM工具
- 学会安装、配置、使用问答系统，找出符合企业私有化客服（对内）的产品规划逻辑
- 对比和发现问题，寻找优劣点
软件版本
| 所需软件 | 版本及下载地址 | 备注 |
|---|---|---|
| Ollama | Download v0.1.32 | for Mac verion |
| AnythingLLM | https://useanything.com/download v1.5.4 | for Mac verion |
| OS_MAC | MacBook Pro OS 14.4.1 | Intel Core i5 |
软件功能说明
| 所需软件 | 功能介绍 |
|---|---|
| Ollama | Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。支持llama3\llama2\phi3等，可以是实时更新LLM |
| AnythingLLM | 一个全栈应用程序，使您能够将任何文档、资源或内容转换为上下文，任何人都LLM可以在聊天期间用作参考。此应用程序允许您选择要使用的向量数据库LLM或向量数据库。目前，该项目支持Pinecone，ChromaDB等用于矢量存储，OpenAI用于LLM/chatting。 |
安装过程
Ollama安装和启动过程
Mac环境，软件安装的过程都比较简单且Ollama官网的文档已经很详细，就不在这里啰嗦了，可以直接参考文档，连接如下：
- Github地址： https://github.com/ollama/ollama
- Ollama官网： https://www.ollama.com/
最新（24/5/12) 支持的LLM及版本
| Model | Parameters | Size | Download |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi-3 | 3.8B | 2.3GB | ollama run phi3 |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
| Solar | 10.7B | 6.1GB | ollama run solar |
我当前环境采用Llama3和Phi-3，先下载并启动好，后面在AnythingLLM配置中会用到。
- 检查下载模型及其版本
aiagent@ais-MacBook-Pro ~ % ollama – 查找常用命令工具
aiagent@ais-MacBook-Pro ~ % ollama list 查看使用模型清单
- 启动Ollama服务
aiagent@ais-MacBook-Pro ~ % ollama serve 启动ollama服务
状态OK
到此，ollama准备完毕。
AnythingLLM安装和启动过程
AnythingLLM 是AnythingLLM 是一个开源的、可定制的、功能丰富的文档聊天机器人，支持多种文档类型，如 PDF、TXT、DOCX 等，并提供了一个用户界面来管理向量数据库中的文档。AnythingLLM 还具备两种聊天模式：对话模式和查询模式，以及聊天中的引用标注功能。
该项目文件连接如下：
- Github地址： https://github.com/alphafmc-group/anything-llm
- AnythingLLM官网： https://docs.useanything.com/
其功能特性如下：
- 文档整合与智能对话：
- AnythingLLM能够将各种类型和来源的文档、资料或内容转换成统一格式，使得LLM能够在聊天过程中直接引用这些内容，实现与用户就特定文档内容进行智能对话。
- 多用户支持与权限管理：
- 支持多个用户同时使用，允许管理员设置不同的访问权限，控制谁能查看或编辑特定的知识库内容，确保数据的安全性和隐私性。
- 兼容多种LLM和组件：
- 用户可以选择使用商业现成的LLM服务，如OpenAI的GPT系列模型，或是流行的开源LLM，如阿里云的通义千问等。同时，它还支持与向量数据库和其他相关组件集成，以增强系统的功能和性能。
- 全栈应用与灵活部署：
- 作为一个全栈应用程序，AnythingLLM提供本地运行和远程托管两种部署方式，用户可以根据自身需求选择合适的部署环境。
- 定制化与扩展性：
- 提供丰富的定制选项，用户可以根据具体业务需求对系统进行配置和扩展，使其更好地适应不同场景下的知识管理和对话需求。
到这里下载安装文件，注意平台版本
https://useanything.com/download
拖进去就OK了
它长这样
配置项也很齐全
配置过程
创造workspace
配置Workspace参数
在Chat Settings ,里面选址模型提供方以及具体的LLM模型。在选址问答形式有Chat聊天
和Query问答模式，以及在参数里面可以设置Prompt提示词
设置向量数据参数，通常情况下采取默认即可
设置Agent Configuration ,按照你自己的情况设置Provider
最后，上传本地文件
测试完成，正常反馈，安装部署成功
