基于Deepseek,搭建本地知识库


基础环境:Windows, Anaconda, Docker

Chat 大模型:deepseek-r1:1.5b

知识库:Open Web UI

先配置基础环境

下载Anacondahttps://www.anaconda.com/download/success

安装并被指国内镜像: https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/

# 创建名为ai_knowledge的环境
conda create -n ai_knowledge -y
conda activate ai_knowledge


下载并安装 ollama,全默认就可以

模型的版本在这里找

# 下载模型
ollama pull deepseek-r1:1.5b

# powershell  启动 ollama 服务
Start-Process -FilePath "ollama" -ArgumentList "serve" -NoNewWindow

这里也可以通过run 命令启动,同时可以打开ollama的对话窗口


下载并安装好docker desktop,一路店到底

#下载 并运行 open webUI
docker pull ghcr.nju.edu.cn/open-webui/open-webui:main

docker run -d -p 3000:8080 --restart no -v open-webui:/app/backend/data --name open-webui ghcr.nju.edu.cn/open-webui/open-webui:main

或者直接点图中的run 来运行

打开 http://localhost:3000/auth?redirect=%2F


Open WebUI 自动与本地的ollama 连接好了

测试一下效果


开始创建知识库,看步骤1234

上传文件到具体的知识库

build 自己的模型,需要选择基础模型,权限,知识库,偷懒一起选了


测试


大功告成!


注意事项:
1. 上传文件很慢,因为要进行向量转换,所以笔记本的话就老老实实一个一个传

2. 关注一下CPU 和内存

API 的调用方式 后面继续更新….

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注