DeepSeek接入个人知识库,Windows和Mac电脑
这篇文章主要介绍DeepSeek接入个人知识库,完整本地运行部署方案。
DeepSeek接入本地,运行个人知识库,最大好处就是确保私密文件和数据计算安全,不必把自己的文件全部跑到别人云端服务器。
在过去一个月,我们逐步迭代了这样的软件,DeepSeekMine,到今天其Windows和Mac版本最新软件安装包(v0.5)已全部开发并打包好。
软件全部开源,支持一键安装,开箱即用,本地知识查询高效,感兴趣的读者可以获取试试。
1 软件使用演示
第一步,如下进入软件首页,点击「新建」按钮,创建专属分类知识库,并命名为:个人藏书知识库,如下所示:
第二步,点击「导入个人知识」:
上传自己的文件,目前支持Word和PDF上传,后续会支持excel,PPT,不同编程语言代码格式等:
第三步,点击右上角的「配置」按钮,配置本地大家已经安装的DeepSeek,若没有安装,可以通过Ollama安装,大家根据自己电脑下载对应的DeepSeek版本。
一般的运行deepseek-r1:1.5b大模型需要3G显存,目前新买的大部分电脑应该满足这个要求,若是不满足想更换电脑的朋友,最低电脑配置大家可以参考:GPU显卡NVIDIA GTX 1650 4GB 或 AMD RX 5500 4GB,内存(RAM):16GB;对于 Mac 用户,配备 M1、M2 或 M3 芯片的 MacBook Air(至少 8GB 内存)
安装Ollama后,执行下面这条命令,安装1.5B模型:
可以运行下面命令,在本地和DeepSeek对话:
接下来在咱们的DeepSeekMine软件里,如下中间面板,进行对个人知识的多轮问答:
软件支持代码高亮显示:
软件配备笔记保存功能:
以上就是DeepSeekMine软件的主体功能介绍。
2 软件获取
今天发布最新v0.5软件,支持Windows、Mac电脑,双击一键安装:
安装后,开箱即用,获取方法在下面我的公众号回复:知识库,即可获取:
3 软件更新计划
下一版软件升级重点放在更新内核上,以及支持更多文件读入格式。
不少读者可能关心,DeepSeekMine软件内核,在这里我给大家介绍下,感兴趣的可以看看。
主要三个核心步骤,第一,后台预处理阶段,主要对上传的文档,做切片优化,根据微调的向量模型,异步计算嵌入向量:
第二步查询阶段,我们会根据用户输入问题,做关键词粗晒,向量匹配,Rerank排序;第三步大模型响应阶段,这步主要是提示词工程,设计到多个提示词模版优化:
技术主要包括,Meilisearch关键词粗晒+嵌入向量细筛(根据微调后的嵌入向量模型),Rerank算法,分词技术,长文本切分、切片合并算法,提示词工程等。
下一个版本将会完全实现上面三阶段的每个模块,这里面我们最想解决的是,如何保证RAG准确率同时,最大程度提升响应时间,尽量让普通电脑也能秒级响应。目前,主流的本地知识库查询响应时间普遍在2分钟以上,我们最想帮助大家解决这个痛点,让RAG在本地计算也能降到秒级。
最后总结一下
本文介绍新发的软件v0.5,如何使用,如何获取一键安装包,目前支持Windows,Mac.
本文地址:https://www.vps345.com/4356.html