侧边栏壁纸
博主头像
琉璃红梅 博主等级

琉璃世界,白雪红梅。

  • 累计撰写 44 篇文章
  • 累计创建 90 个标签
  • 累计收到 0 条评论

目 录CONTENT

文章目录
AI

AI通幽-基于Ollama部署DeepSeek-R1(搭配Cherry Studio使用)

雪穗
2025-02-21 / 0 评论 / 0 点赞 / 76 阅读 / 0 字
温馨提示:
若部分素材不小心影响到您的利益,请联系我删除。

1.基于Ollama部署DeepSeek-R1模型

最近一段时间DeepSeek爆火,特别是具有推理能力的R1模型,现在在其官网使用R1模型时,基本上礼貌性的回答一次就会陷入长考,然后提示“服务器繁忙,请稍后再试。”没办法DeepSeek实在太火爆了也太好用了,既然DeepSeek是开源的何不尝试本地部署一个,当然得说明下,受限于服务器的配置,本地部署自然难以企及,白话一点就是阉割版。其实现在很多公司、高校、职能部门也积极部署自己的R1模型,自己本地部署或称之私有化部署,除了可以流畅的使用R1模型外,最重要的就是数据掌握在自己手中,安全性大大提高,特别是对于一些与AI对话中需要发送保密数据的公司。

1.1 部署DeepSeek-R1模型所需配置及其使用场景

我这里谈的本地部署即是在自己的电脑上部署,而且受限于内存和显卡,只能部署入门版本尝尝鲜了,各个模型所需的配置及其使用场景可以参考图中内容,请根据自己电脑或服务器的配置下载合适模型。

图中文字内容来自:本地部署DeepSeek-R1模型每个版本的配置要求及适合场景(建议收藏)

img

1.2 部署DeepSeek-R1-1.5B模型

如果需要改变 Ollama 安装位置以及模型的下载位置可以参考该文章:Ollama Windows

1.2.1 安装Ollama

这里我直接选择最简单的方式,使用 Ollama 大语言模型运行框架,可以“傻瓜式”部署,前往 Ollama 官网,选择合适的版本点击 DownLoad 下载即可,如果下载较慢,可以前往 Github下载加速网站 输入下载链接下载。下载完成后直接安装即可,默认是安装在C盘,请留意C盘空间大小。

img

img

安装完毕,打开命令行窗口,输入如下命令,显示安装的版本号即为安装成功。

ollama -v
  
# ollama version is 0.5.11

1.2.2 下载并运行DeepSeek-R1-1.5B

img

然后运行入门版模型1.5b版本,运行时会自动下载该模型

ollama run deepseek-r1:1.5b

或者先下载模型,再运行

ollama pull deepseek-r1:1.5b && ollama run deepseek-r1:1.5b

下图为运行结果,因为没有事先下载,所以在运行前会先下载模型,运行成功之后,可以进行问答

img

1.2.3 基于DeepSeek-R1-1.5B对话演示

下图为对话内容展示,<think></think> 标签包裹的内容展示了思考推理过程。

img

1.2.4 进行终端对话常用的命令

如下为在命令行窗口对话时常用的命令,输入 /? 或者 \help 会显示帮助命令,/bye 可以退出对话

/set:Set session variables,进行一些设置,需要二级命令

/show:Show model information,显示模型信息,需要二级命令

/load <model>:Load a session or model,加载对话

/save <model>:Save your current session,保存对话

/clear:Clear session context,清屏

/? shortcuts:Help for keyboard shortcuts,显示命令的快捷键操作

""":输入多行内容时,以该字符串开头与结束

1.2.5 Ollama常用命令

在终端输入 ollama 即可获取所有有关的命令,这里的模型均指AI大模型,

指令运行方式如下:

ollama [flags]
ollama [command]
ollama [command] --help

Commands:

serve:Start ollama,启动ollama服务

create:Create a model from a Modelfile,从Modelfile创建模型

show:Show information for a model,展示模型信息

run:Run a model,运行模型

stop:Stop a running model,停止正在运行的模型

pull:Pull a model from a registry,从仓库拉取模型

push:Push a model to a registry,推送模型到仓库

list:List models,列出所有模型

ps:List running models,列出正在运行的模型

cp:Copy a model,复制模型

rm:Remove a model,删除模型

help:Help about any command,帮助命令

Flags:

-h, --help:help for ollama,帮助命令

-v, --version,Show version information,显示ollama的版本信息

下图为一些常用命令的展示,比如删除下载的模型,执行删除命令时无视模型运行与否,并且卸载Ollama时会同时卸载所有下载的模型。

img

2.基于Cherry Studio使用AI模型

2.1 配置DeepSeek-R1-1.5B模型

显然基本的问答没有什么问题,但是在命令行窗口对话显然不够优雅和直观,关闭之后也无法再找到之前的内容,这里再推荐一款好用的AI聚合工具 Cherry Studio,通过这个工具可以帮助我们统一管理和使用各服务商提供的AI模型,也包括我们自己部署的DeepSeek-R1,首先前往官网下载客户端,一键安装即可。

安装之后,我们可以配置自己部署的R1模型,点击 管理 会自动识别安装的模型,点击添加,由于是在本地不需要API密钥,添加之后会自动启用该模型。

img

img

接下来来到对话页面进行测试,为了测试直接使用默认助手了,点击上方默认的DeepSeek-V3模型切换为我们自己部署的模型。

img

切换之后,助手模型如下图所示

img

2.2 使用DeepSeek-R1-1.5B模型

问几个问题进行测试,测试结果如下所示,也可以进行数学计算,如果希望公式的输出比较美观,需要在 设置 选项配置数学公式引擎为 MathJax,默认为 Katex,如果希望输入的markdown语法能够正常渲染,需要开启 MarkDown渲染输入消息 配置项,当然 Cherry Studio的功能远不止于此,详细教程可以参考其官网。简单测试来说本地部署的模型回答速度非常快,完全满足日常问题的解答,包括英语,当然“尽信AI,则不如无AI”,特别是你完全不懂的领域。

img

虽然不想也不能对Cherry Studio的功能详尽,但是非常有用和人性化的功能必须要谈一谈,比如该软件可以对R1模型的思考过程进行折叠与展开,让你能够清晰的看到思考过程。

img

2.3 基于嵌入模型使用知识库功能

Cherry Studio除了充当AI工具箱的功能,另外一个重要的功能就不得不谈了,那就是知识库功能,知识库顾名思义就是聚合“知识”,特别是专业知识,你可以把专业的文献、专门的网站、特别的人物生平交给AI,之后该AI便拥有了这方面的知识,当你进行提问时,它不会再给你胡编乱造而是提炼知识库中的内容,给你相对正确的回答。

但是创建知识库需要 嵌入模型,嵌入模型拥有将文字、图像、视频等多模态数据向量化的功能,我们之前只部署的 deepseek-r1:1.5b对话模型, 如果需要使用知识库功能还要下载嵌入模型,这里使用 Dmeta-embedding-zh,该嵌入模型只能“理解”纯文字的内容,嵌入模型需要搭配对话模型使用。

2.3.1 下载并配置嵌入模型shaw/dmeta-embedding-zh

img

ollama pull shaw/dmeta-embedding-zh   #下载

由于该模型是嵌入模型不能用于生成对话,所以不需要也不能够 run,它是依附于deepseek-r1:1.5b或其它对话模型的,安装之后,同样在设置中添加该模型即可

img

2.3.2 知识库的创建于使用

创建知识库,添加文件,当然不止是文件,你可以添加你的笔记,构建专属于你自己的知识库,这里我就以鲁迅进行示例演示

img

添加文件即 鲁迅.txt

img

鲁迅.txt 文本内容如下

 鲁迅(1881-1936),浙江绍兴人。中国现代伟大的文学家、思想家和革命家。鲁迅原名周树人,字豫才;“鲁迅”是其投身五四运动后使用的一个笔名,因为影响日甚,所以人们习惯称之为鲁迅。
 
 鲁迅早年曾留学日本。“五四”时期提倡新思想、新文化、新道德,发表了中国现代文学史上第一篇白话小说《狂人日记》,成为新文化运动的主力军。1927年后定居上海,领导中国左翼作家联盟,粉碎国民党文化“围剿”。
 
 鲁迅以笔代戈,奋笔疾书,战斗一生,被誉为“民族魂”。 “横眉冷对千夫指,俯首甘为孺子牛”,是鲁迅一生的真实写照。鲁迅先生的著作、译作、书信等是留给后世的珍贵的文学遗产和精神财富。

未引用知识库的回答

img

引用知识库时回答的内容中会对出处进行引用,虽然回答展示的内容中还是错误百出,甚至名字都错了,但实际使用中应该在知识库中添加更多更详细的内容,这样才会更容易提炼出有用和准确的内容。

img

2.4 接入其他AI模型

如果觉得本博文对你有用,而你恰好想要注册 硅基流动 的账号,可以使用我的邀请码 u1fIS7Ul 或者点击该链接 硅基流动 前往官网注册,如果你又恰好想要注册 AiHubMix 的账号,可以使用我的邀请码 6sHr 或者点击该链接 AiHubMix 前往官网注册,这样我均可以额外获得免费额度,感谢感谢!

毫无疑问,自己本地部署的AI模型比不上大厂的模型,所以如果你想要使用满血版的DeepSeek-R1模型或者其他比较优秀的模型,自然还是建议直接用他们官网的API密钥或者靠谱的第三方中间商,比如 硅基流动。首先前往官网注册账号,实名认证之后会赠送14元,如果仅用于普通强度的文本对话可以使用相当长的一段时间了。注册之后如果希望在Cherry Studio中使用,可以获取其API密钥,用于在Cherry Studio调用。下图为获取流程,其它大模型网站获取方式也是大同小异。

img

生成之后,点击复制密钥即可

img

然后来到Cherry Studio进行配置,填入刚刚生成的API密钥,点击 管理 添加想用的模型,然后在对话界面切换相应模型即可使用。

img

但是硅基流动的API密钥无法使用国外的模型,如果想要使用OpenAI旗下的o1等模型,可以前往 AiHubMix 充值并获取API密钥,该网站没有免费额度,必需充值才能使用。

img

现在国内很多大厂都在搞大模型,只要注册账号顶多再加一条实名认证就可以获取大量的免费额度,当然直接在其官网比如DeepSeek可以直接免费使用V3模型,看你自己的需求,在这百花齐放的时代,白嫖足矣!

2.5 数据存储

Cherry Studio默认是将数据存储在C盘的,C盘存储数据不是一个“明智的选择”,单纯文本可能空间占用不算大,一旦存储图片、视频,那C盘用不了多久就会变红,但是在Cherry Studio中又没办法直接更改位置,好在可以用软链接的方式。先找到存储位置,将 CherryStudio 文件夹移到其它盘,然后建立软链接。由于 main.log 为该文件夹中的文件,所以不需要再为其建立软链接。

查看数据文件地址

img

建立软链接

mklink /J C:\Users\Su\AppData\Roaming\CherryStudio E:\CherryStudio
 
# mklink  C:\Users\Su\AppData\Roaming\CherryStudio\logs\main.log E:\CherryStudio\logs\main.log
 
# 链接目录
# mklink /J <目标符号链接目录> <源目录>
 
# 文件链接目录或相反
# mklink /D <目标符号链接文件> <源目录>
 
# 文件链接文件
# mklink /D <目标符号链接文件> <源文件>

2.6 修改界面样式

Cherry Studio的主题皮肤:分享一些中国风 Cherry Studio 主题皮肤

如果默认的Cherry Studio主题界面不符合你的审美,你可以对其样式进行调整,从上面的地址复制你喜欢的主题皮肤,按照下图将CSS样式加入即可,字体需要是你的本地电脑已安装的字体。

img

我这里使用的是论坛分享的青花主题,内容如下:

 * {
   font-family: "霞鹜文楷 屏幕阅读版" !important;
   font-size: 16px;
   font-weight: bold;
 }
 /* 青花主题 */
 body[theme-mode="dark"] {
   --color-background: #10234988;
   --color-background-soft: #2a5482;
   --color-background-mute: #1b4b7766;
   --navbar-background: #102349;
   --chat-background: #102349;
   --chat-background-user: #1e3f66;
   --chat-background-assistant: #1b4b77;
 }
 body[theme-mode="dark"] #content-container {
   background-color: #1e3f66 !important;
 }
 :root {
   --color-black-soft: #102349;
 }
 body[theme-mode="light"] {
   --color-background: #f2f7ff;
   --color-background-soft: #d4e5ff;
   --color-background-mute: #b9d7ff;
   --navbar-background: #e6f0ff;
   --chat-background: #f7fbff;
   --chat-background-user: #d4e5ff;
   --chat-background-assistant: #e6f0ff;
   --color-white: #f7fbff;
 }
 body[theme-mode="light"] #content-container {
   background-color: #f7fbff !important;
 }
 body[theme-mode="light"] .ant-collapse {
   background-color: #b3d1ff;
 }
 body[theme-mode="light"] .ant-collapse-content {
   background-color: #cce0ff;
 }
 body[theme-mode="dark"] .ant-collapse {
   background-color: #4d7ca6;
 }
 body[theme-mode="dark"] .ant-collapse-content {
   background-color: #336699;
 }
 .ant-collapse {
     border: none;
 }
 .ant-collapse .ant-collapse-content {
     border-top: none;
 }

3.参考博文

1.DeepSeek-R1各版本配置需求与适用场景概览

2.地部署DeepSeek-R1(Ollama+AnythingLLM知识库)

3.用M1 Max MacBook Pro私有化部署DeepSeek-R1

4.Cherry Studio 使用文档

5.Windows 中的硬链接、目录联接(软链接)、符号链接、快捷方式

0

评论区