2025 年 1 月 27 日,DeepSeek
在苹果中美两区的 App
免费榜单双双登顶,超越了长期占据榜单的 GPT
,这一突破性进展引发了投资者的广泛关注,甚至导致英伟达股价大幅下跌。从那时起,DeepSeek
一举成为网络热点,广受关注,各大媒体纷纷报道。DeepSeek
之前开源的 DeepSeek-R1
蒸馏模型,也吸引了大量用户在本地设备上部署这一开源版本。
本文将详细介绍如何在本地部署 DeepSeek
蒸馏模型,内容主要包括 Ollama
的介绍与安装、如何通过 Ollama
部署 DeepSeek
、在 ChatBox
中使用 DeepSeek
。
Ollama是什么?
Ollama
是一个强大的开源工具,旨在帮助用户轻松地在本地运行、部署和管理大型语言模型(LLMs
)。它提供了一个简单的命令行界面,使用户能够快速下载、运行和与各种预训练的语言模型进行交互。Ollama
支持多种模型架构,并且特别适合那些希望在本地环境中使用 LLMs
的开发者和研究人员。
主要特点
- 本地运行:
Ollama
允许用户在本地计算机上运行大型语言模型,而不需要依赖云服务。这对于数据隐私和安全性要求较高的场景非常有用。 - 简单易用:通过命令行工具,用户可以轻松地下载、安装和运行模型。
Ollama
提供了简单的命令来启动模型并与模型进行交互。 - 支持多种模型:
Ollama
支持多种流行的语言模型,包括Llama 3.3
,DeepSeek-R1
,Phi-4
,Mistral
,Gemma 2
等。用户可以根据自己的需求选择合适的模型。 - 跨平台支持:
Ollama
支持多种操作系统,包括Linux、macOS
和Windows
,用户可以在不同的平台上使用相同的工具。 - 开源:
Ollama
是一个开源项目,用户可以自由地查看、修改和分发其代码。
安装Ollama
在 Ollama
下载页面:https://ollama.com/download,我们可以根据自己操作系统类型选择不同的下载方式。
在 Windows 下安装Ollama
1、下载 OllamaSetup.exe
文件之后,打开文件,点击 Install
后等待安装完成。
2、安装完成后,打开 cmd
命令行窗口,输入 ollama -v
验证是否安装成功。
在 Mac 下安装
1、下载 Ollama-darwin.zip
文件之后,解压并打开执行文件安装即可。
2、安装完成之后,打开终端,输入 ollama -v
验证是否安装成功。
温馨提示:
在终端里下载deepseek模型有可能需要魔法上网,目前主流魔法上网方式就是使用机场。不知道怎么选择机场的可以在【评测】优质稳定SS/SSR/Trojan/V2Ray机场游戏加速器推荐里面找到一款适合自己需求的机场,按下面的教程进行配置:
2、苹果手机IOS使用小火箭Shadowrocket科学上网教程
相信你看完以上教程后,国内如何使用上youtube?手机如何上外网?怎样进入国外网站?如何使用机场加速器挂梯子魔法上网?这些问题都迎刃而解了。
在 Linux 下安装
运行以下命令进行安装:
curl -fsSL https://ollama.com/install.sh | sh
Deepseek是什么?
DeepSeek
是一家创新型科技公司,长久以来专注于开发先进的大语言模型(LLM
)和相关技术。该公司推出了比较出名的模型有 DeepSeek-V3
和 DeekSeek-R1
。DeepSeek-V3
多项评测成绩超越了 Qwen2.5-72B
和 Llama-3.1-405B
等其他开源模型,并在性能上和世界顶尖的闭源模型 GPT-4o
以及 Claude-3.5-Sonnet
不分伯仲。DeepSeek-R1
在后训练阶段大规模使用了强化学习技术,在仅有极少标注数据的情况下,极大提升了模型推理能力。在数学、代码、自然语言推理等任务上,性能比肩 OpenAI o1
正式版。
1、访问 Deepsee Model
的 deepseek-r1
模型页面:https://ollama.com/library/deepseek-r1。在这个页面中,我们可以看到 1.5b
、7b
等不同规模的模型版本,每个版本右侧会明确标注每个版本所需的显存配置。
2、其次,根据自己电脑的显卡配置选择合适的版本。例如,部署 deepseek-r1:7b
版本:
3、部署完成后,我们就可以与 Deepseek
大模型进行对话了:
ChatBox是什么?
通过 Ollama
部署 Deepseek
模型之后,我们就可以在终端与其进行对话了。由于是在终端里面,交互体验相对较为简洁和不够直观,长时间的对话可能会让操作变得不够流畅。为了更方便地与模型进行对话,我们可以使用可视化的聊天项目,例如 Open WebUI
、ChatBox
等。通过这些工具,我们能够获得更加直观和流畅的交互体验。接下来将演示如何安装并通过 ChatBox
使用 Deepseek
。
1、进入 Chatboxai
https://chatboxai.app/zh,通过 免费下载 按钮下载软件安装包并进行安装。
2、打开 Chatbox
。
首次打开我们会看到以下选项,选择 “使用自己的 API Key 或本地模型”,然后在新的标签页里选择 Ollama API
。
3、接下来,我们能在模型列表里看到通过 Ollama
所部署的大模型,选择 deepseek-r1:7b
,然后点击保存。
4、保存之后,我们就可以在对话框里与 Deepseek
大模型进行对话了。