本地 AI 模型正当红。每隔几周就有新的开源模型发布,“本地还是云端”也成了爱好者论坛里经久不衰的话题。这篇指南教你安装 Ollama、在终端里和小模型聊天、从代码中调用它,并给它定制专属人设。下面的每条命令都来自 Ollama 官方文档。
准备工作
Ollama 是一款免费工具,可以下载开源模型并在你自己的机器上运行。它提供命令行和本地 Web API。模型下载完成后,你的对话都在自己的电脑上处理。
清单如下:
- 受支持的操作系统。官方文档列出的是 macOS Sonoma(v14)或更新版本,以及 Windows 10 22H2 或更新版本。Linux 通过安装脚本支持。
- 磁盘空间。Windows 文档称,二进制安装至少需要 4GB,而模型“可能有几十到几百 GB”。小模型要小得多。
- 足够容纳所选模型的内存。模型必须能装进 GPU 显存(VRAM)或普通内存(RAM)。Ollama 模型库里每个模型页面都标有下载大小,可作为初步参考。请选择明显小于可用内存的模型。
- 有 GPU 更好,但不是必需的。在 Mac 上,Apple M 系列芯片同时支持 CPU 和 GPU,Intel 芯片的 Mac 只能用 CPU 运行。在 Windows 和 Linux 上,Ollama 支持许多 NVIDIA 和 AMD 显卡。请查看 GPU 文档确认你的显卡。
用 CPU 也能跑,只是慢一些。
第 1 步:安装 Ollama
下载页面为每个系统都提供了一行命令的安装方式。
在 macOS 或 Linux 上,打开终端并运行:
curl -fsSL https://ollama.com/install.sh | sh
在 Windows 上,打开 PowerShell 并运行:
irm https://ollama.com/install.ps1 | iex
如果你不想把脚本直接交给 shell 执行,也可以下载应用:Mac 用 Ollama.dmg,Windows 用 OllamaSetup.exe,下载页面上都有链接。在 Mac 上,把应用拖进 Applications(应用程序)文件夹。首次启动时,它会检查 ollama 命令是否在你的 PATH 中。如果不在,它会请求权限,在 /usr/local/bin 中创建一个链接。
检查是否安装成功:
ollama -v
你应该会看到一个版本号。在 Windows 上,Ollama 安装后会在后台运行。ollama 命令可以在 cmd、PowerShell 或任何终端中使用。
第 2 步:选一个小模型
模型库里有数百个模型,很多都很大。第一次尝试建议用 Llama 3.2。它的标签页面列出 llama3.2:3b 为 2.0GB,llama3.2:1b 为 1.3GB。不带后缀的 llama3.2 指向 3B 版本。Ollama 自己的许多 API 示例用的也是这个模型。
如果你的机器内存不多,就从 llama3.2:1b 开始。它更小更轻,回答也更简单。
第 3 步:开始第一次对话
一条命令即可下载模型(如有需要)并打开对话:
ollama run llama3.2
首次运行会显示下载进度条,然后出现输入提示符。输出大致如下(已节选):
pulling manifest
pulling ... 100%
success
>>> Explain what a CPU does in one sentence.
A CPU is the part of a computer that carries out instructions ...
>>> /bye
输入 /bye 退出对话。要粘贴多行文本,用三个引号(""")把它包起来。
第 4 步:管理你的模型
下面这四条命令几乎涵盖了日常所需的全部操作。
下载模型但不开始对话:
ollama pull llama3.2:1b
查看磁盘上有哪些模型(ollama ls 效果相同):
ollama list
查看当前已加载到内存中的模型:
ollama ps
PROCESSOR 这一列值得留意。根据 FAQ,100% GPU 表示模型完全在 GPU 上,100% CPU 表示模型在系统内存中,而 48%/52% CPU/GPU 这样的比例表示两边各占一部分。默认情况下,模型在最后一次使用后会保持加载 5 分钟。ollama stop llama3.2 可以立即卸载模型。
删除不再需要的模型:
ollama rm llama3.2:1b
第 5 步:通过本地 API 与模型对话
Ollama 运行时,会在 http://localhost:11434 提供 API,电脑上的任何应用都能调用。下面是按照 API 参考文档写的一个聊天请求:
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [
{ "role": "user", "content": "Why is the sky blue?" }
],
"stream": false
}'
如果不加 "stream": false,你收到的是一连串小 JSON 片段,而不是一条完整回复。加上之后,你会得到一个如下形式的对象(已精简):
{
"model": "llama3.2",
"created_at": "...",
"message": {
"role": "assistant",
"content": "The sky looks blue because ..."
},
"done": true
}
还有一个 /api/generate,它接收单个 "prompt" 字符串,而不是 messages 列表,并在 "response" 字段中返回文本。
许多工具已经支持 OpenAI API 格式。Ollama 的 OpenAI 兼容性文档介绍了位于 http://localhost:11434/v1/ 的端点。你可以这样调用:
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama3.2",
"messages": [{ "role": "user", "content": "Hello!" }]
}'
OpenAI 客户端库需要 API 密钥。文档把它设为 ollama,并注明它“必须填写,但会被忽略”。
第 6 步:用 Modelfile 给模型定制人设
Modelfile 是一个简短的文本文件,可以在现有模型的基础上构建自定义模型。Modelfile 参考文档列出了所有指令:FROM(必填)指定基础模型,PARAMETER 修改参数设置,SYSTEM 设置系统消息。
创建一个名为 Modelfile 的文件,内容如下:
FROM llama3.2
PARAMETER temperature 0.7
SYSTEM """You are a patient tutor. Explain things in plain English, in short paragraphs, and give one example."""
构建并运行:
ollama create tutor -f ./Modelfile
ollama run tutor
你的新模型 tutor 现在会出现在 ollama list 中。
第 7 步:更改模型存储位置或服务器的访问范围
根据 FAQ,模型默认存储在以下位置:
- macOS:
~/.ollama/models - Linux:
/usr/share/ollama/.ollama/models - Windows:
C:\Users\%username%\.ollama\models
如果想用其他磁盘,把环境变量 OLLAMA_MODELS 设为你想要的文件夹即可。具体方法因系统而异:
- macOS 应用:运行
launchctl setenv OLLAMA_MODELS "/path/to/folder",然后重启 Ollama。 - Linux(systemd):运行
systemctl edit ollama.service,在[Service]下添加Environment="OLLAMA_MODELS=/path/to/folder"。然后运行systemctl daemon-reload和systemctl restart ollama。ollama用户还需要对该文件夹有读写权限。 - Windows:退出 Ollama,然后在 Settings(设置)中搜索 “environment variables”(环境变量)。为你的用户账户添加
OLLAMA_MODELS,再重新启动 Ollama。
OLLAMA_HOST 的设置方法相同。默认情况下,Ollama 只监听 127.0.0.1 的 11434 端口,其他设备无法访问。把 OLLAMA_HOST 设为 0.0.0.0:11434 后,它就会对你的网络开放。只在你信任的网络中这样做,因为网络中的任何设备都能向它发送请求。
关于隐私的几句话
Ollama 的 FAQ 说得很直白:“Ollama 在本地运行。你在本地运行时,我们看不到你的提示词或数据。”不过下载模型仍然需要联网。Ollama 还提供可选的云端模型,这些模型运行在 Ollama 的服务器上。如果你想完全离线,FAQ 介绍了关闭云功能的方法:可以设置 OLLAMA_NO_CLOUD=1,或在 ~/.ollama/server.json 中加入 "disable_ollama_cloud": true。
因此,本地模型很适合处理私人笔记和草稿。
常见错误及解决方法
- 安装后立即提示 “command not found”。打开一个新的终端窗口,让它读取更新后的 PATH。在 Mac 上,确认你已同意在
/usr/local/bin中创建链接的提示。 - localhost:11434 提示 “connection refused”,或服务器没有运行。桌面应用必须保持打开(在菜单栏或任务栏中找到它)。在 Linux 上,运行
systemctl status ollama,或用ollama serve手动启动服务器。 - 端口 11434 已被占用。这通常说明 Ollama 已经在运行,比如应用开着的同时又手动运行了
ollama serve。关掉其中一个即可。如果确实是其他程序占用了该端口,用OLLAMA_HOST让 Ollama 监听另一个端口。 - 模型太大或内存不足。换用更小的标签,比如
llama3.2:1b,关闭其他占用资源的应用,并用ollama ps查看模型加载到了哪里。 - 回复非常慢。如果
ollama ps显示100% CPU,说明模型没有用上你的 GPU。检查你的显卡和驱动是否在 GPU 文档的支持列表中,或者换用更小的模型。 - 需要更多细节?故障排除页面说明了日志的位置。在 Mac 上,查看
~/.ollama/logs/server.log。在 Linux 上,运行journalctl -u ollama。在 Windows 上,打开%LOCALAPPDATA%\Ollama。
总结
现在你已经有了一套可用的本地 AI 环境:它能在终端里聊天,能响应 localhost 上的 API 调用,还能运行你亲手打造的定制导师。从小模型起步,留意 ollama ps,等清楚机器还有多少空闲内存后,再尝试模型库里更大的模型。
资料来源与官方文档
链接最后检查于 2026 年 11 月 15 日。





写评论