如何用 Ollama 在自己的电脑上运行 AI 模型

安装 Ollama,在终端里和一个小型开源模型聊天,通过本地 API 调用它,再给它定制一个专属人设,全部在你自己的电脑上完成。

Flat illustration of a laptop running a local AI chat, with a small chip icon and chat bubbles

本地 AI 模型正当红。每隔几周就有新的开源模型发布,“本地还是云端”也成了爱好者论坛里经久不衰的话题。这篇指南教你安装 Ollama、在终端里和小模型聊天、从代码中调用它,并给它定制专属人设。下面的每条命令都来自 Ollama 官方文档。

准备工作

Ollama 是一款免费工具,可以下载开源模型并在你自己的机器上运行。它提供命令行和本地 Web API。模型下载完成后,你的对话都在自己的电脑上处理。

清单如下:

  • 受支持的操作系统。官方文档列出的是 macOS Sonoma(v14)或更新版本,以及 Windows 10 22H2 或更新版本。Linux 通过安装脚本支持。
  • 磁盘空间。Windows 文档称,二进制安装至少需要 4GB,而模型“可能有几十到几百 GB”。小模型要小得多。
  • 足够容纳所选模型的内存。模型必须能装进 GPU 显存(VRAM)或普通内存(RAM)。Ollama 模型库里每个模型页面都标有下载大小,可作为初步参考。请选择明显小于可用内存的模型。
  • 有 GPU 更好,但不是必需的。在 Mac 上,Apple M 系列芯片同时支持 CPU 和 GPU,Intel 芯片的 Mac 只能用 CPU 运行。在 Windows 和 Linux 上,Ollama 支持许多 NVIDIA 和 AMD 显卡。请查看 GPU 文档确认你的显卡。

用 CPU 也能跑,只是慢一些。

第 1 步:安装 Ollama

下载页面为每个系统都提供了一行命令的安装方式。

在 macOS 或 Linux 上,打开终端并运行:

终端
curl -fsSL https://ollama.com/install.sh | sh

在 Windows 上,打开 PowerShell 并运行:

代码
irm https://ollama.com/install.ps1 | iex

如果你不想把脚本直接交给 shell 执行,也可以下载应用:Mac 用 Ollama.dmg,Windows 用 OllamaSetup.exe,下载页面上都有链接。在 Mac 上,把应用拖进 Applications(应用程序)文件夹。首次启动时,它会检查 ollama 命令是否在你的 PATH 中。如果不在,它会请求权限,在 /usr/local/bin 中创建一个链接。

检查是否安装成功:

代码
ollama -v

你应该会看到一个版本号。在 Windows 上,Ollama 安装后会在后台运行。ollama 命令可以在 cmd、PowerShell 或任何终端中使用。

第 2 步:选一个小模型

模型库里有数百个模型,很多都很大。第一次尝试建议用 Llama 3.2。它的标签页面列出 llama3.2:3b 为 2.0GB,llama3.2:1b 为 1.3GB。不带后缀的 llama3.2 指向 3B 版本。Ollama 自己的许多 API 示例用的也是这个模型。

如果你的机器内存不多,就从 llama3.2:1b 开始。它更小更轻,回答也更简单。

第 3 步:开始第一次对话

一条命令即可下载模型(如有需要)并打开对话:

代码
ollama run llama3.2

首次运行会显示下载进度条,然后出现输入提示符。输出大致如下(已节选):

代码
pulling manifest
pulling ... 100%
success
>>> Explain what a CPU does in one sentence.
A CPU is the part of a computer that carries out instructions ...
>>> /bye

输入 /bye 退出对话。要粘贴多行文本,用三个引号(""")把它包起来。

第 4 步:管理你的模型

下面这四条命令几乎涵盖了日常所需的全部操作。

下载模型但不开始对话:

代码
ollama pull llama3.2:1b

查看磁盘上有哪些模型(ollama ls 效果相同):

代码
ollama list

查看当前已加载到内存中的模型:

代码
ollama ps

PROCESSOR 这一列值得留意。根据 FAQ,100% GPU 表示模型完全在 GPU 上,100% CPU 表示模型在系统内存中,而 48%/52% CPU/GPU 这样的比例表示两边各占一部分。默认情况下,模型在最后一次使用后会保持加载 5 分钟。ollama stop llama3.2 可以立即卸载模型。

删除不再需要的模型:

代码
ollama rm llama3.2:1b

第 5 步:通过本地 API 与模型对话

Ollama 运行时,会在 http://localhost:11434 提供 API,电脑上的任何应用都能调用。下面是按照 API 参考文档写的一个聊天请求:

终端
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    { "role": "user", "content": "Why is the sky blue?" }
  ],
  "stream": false
}'

如果不加 "stream": false,你收到的是一连串小 JSON 片段,而不是一条完整回复。加上之后,你会得到一个如下形式的对象(已精简):

代码
{
  "model": "llama3.2",
  "created_at": "...",
  "message": {
    "role": "assistant",
    "content": "The sky looks blue because ..."
  },
  "done": true
}

还有一个 /api/generate,它接收单个 "prompt" 字符串,而不是 messages 列表,并在 "response" 字段中返回文本。

许多工具已经支持 OpenAI API 格式。Ollama 的 OpenAI 兼容性文档介绍了位于 http://localhost:11434/v1/ 的端点。你可以这样调用:

终端
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{ "role": "user", "content": "Hello!" }]
  }'

OpenAI 客户端库需要 API 密钥。文档把它设为 ollama,并注明它“必须填写,但会被忽略”。

第 6 步:用 Modelfile 给模型定制人设

Modelfile 是一个简短的文本文件,可以在现有模型的基础上构建自定义模型。Modelfile 参考文档列出了所有指令:FROM(必填)指定基础模型,PARAMETER 修改参数设置,SYSTEM 设置系统消息。

创建一个名为 Modelfile 的文件,内容如下:

代码
FROM llama3.2
PARAMETER temperature 0.7
SYSTEM """You are a patient tutor. Explain things in plain English, in short paragraphs, and give one example."""

构建并运行:

代码
ollama create tutor -f ./Modelfile
ollama run tutor

你的新模型 tutor 现在会出现在 ollama list 中。

第 7 步:更改模型存储位置或服务器的访问范围

根据 FAQ,模型默认存储在以下位置:

  • macOS:~/.ollama/models
  • Linux:/usr/share/ollama/.ollama/models
  • Windows:C:\Users\%username%\.ollama\models

如果想用其他磁盘,把环境变量 OLLAMA_MODELS 设为你想要的文件夹即可。具体方法因系统而异:

  • macOS 应用:运行 launchctl setenv OLLAMA_MODELS "/path/to/folder",然后重启 Ollama。
  • Linux(systemd):运行 systemctl edit ollama.service,在 [Service] 下添加 Environment="OLLAMA_MODELS=/path/to/folder"。然后运行 systemctl daemon-reload 和 systemctl restart ollama。ollama 用户还需要对该文件夹有读写权限。
  • Windows:退出 Ollama,然后在 Settings(设置)中搜索 “environment variables”(环境变量)。为你的用户账户添加 OLLAMA_MODELS,再重新启动 Ollama。

OLLAMA_HOST 的设置方法相同。默认情况下,Ollama 只监听 127.0.0.1 的 11434 端口,其他设备无法访问。把 OLLAMA_HOST 设为 0.0.0.0:11434 后,它就会对你的网络开放。只在你信任的网络中这样做,因为网络中的任何设备都能向它发送请求。

关于隐私的几句话

Ollama 的 FAQ 说得很直白:“Ollama 在本地运行。你在本地运行时,我们看不到你的提示词或数据。”不过下载模型仍然需要联网。Ollama 还提供可选的云端模型,这些模型运行在 Ollama 的服务器上。如果你想完全离线,FAQ 介绍了关闭云功能的方法:可以设置 OLLAMA_NO_CLOUD=1,或在 ~/.ollama/server.json 中加入 "disable_ollama_cloud": true。

因此,本地模型很适合处理私人笔记和草稿。

常见错误及解决方法

  • 安装后立即提示 “command not found”。打开一个新的终端窗口,让它读取更新后的 PATH。在 Mac 上,确认你已同意在 /usr/local/bin 中创建链接的提示。
  • localhost:11434 提示 “connection refused”,或服务器没有运行。桌面应用必须保持打开(在菜单栏或任务栏中找到它)。在 Linux 上,运行 systemctl status ollama,或用 ollama serve 手动启动服务器。
  • 端口 11434 已被占用。这通常说明 Ollama 已经在运行,比如应用开着的同时又手动运行了 ollama serve。关掉其中一个即可。如果确实是其他程序占用了该端口,用 OLLAMA_HOST 让 Ollama 监听另一个端口。
  • 模型太大或内存不足。换用更小的标签,比如 llama3.2:1b,关闭其他占用资源的应用,并用 ollama ps 查看模型加载到了哪里。
  • 回复非常慢。如果 ollama ps 显示 100% CPU,说明模型没有用上你的 GPU。检查你的显卡和驱动是否在 GPU 文档的支持列表中,或者换用更小的模型。
  • 需要更多细节?故障排除页面说明了日志的位置。在 Mac 上,查看 ~/.ollama/logs/server.log。在 Linux 上,运行 journalctl -u ollama。在 Windows 上,打开 %LOCALAPPDATA%\Ollama。

总结

现在你已经有了一套可用的本地 AI 环境:它能在终端里聊天,能响应 localhost 上的 API 调用,还能运行你亲手打造的定制导师。从小模型起步,留意 ollama ps,等清楚机器还有多少空闲内存后,再尝试模型库里更大的模型。

资料来源与官方文档

链接最后检查于 2026 年 11 月 15 日。

作者:Mindloop Editorial

The Mindloop Experience editorial team writes clear, carefully sourced explainers and how-tos on tech, science, money and culture, for anyone who likes to know how things actually work.

关于 Mindloop Experience

评论

写评论

更多来自 Mindloop Experience

查看 Mindloop Experience 的全部文章

最多可以鼓掌 50 次。