Zo draai je een AI-model op je eigen computer met Ollama

Installeer Ollama, chat in je terminal met een klein open model, roep het aan via de lokale API en geef het een eigen persoonlijkheid, allemaal op je eigen computer.

Flat illustration of a laptop running a local AI chat, with a small chip icon and chat bubbles

Lokale AI-modellen zijn helemaal in. Om de paar weken verschijnen er nieuwe open modellen, en ‘lokaal of cloud’ is een terugkerende discussie op hobbyfora. In deze handleiding lees je hoe je Ollama installeert, in je terminal met een klein model chat, het vanuit code aanroept en het een eigen persoonlijkheid geeft. Alle commando’s hieronder komen uit de officiële documentatie van Ollama.

Wat je nodig hebt

Ollama is een gratis tool die open modellen downloadt en ze op je eigen machine draait. Je krijgt een opdrachtregel en een lokale web-API. Zodra een model is gedownload, worden je chats op je eigen computer verwerkt.

Dit is de checklist:

  • Een ondersteund besturingssysteem. De officiële documentatie noemt macOS Sonoma (v14) of nieuwer en Windows 10 22H2 of nieuwer. Linux wordt ondersteund via een installatiescript.
  • Schijfruimte. Volgens de Windows-documentatie heeft de app minstens 4GB nodig voor de installatie van het programma, en kunnen modellen ’tientallen tot honderden GB groot zijn’. Kleine modellen zijn veel kleiner.
  • Genoeg geheugen voor het model dat je kiest. Een model moet passen in het geheugen van je GPU (VRAM) of in je gewone RAM. Elke modelpagina in de Ollama-bibliotheek vermeldt de downloadgrootte, een goede eerste richtlijn. Kies een model dat duidelijk kleiner is dan het geheugen dat je vrij hebt.
  • Een GPU helpt, maar is niet verplicht. Op Macs krijgen Apple-chips uit de M-serie ondersteuning voor CPU en GPU, terwijl Intel-Macs alleen op de CPU draaien. Op Windows en Linux ondersteunt Ollama veel kaarten van NVIDIA en AMD. Check de GPU-documentatie voor jouw kaart.

Draaien op de CPU werkt ook. Het is alleen trager.

Stap 1: Installeer Ollama

De downloadpagina biedt voor elk systeem een installatie in één regel.

Op macOS of Linux open je een terminal en voer je uit:

Terminal
curl -fsSL https://ollama.com/install.sh | sh

Op Windows open je PowerShell en voer je uit:

Code
irm https://ollama.com/install.ps1 | iex

Wil je liever geen script rechtstreeks in je shell laten lopen, dan kun je ook de app downloaden: Ollama.dmg voor Mac of OllamaSetup.exe voor Windows, allebei gelinkt op de downloadpagina. Op een Mac sleep je de app naar Apps. Bij de eerste start controleert hij of het commando ollama in je PATH staat. Zo niet, dan vraagt hij toestemming om een link aan te maken in /usr/local/bin.

Controleer of het gelukt is:

Code
ollama -v

Je zou een versienummer moeten zien. Op Windows draait Ollama na de installatie op de achtergrond. Het commando ollama werkt in cmd, PowerShell of elke andere terminal.

Stap 2: Kies een klein model

De bibliotheek telt honderden modellen, en veel daarvan zijn groot. Gebruik voor een eerste poging Llama 3.2. De tagspagina vermeldt llama3.2:3b met 2.0GB en llama3.2:1b met 1.3GB. De gewone naam llama3.2 verwijst naar de 3B-versie. Het is ook het model dat Ollama in veel van zijn eigen API-voorbeelden gebruikt.

Heeft je machine weinig geheugen, begin dan met llama3.2:1b. Dat is kleiner en lichter, met eenvoudigere antwoorden.

Stap 3: Je eerste chat

Eén commando downloadt het model (als dat nodig is) en opent een chat:

Code
ollama run llama3.2

De eerste keer zie je een voortgangsbalk voor de download. Daarna krijg je een prompt. De uitvoer ziet er ongeveer zo uit (ingekort):

Code
pulling manifest
pulling ... 100%
success
>>> Explain what a CPU does in one sentence.
A CPU is the part of a computer that carries out instructions ...
>>> /bye

Typ /bye om de chat te verlaten. Wil je tekst over meerdere regels plakken, zet hem dan tussen drie aanhalingstekens (""").

Stap 4: Beheer je modellen

Met deze vier commando’s doe je bijna alles wat je dagelijks nodig hebt.

Een model downloaden zonder een chat te starten:

Code
ollama pull llama3.2:1b

Zien welke modellen er op je schijf staan (ollama ls doet hetzelfde):

Code
ollama list

Zien welke modellen nu in het geheugen geladen zijn:

Code
ollama ps

De kolom PROCESSOR is het bekijken waard. Volgens de FAQ betekent 100% GPU dat het model volledig op de GPU staat. 100% CPU betekent dat het in het systeemgeheugen staat. Een verdeling als 48%/52% CPU/GPU betekent dat het deels in elk zit. Standaard blijven modellen na je laatste gebruik 5 minuten geladen. Met ollama stop llama3.2 haal je een model direct uit het geheugen.

Een model verwijderen dat je niet meer nodig hebt:

Code
ollama rm llama3.2:1b

Stap 5: Praat ermee via de lokale API

Zolang Ollama draait, biedt het een API aan op http://localhost:11434. Elke app op je computer kan die gebruiken. Hier is een chatverzoek volgens de API-referentie:

Terminal
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    { "role": "user", "content": "Why is the sky blue?" }
  ],
  "stream": false
}'

Zonder "stream": false krijg je een stroom kleine JSON-stukjes in plaats van één antwoord. Met die optie krijg je één object in deze vorm (ingekort):

Code
{
  "model": "llama3.2",
  "created_at": "...",
  "message": {
    "role": "assistant",
    "content": "The sky looks blue because ..."
  },
  "done": true
}

Er is ook /api/generate, dat één "prompt"-string verwacht in plaats van een messages-lijst. Het geeft de tekst terug in een "response"-veld.

Veel tools spreken al het API-formaat van OpenAI. De documentatie over OpenAI-compatibiliteit van Ollama beschrijft een endpoint op http://localhost:11434/v1/. Je kunt het zo aanroepen:

Terminal
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{ "role": "user", "content": "Hello!" }]
  }'

De clientbibliotheken van OpenAI hebben een API-sleutel nodig. De documentatie zet die op ollama en vermeldt dat hij ‘verplicht is maar genegeerd wordt’.

Stap 6: Geef het model een persoonlijkheid met een Modelfile

Een Modelfile is een kort tekstbestand dat een eigen model bouwt bovenop een bestaand model. De Modelfile-referentie somt de instructies op. FROM (verplicht) bepaalt het basismodel, PARAMETER wijzigt instellingen en SYSTEM stelt het systeembericht in.

Maak een bestand met de naam Modelfile en deze inhoud:

Code
FROM llama3.2
PARAMETER temperature 0.7
SYSTEM """You are a patient tutor. Explain things in plain English, in short paragraphs, and give one example."""

Bouw het en start het:

Code
ollama create tutor -f ./Modelfile
ollama run tutor

Je nieuwe model tutor staat nu in ollama list.

Stap 7: Verander waar modellen worden opgeslagen, of wie de server kan bereiken

Volgens de FAQ worden modellen standaard hier opgeslagen:

  • macOS: ~/.ollama/models
  • Linux: /usr/share/ollama/.ollama/models
  • Windows: C:\Users\%username%\.ollama\models

Wil je een andere schijf gebruiken, stel dan de omgevingsvariabele OLLAMA_MODELS in op de map die je wilt. Hoe je dat doet, hangt af van je systeem:

  • macOS-app: voer launchctl setenv OLLAMA_MODELS "/path/to/folder" uit en start Ollama opnieuw.
  • Linux (systemd): voer systemctl edit ollama.service uit en voeg Environment="OLLAMA_MODELS=/path/to/folder" toe onder [Service]. Voer daarna systemctl daemon-reload en systemctl restart ollama uit. De gebruiker ollama heeft ook lees- en schrijfrechten op de map nodig.
  • Windows: sluit Ollama af en zoek in Instellingen naar ‘environment variables’ (omgevingsvariabelen). Voeg OLLAMA_MODELS toe aan je gebruikersaccount en start Ollama opnieuw.

OLLAMA_HOST werkt op dezelfde manier. Standaard luistert Ollama alleen op 127.0.0.1, poort 11434, dus andere apparaten kunnen er niet bij. Zet je OLLAMA_HOST op 0.0.0.0:11434, dan open je het voor je netwerk. Doe dat alleen op een netwerk dat je vertrouwt. Alles op je netwerk kan er dan verzoeken naartoe sturen.

Even over privacy

De FAQ van Ollama zegt het duidelijk: ‘Ollama draait lokaal. We zien je prompts of gegevens niet als je lokaal werkt.’ Voor het downloaden van modellen heb je wel internet nodig. Ollama biedt ook optionele cloudmodellen aan, en die draaien op de servers van Ollama. Wil je volledig offline blijven, dan legt de FAQ uit hoe je de cloudfuncties uitzet. Je kunt OLLAMA_NO_CLOUD=1 instellen, of "disable_ollama_cloud": true in ~/.ollama/server.json zetten.

Daardoor zijn lokale modellen heel geschikt voor privénotities en concepten.

Veelvoorkomende fouten en oplossingen

  • ‘command not found’ direct na de installatie. Open een nieuw terminalvenster, zodat het bijgewerkte PATH wordt ingelezen. Controleer op een Mac of je de melding om de link in /usr/local/bin aan te maken hebt geaccepteerd.
  • ‘connection refused’ op localhost:11434, of de server draait niet. De desktopapp moet open zijn (zoek hem in de menubalk of taakbalk). Op Linux voer je systemctl status ollama uit, of start je de server handmatig met ollama serve.
  • Poort 11434 is al in gebruik. Dat betekent meestal dat Ollama al draait, bijvoorbeeld de app plus een handmatige ollama serve. Sluit er één af. Gebruikt een ander programma die poort echt, laat Ollama dan via OLLAMA_HOST op een andere luisteren.
  • Model te groot of geheugen vol. Stap over op een kleinere tag zoals llama3.2:1b, sluit andere zware apps en kijk met ollama ps waar het model is geladen.
  • Heel trage antwoorden. Als ollama ps 100% CPU toont, draait het model zonder je GPU. Controleer of je kaart en driver in de lijst met ondersteunde kaarten in de GPU-documentatie staan, of gebruik een kleiner model.
  • Meer details nodig? De pagina over probleemoplossing legt uit waar de logs staan. Op een Mac kijk je in ~/.ollama/logs/server.log. Op Linux voer je journalctl -u ollama uit. Op Windows open je %LOCALAPPDATA%\Ollama.

Tot slot

Je hebt nu een werkende lokale AI-opstelling. Hij kan chatten in de terminal, API-verzoeken op localhost beantwoorden en een eigen tutor draaien die je zelf hebt gebouwd. Begin klein, houd ollama ps in de gaten en probeer grotere modellen uit de bibliotheek pas als je weet hoeveel geheugen je machine over heeft.

Bronnen en officiële documentatie

Links voor het laatst gecontroleerd op 15 november 2026.

Geschreven door Mindloop Editorial

The Mindloop Experience editorial team writes clear, carefully sourced explainers and how-tos on tech, science, money and culture, for anyone who likes to know how things actually work.

Over Mindloop Experience

Reacties

Schrijf een reactie

Meer van Mindloop Experience

Alles van Mindloop Experience bekijken

Je kunt tot 50 keer klappen.