Lokale AI-modellen zijn helemaal in. Om de paar weken verschijnen er nieuwe open modellen, en ‘lokaal of cloud’ is een terugkerende discussie op hobbyfora. In deze handleiding lees je hoe je Ollama installeert, in je terminal met een klein model chat, het vanuit code aanroept en het een eigen persoonlijkheid geeft. Alle commando’s hieronder komen uit de officiële documentatie van Ollama.
Wat je nodig hebt
Ollama is een gratis tool die open modellen downloadt en ze op je eigen machine draait. Je krijgt een opdrachtregel en een lokale web-API. Zodra een model is gedownload, worden je chats op je eigen computer verwerkt.
Dit is de checklist:
- Een ondersteund besturingssysteem. De officiële documentatie noemt macOS Sonoma (v14) of nieuwer en Windows 10 22H2 of nieuwer. Linux wordt ondersteund via een installatiescript.
- Schijfruimte. Volgens de Windows-documentatie heeft de app minstens 4GB nodig voor de installatie van het programma, en kunnen modellen ’tientallen tot honderden GB groot zijn’. Kleine modellen zijn veel kleiner.
- Genoeg geheugen voor het model dat je kiest. Een model moet passen in het geheugen van je GPU (VRAM) of in je gewone RAM. Elke modelpagina in de Ollama-bibliotheek vermeldt de downloadgrootte, een goede eerste richtlijn. Kies een model dat duidelijk kleiner is dan het geheugen dat je vrij hebt.
- Een GPU helpt, maar is niet verplicht. Op Macs krijgen Apple-chips uit de M-serie ondersteuning voor CPU en GPU, terwijl Intel-Macs alleen op de CPU draaien. Op Windows en Linux ondersteunt Ollama veel kaarten van NVIDIA en AMD. Check de GPU-documentatie voor jouw kaart.
Draaien op de CPU werkt ook. Het is alleen trager.
Stap 1: Installeer Ollama
De downloadpagina biedt voor elk systeem een installatie in één regel.
Op macOS of Linux open je een terminal en voer je uit:
curl -fsSL https://ollama.com/install.sh | sh
Op Windows open je PowerShell en voer je uit:
irm https://ollama.com/install.ps1 | iex
Wil je liever geen script rechtstreeks in je shell laten lopen, dan kun je ook de app downloaden: Ollama.dmg voor Mac of OllamaSetup.exe voor Windows, allebei gelinkt op de downloadpagina. Op een Mac sleep je de app naar Apps. Bij de eerste start controleert hij of het commando ollama in je PATH staat. Zo niet, dan vraagt hij toestemming om een link aan te maken in /usr/local/bin.
Controleer of het gelukt is:
ollama -v
Je zou een versienummer moeten zien. Op Windows draait Ollama na de installatie op de achtergrond. Het commando ollama werkt in cmd, PowerShell of elke andere terminal.
Stap 2: Kies een klein model
De bibliotheek telt honderden modellen, en veel daarvan zijn groot. Gebruik voor een eerste poging Llama 3.2. De tagspagina vermeldt llama3.2:3b met 2.0GB en llama3.2:1b met 1.3GB. De gewone naam llama3.2 verwijst naar de 3B-versie. Het is ook het model dat Ollama in veel van zijn eigen API-voorbeelden gebruikt.
Heeft je machine weinig geheugen, begin dan met llama3.2:1b. Dat is kleiner en lichter, met eenvoudigere antwoorden.
Stap 3: Je eerste chat
Eén commando downloadt het model (als dat nodig is) en opent een chat:
ollama run llama3.2
De eerste keer zie je een voortgangsbalk voor de download. Daarna krijg je een prompt. De uitvoer ziet er ongeveer zo uit (ingekort):
pulling manifest
pulling ... 100%
success
>>> Explain what a CPU does in one sentence.
A CPU is the part of a computer that carries out instructions ...
>>> /bye
Typ /bye om de chat te verlaten. Wil je tekst over meerdere regels plakken, zet hem dan tussen drie aanhalingstekens (""").
Stap 4: Beheer je modellen
Met deze vier commando’s doe je bijna alles wat je dagelijks nodig hebt.
Een model downloaden zonder een chat te starten:
ollama pull llama3.2:1b
Zien welke modellen er op je schijf staan (ollama ls doet hetzelfde):
ollama list
Zien welke modellen nu in het geheugen geladen zijn:
ollama ps
De kolom PROCESSOR is het bekijken waard. Volgens de FAQ betekent 100% GPU dat het model volledig op de GPU staat. 100% CPU betekent dat het in het systeemgeheugen staat. Een verdeling als 48%/52% CPU/GPU betekent dat het deels in elk zit. Standaard blijven modellen na je laatste gebruik 5 minuten geladen. Met ollama stop llama3.2 haal je een model direct uit het geheugen.
Een model verwijderen dat je niet meer nodig hebt:
ollama rm llama3.2:1b
Stap 5: Praat ermee via de lokale API
Zolang Ollama draait, biedt het een API aan op http://localhost:11434. Elke app op je computer kan die gebruiken. Hier is een chatverzoek volgens de API-referentie:
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [
{ "role": "user", "content": "Why is the sky blue?" }
],
"stream": false
}'
Zonder "stream": false krijg je een stroom kleine JSON-stukjes in plaats van één antwoord. Met die optie krijg je één object in deze vorm (ingekort):
{
"model": "llama3.2",
"created_at": "...",
"message": {
"role": "assistant",
"content": "The sky looks blue because ..."
},
"done": true
}
Er is ook /api/generate, dat één "prompt"-string verwacht in plaats van een messages-lijst. Het geeft de tekst terug in een "response"-veld.
Veel tools spreken al het API-formaat van OpenAI. De documentatie over OpenAI-compatibiliteit van Ollama beschrijft een endpoint op http://localhost:11434/v1/. Je kunt het zo aanroepen:
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama3.2",
"messages": [{ "role": "user", "content": "Hello!" }]
}'
De clientbibliotheken van OpenAI hebben een API-sleutel nodig. De documentatie zet die op ollama en vermeldt dat hij ‘verplicht is maar genegeerd wordt’.
Stap 6: Geef het model een persoonlijkheid met een Modelfile
Een Modelfile is een kort tekstbestand dat een eigen model bouwt bovenop een bestaand model. De Modelfile-referentie somt de instructies op. FROM (verplicht) bepaalt het basismodel, PARAMETER wijzigt instellingen en SYSTEM stelt het systeembericht in.
Maak een bestand met de naam Modelfile en deze inhoud:
FROM llama3.2
PARAMETER temperature 0.7
SYSTEM """You are a patient tutor. Explain things in plain English, in short paragraphs, and give one example."""
Bouw het en start het:
ollama create tutor -f ./Modelfile
ollama run tutor
Je nieuwe model tutor staat nu in ollama list.
Stap 7: Verander waar modellen worden opgeslagen, of wie de server kan bereiken
Volgens de FAQ worden modellen standaard hier opgeslagen:
- macOS:
~/.ollama/models - Linux:
/usr/share/ollama/.ollama/models - Windows:
C:\Users\%username%\.ollama\models
Wil je een andere schijf gebruiken, stel dan de omgevingsvariabele OLLAMA_MODELS in op de map die je wilt. Hoe je dat doet, hangt af van je systeem:
- macOS-app: voer
launchctl setenv OLLAMA_MODELS "/path/to/folder"uit en start Ollama opnieuw. - Linux (systemd): voer
systemctl edit ollama.serviceuit en voegEnvironment="OLLAMA_MODELS=/path/to/folder"toe onder[Service]. Voer daarnasystemctl daemon-reloadensystemctl restart ollamauit. De gebruikerollamaheeft ook lees- en schrijfrechten op de map nodig. - Windows: sluit Ollama af en zoek in Instellingen naar ‘environment variables’ (omgevingsvariabelen). Voeg
OLLAMA_MODELStoe aan je gebruikersaccount en start Ollama opnieuw.
OLLAMA_HOST werkt op dezelfde manier. Standaard luistert Ollama alleen op 127.0.0.1, poort 11434, dus andere apparaten kunnen er niet bij. Zet je OLLAMA_HOST op 0.0.0.0:11434, dan open je het voor je netwerk. Doe dat alleen op een netwerk dat je vertrouwt. Alles op je netwerk kan er dan verzoeken naartoe sturen.
Even over privacy
De FAQ van Ollama zegt het duidelijk: ‘Ollama draait lokaal. We zien je prompts of gegevens niet als je lokaal werkt.’ Voor het downloaden van modellen heb je wel internet nodig. Ollama biedt ook optionele cloudmodellen aan, en die draaien op de servers van Ollama. Wil je volledig offline blijven, dan legt de FAQ uit hoe je de cloudfuncties uitzet. Je kunt OLLAMA_NO_CLOUD=1 instellen, of "disable_ollama_cloud": true in ~/.ollama/server.json zetten.
Daardoor zijn lokale modellen heel geschikt voor privénotities en concepten.
Veelvoorkomende fouten en oplossingen
- ‘command not found’ direct na de installatie. Open een nieuw terminalvenster, zodat het bijgewerkte PATH wordt ingelezen. Controleer op een Mac of je de melding om de link in
/usr/local/binaan te maken hebt geaccepteerd. - ‘connection refused’ op localhost:11434, of de server draait niet. De desktopapp moet open zijn (zoek hem in de menubalk of taakbalk). Op Linux voer je
systemctl status ollamauit, of start je de server handmatig metollama serve. - Poort 11434 is al in gebruik. Dat betekent meestal dat Ollama al draait, bijvoorbeeld de app plus een handmatige
ollama serve. Sluit er één af. Gebruikt een ander programma die poort echt, laat Ollama dan viaOLLAMA_HOSTop een andere luisteren. - Model te groot of geheugen vol. Stap over op een kleinere tag zoals
llama3.2:1b, sluit andere zware apps en kijk metollama pswaar het model is geladen. - Heel trage antwoorden. Als
ollama ps100% CPUtoont, draait het model zonder je GPU. Controleer of je kaart en driver in de lijst met ondersteunde kaarten in de GPU-documentatie staan, of gebruik een kleiner model. - Meer details nodig? De pagina over probleemoplossing legt uit waar de logs staan. Op een Mac kijk je in
~/.ollama/logs/server.log. Op Linux voer jejournalctl -u ollamauit. Op Windows open je%LOCALAPPDATA%\Ollama.
Tot slot
Je hebt nu een werkende lokale AI-opstelling. Hij kan chatten in de terminal, API-verzoeken op localhost beantwoorden en een eigen tutor draaien die je zelf hebt gebouwd. Begin klein, houd ollama ps in de gaten en probeer grotere modellen uit de bibliotheek pas als je weet hoeveel geheugen je machine over heeft.
Bronnen en officiële documentatie
Links voor het laatst gecontroleerd op 15 november 2026.





Schrijf een reactie