Qwen3.8-27B lokaal draaien met llama.cpp (gids met de GGUF’s van Unsloth)

llama.cpp heeft net versie 1.0 bereikt. Zo draai je Qwen3.8-27B op je eigen machine met de GGUF van Unsloth: installeren, een quant kiezen, de server starten en de API aanroepen.

Illustratie van een terminal waarin llama-server draait met het model Qwen3.8-27B op poort 9931

Op 13 november 2026 gebeurden er twee dingen die dit tot een goede week maken om een sterk lokaal model uit te proberen. De ggml-bibliotheek achter llama.cpp bereikte versie 1.0.0, en llama.cpp bracht zijn eigen v1.0.0 uit. Twee dagen eerder werkte Unsloth zijn populaire GGUF-builds bij van Qwen3.8-27B, een open model met 27 miljard parameters dat beelden begrijpt en kan redeneren. In deze gids lees je hoe je het met llama.cpp op je eigen computer draait, ermee chat en het aanbiedt via een OpenAI-compatibele API.

De commando’s komen uit de documentatie van llama.cpp, de Qwen3.8-gids van Unsloth en de modelkaart van Qwen, stand van 14 november 2026.

Wat je installeert

  • Qwen3.8-27B is een dense 27B-model van het Qwen-team van Alibaba, uitgebracht onder de Apache 2.0-licentie. Het verwerkt tekst en afbeeldingen en ondersteunt een native context van 262,144 tokens. Thinking (stap voor stap redeneren) staat standaard aan.
  • GGUF is het bestandsformaat voor modellen dat llama.cpp gebruikt. Unsloth publiceert gecomprimeerde (“gekwantiseerde”) versies in de repo unsloth/Qwen3.8-27B-GGUF.
  • llama.cpp is een gratis, opensource engine die GGUF-modellen draait op Mac, Windows en Linux, en die waar mogelijk je GPU of Apple Silicon gebruikt.
Video (in het Engels): “Qwen3.8-27B GGUF: Run It Local with llama.cpp, Ollama & LM Studio” van Fahd Mirza.

Wat je nodig hebt

  • Geheugen: volgens de gids van Unsloth heeft de 4-bit-build 16–19 GB aan RAM en VRAM samen nodig, bijvoorbeeld een RTX 4090 of 5080, of een Mac met 24 GB RAM. De 3-bit-build past in 12–14 GB.
  • Schijfruimte: ongeveer 18 GB voor het aanbevolen 4-bit-bestand.
  • Een terminal: Terminal op macOS, PowerShell op Windows of een willekeurige Linux-shell.

Kies een quant die bij je machine past. Dit zijn de bestandsgroottes in de repo van Unsloth:

QuantBestandsgrootteGeschikt voor
UD-Q3_K_XL13.15 GBMachines met 16 GB, als je wat kwaliteitsverlies voor lief neemt
UD-Q4_K_XL17.66 GBDe aanbevolen standaardkeuze (Macs met 24 GB, GPU’s met 24 GB)
UD-Q5_K_XL20.98 GBMeer kwaliteit, als je de ruimte hebt
Q8_029.05 GBVrijwel volledige kwaliteit op machines met 32 GB+

Stap 1: llama.cpp installeren

In de installatiedocumentatie van llama.cpp staat een pakket voor elk groot besturingssysteem.

Op macOS of Linux, met Homebrew:

Terminal
brew install llama.cpp

Op Windows:

Terminal
winget install llama.cpp

Open daarna een nieuwe terminal en controleer of het serverprogramma in je PATH staat:

Code
llama-server --version

De README van llama.cpp heeft ook een nieuwe installer van één regel (curl -LsSf https://llama.app/install.sh | sh) die één enkel llama-commando instelt, zodat llama serve -hf <repo> een server start. Deze gids gebruikt llama-server, omdat de opties van dat programma volledig gedocumenteerd zijn.

Stap 2: Qwen3.8 downloaden en starten

De optie -hf downloadt een model rechtstreeks van Hugging Face. Zet de naam van de quant achter een dubbele punt:

Code
llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL -c 32768

De eerste keer wordt er ongeveer 18 GB gedownload; de voortgang volg je in de terminal. Het extra bestand voor beeldherkenning (de “mmproj”) wordt automatisch meegedownload. -c 32768 stelt een context van 32K in. Een kleinere context gebruikt minder geheugen, en je kunt hem later verhogen.

Noem altijd de quant. Volgens de documentatie van llama.cpp kiest -hf standaard Q4_K_M en valt het anders terug op het eerste bestand in de repo. De repo van Unsloth heeft geen gewoon Q4_K_M-bestand, dus als je de quant weglaat, kun je een ander bestand binnenhalen dan je verwacht.

Stap 3: Chatten in je browser

In llama.cpp 1.0 luistert de server standaard op 127.0.0.1:9931, niet op de 8080 uit oudere tutorials. Zodra de terminal meldt dat het model geladen is, open je http://127.0.0.1:9931 voor de ingebouwde chatpagina. Zo controleer je vanuit een andere terminal of de server klaar is:

Terminal
curl http://127.0.0.1:9931/health

Stap 4: Aanroepen zoals de OpenAI API

De server heeft een OpenAI-compatibel endpoint op /v1/chat/completions. Dit verzoek gebruikt de instellingen die Unsloth aanraadt voor de thinking-modus:

Terminal
curl http://127.0.0.1:9931/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Explain what a GGUF file is in two sentences."}],
    "temperature": 1.0,
    "top_p": 0.95,
    "top_k": 20,
    "min_p": 0.0
  }'

Het antwoord staat in choices[0].message.content. Elke tool waarin je een eigen OpenAI-base-URL kunt instellen, kan http://127.0.0.1:9931/v1 gebruiken, en de meeste accepteren elke waarde als API-key.

Stap 5: Thinking regelen

De thinking-modus geeft betere antwoorden op lastige problemen, maar duurt langer. Volgens de modelkaart van Qwen staat thinking “standaard aan en kun je het per verzoek uitschakelen”. Voeg dit toe aan de JSON-body om het uit te zetten:

Code
"chat_template_kwargs": {"enable_thinking": false}

Als thinking uit staat, raadt Unsloth temperature 0.7, top_p 0.80, top_k 20, min_p 0.0 en presence_penalty 1.5 aan. Wil je thinking houden maar korter maken, stel dan de reasoning effort in wanneer je de server start. De niveaus zijn xhigh (de standaard), medium, low en none:

Code
llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL -c 32768 --chat-template-kwargs '{"reasoning_effort":"medium"}'

In Windows PowerShell escape je de aanhalingstekens zoals de gids van Unsloth laat zien: --chat-template-kwargs "{\"reasoning_effort\":\"medium\"}".

Alternatief: zelf bouwen vanuit de broncode (de methode van Unsloth)

De gids van Unsloth bouwt llama.cpp vanuit de broncode en downloadt het bestand met de Hugging Face CLI, wat goed past bij Linux-machines met een NVIDIA-GPU. De buildcommando’s gebruiken apt-get en zijn dus bedoeld voor Debian of Ubuntu. Verander op een Mac -DGGML_CUDA=ON in -DGGML_CUDA=OFF, want Metal staat standaard aan.

Terminal
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
Terminal
pip install -U "huggingface_hub[cli]"
hf download unsloth/Qwen3.8-27B-GGUF \
    --local-dir unsloth/Qwen3.8-27B-GGUF \
    --include "*UD-Q4_K_XL*"
Code
./llama.cpp/llama-cli \
    --model unsloth/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q4_K_XL.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0

Liever Ollama? Daar is het model ook beschikbaar. ollama run qwen3.8:27b downloadt een build van 18 GB. Onze Ollama-gids voor beginners legt de installatie uit.

Veelvoorkomende fouten en oplossingen

  • llama-server: command not found. Open een nieuwe terminal zodat je PATH wordt bijgewerkt. Heb je de installer van llama.app gebruikt, dan heb je alleen het commando llama; gebruik in dat geval llama serve of installeer via Homebrew of winget.
  • De download haalt steeds het verkeerde bestand binnen. Zet de quant achter een dubbele punt (:UD-Q4_K_XL). Zie stap 2.
  • Crash door geheugentekort of heel trage uitvoer. Probeer de 3-bit UD-Q3_K_XL, verlaag de context met -c 8192 of sluit andere zware apps. Past het model niet in het VRAM, dan komen er lagen in het systeem-RAM terecht, en dat is veel trager.
  • “Connection refused” op poort 8080. llama.cpp 1.0 gebruikt standaard 9931. Gebruik --port 8080 als een tool de oude poort verwacht.
  • Eindeloos nadenken of wijdlopige antwoorden. Gebruik de aanbevolen sampling-instellingen hierboven, verlaag reasoning_effort of zet thinking uit voor eenvoudige taken.
  • De JSON-flag werkt niet in PowerShell. Escape de binnenste aanhalingstekens zoals in stap 5.

Tot slot

Met llama.cpp 1.0 en één -hf-commando komt het lokaal draaien van een capabel 27B-model neer op één installatie en één commando. Begin met de 4-bit-build, gebruik de API op poort 9931 vanuit je eigen tools en zet thinking lager als je het niet nodig hebt. Wil je hierna een AI-codeeragent een browser of andere tools laten aansturen, lees dan onze gids over Chrome DevTools MCP.

Bronnen

Links voor het laatst gecontroleerd op 15 november 2026.

Geschreven door Mindloop Editorial

The Mindloop Experience editorial team writes clear, carefully sourced explainers and how-tos on tech, science, money and culture, for anyone who likes to know how things actually work.

Over Mindloop Experience

Reacties

Schrijf een reactie

Meer van Mindloop Experience

Alles van Mindloop Experience bekijken

Je kunt tot 50 keer klappen.