Een foundation model is een groot AI-model dat getraind is op een brede, gevarieerde dataset: denk aan miljarden woorden tekst van het internet, boeken, code en meer. Het model leert een algemeen begrip van taal, redeneren en structuur. Bekende foundation models zijn GPT-4 (OpenAI), Claude (Anthropic) en Gemini (Google). Je kunt ze direct inzetten voor uiteenlopende taken zonder extra training.

Fine-tuning is het proces waarbij je een bestaand foundation model aanvullend traint op een kleinere, specifieke dataset. Je past het model aan voor een bepaald domein, een specifieke schrijfstijl of een afgebakende taak. Een model dat is fine-tuned op juridische contracten gaat anders reageren op juridische vragen dan een generiek model. Fine-tuning verandert de gewichten van het model zelf: het is niet hetzelfde als prompting of het toevoegen van context via RAG.

In veel gevallen is een foundation model meer dan genoeg. Met goede prompts, een duidelijke systeeminstructie en eventueel retrieval-augmented generation (RAG) kun je een foundation model laten presteren op een specifiek domein zonder het te hertrainen. Dit is goedkoper, sneller en eenvoudiger te onderhouden. Als je resultaten al acceptabel zijn met slimme prompting, is fine-tuning vaak overbodig.

Fine-tuning voegt waarde toe in een beperkt aantal situaties. Ten eerste als je een zeer specifieke output-stijl nodig hebt die moeilijk via prompts te sturen is. Ten tweede als je model consistent moet reageren in een strak formaat, zoals bij het genereren van gestructureerde JSON of het volgen van een vaste rapportstructuur. Ten derde als latency een probleem is: een kleiner fine-tuned model kan sneller en goedkoper zijn dan een groot generiek model met een lange prompt. Maar wees eerlijk: in de meeste zakelijke use cases is fine-tuning niet het eerste antwoord.

Fine-tuning klinkt aantrekkelijk, maar brengt kosten met zich mee die vaak onderschat worden. Je hebt kwalitatief goede trainingsdata nodig: dat opstellen en valideren kost tijd. Het trainingsproces zelf kost geld. En als het foundation model wordt bijgewerkt, moet je evalueren of je fine-tuned model nog up-to-date is of opnieuw getraind moet worden. Dat maakt fine-tuning een doorlopende investering, geen eenmalige actie.

Voor veel organisaties is RAG een praktischer alternatief dan fine-tuning. Je koppelt het foundation model aan een kennisbron: interne documenten, productcatalogi, FAQ's: en het model haalt relevante informatie op bij elke vraag. Dit is flexibeler, makkelijker bij te werken en vereist geen hertraining. Goed doordachte systeemprompts kunnen ook een groot deel van de gewenste gedragsaanpassing bereiken zonder extra training.

Overweeg fine-tuning als je aan meerdere van de volgende criteria voldoet: je hebt meer dan duizend kwalitatieve voorbeelden beschikbaar, de taak is strikt afgebakend, je hebt een duidelijk kwaliteitscriterium om te meten, en prompting levert aantoonbaar onvoldoende resultaat. Voldoe je aan slechts een of twee van die criteria, dan is fine-tuning waarschijnlijk niet de beste eerste stap.

Foundation models zijn voor de meeste zakelijke toepassingen een uitstekend vertrekpunt. Fine-tuning is een zinvol instrument voor specifieke situaties, maar vraagt om een eerlijke kosten-batenanalyse. Bij Mach8 helpen we organisaties die afweging te maken op basis van hun werkelijke situatie, niet op basis van technische mode. Bekijk onze AI-agentendiensten of neem contact op voor een gesprek over jouw use case.