Grote taalmodellen leren van tekst op het internet, boeken, academische publicaties en andere bronnen. Engels is daarin dominant: schattingen lopen uiteen, maar Engels vertegenwoordigt doorgaans 40 tot 60 procent van de trainingsdata van veel modellen.

Dat betekent dat een model meer patronen, nuances en variaties heeft geleerd in het Engels dan in het Nederlands. Voor een taal als het Swahili of Welsh is dat verschil nog groter. Dit vertaalt zich direct in kwaliteitsverschillen in gegenereerde tekst.

Talen met veel online aanwezigheid presteren beter in moderne modellen. Dit geldt voor: Duits, Frans, Spaans, Italiaans, Portugees, Japans, Chinees (Mandarijn), Koreaans en Arabisch. Deze talen zijn goed vertegenwoordigd in trainingsdata en de modellen produceren er relatief vloeiende en accurate tekst in.

Nederlands valt in de categorie middelgroot. De kwaliteit is goed voor standaardteksten, maar modellen hebben moeite met idioom, regionale varianten en subtiele stijlverschillen. Vakjargon en specifieke sectortermen vereisen extra aandacht in prompts of nabewerking.

GPT-4 en GPT-4o (OpenAI): Sterk over een breed scala aan talen, inclusief minder gangbare Europese talen. Goed voor productietaken in meerdere talen.

Claude (Anthropic): Vergelijkbaar niveau als GPT-4 voor grote talen. Redelijk sterk in Nederlands en andere middelgrote Europese talen.

Gemini (Google): Google heeft extra aandacht besteed aan meertaligheid, mede door de schaal van hun zoekmachinedata. Gemini presteert goed in veel niet-Engelse talen.

DeepL Write: Specifiek getraind voor taalverbetering in meerdere Europese talen. Sterk voor nabewerking van gegenereerde tekst.

Mistral en Llama 3: Open-source modellen die goed presteren in grote Europese talen, maar kwalitatief afvallen voor kleinere taalregio's.

Voor sommige taalregio's bestaan gespecialiseerde modellen die beter presteren dan de grote generieke modellen:

Voor Arabisch: Modellen als Jais (trained op Arabische data) presteren op specifieke taken beter dan generieke westerse modellen.

Voor Japans en Chinees: De grote westerse modellen presteren hier redelijk, maar lokale modellen van bedrijven als Baidu of NTT kunnen beter zijn voor specifieke toepassingen.

Voor Scandinavische talen: GPT-4 en Claude presteren over het algemeen goed, mede doordat die talen goed vertegenwoordigd zijn online.

Geen benchmarklijst vervangt je eigen test. Maak een representatieve testset: een aantal teksten in het gewenste genre en domein. Laat ze door alle kandidaat-modellen produceren. Laat ze beoordelen door een native speaker die niet weet welk model wat heeft geproduceerd.

Dit geeft een eerlijk beeld van de werkelijke kwaliteit voor jouw specifieke use case.

Mach8 heeft ervaring met het evalueren en inzetten van AI-modellen voor meertalige contentproductie. We adviseren op basis van de specifieke talen, domeinen en kwaliteitseisen van jouw project.

Er bestaat geen universeel beste model voor niet-Engelse talen. De prestaties hangen af van de taal, het domein en het type content. Grote generieke modellen presteren goed voor gangbare Europese talen. Voor specifieke regio's of kleinere talen is gerichte evaluatie noodzakelijk.

Wil je weten welk model het beste past bij jouw meertalige contentbehoeften? Neem contact op met Mach8.