Een taalassistent die je kunt vertrouwen
SIDN fonds ondersteunt de pilot De Taalassistent van Onze Taal
Wie een taalvraag heeft, klopt tegenwoordig steeds vaker aan bij AI. ChatGPT, Google AI, Claude: het aanbod is groot en de antwoorden klinken overtuigend. Maar kloppen ze ook? Onze Taal, een vereniging met 18.000 leden en een professionele taaladviesdienst, merkt in de praktijk dat het antwoord lang niet altijd ‘ja’ is. Met steun van SIDN fonds onderzochten Vibeke Roeper, directeur van Onze Taal, en Fieneke Jochemsen, coördinator van de taaladviesdienst, of het anders kan: een AI-taalassistent die wél betrouwbaar is, gevoed door een eigen, zorgvuldig opgebouwde kennisbank.
Van ruis naar vraag
De taaladviesdienst van Onze Taal bestaat al jaren. Taalgebruikers kunnen er terecht met vragen over spelling, grammatica en stijl, via de telefoon, de chat en de website. Maar de afgelopen jaren merkt Fieneke een verschuiving. "We zijn steeds meer bezig met het ontkrachten van AI-gegenereerde antwoorden. Mensen bellen nu met vragen als: mijn tool zei dit, maar klopt dat wel? Dat zorgt enerzijds voor frustratie, maar anderzijds ook voor nieuwsgierigheid."
Want dat AI een ogenschijnlijk vloeiend antwoord over taal kan produceren, is op zichzelf opmerkelijk. En als je AI combineert met de betrouwbare kennisbank die Onze Taal in huis heeft, met 60.000 vragen en bijbehorende antwoorden, wat zou dat dan opleveren? Dat was de vraag die aan de basis lag van dit project.
Hoe werkt de taalassistent?
Voor de pilot ontwikkelden Onze Taal en het Instituut voor de Nederlandse Taal samen een prototype op basis van RAG, oftewel retrieval augmented generation (ophalen en genereren). Fieneke legt uit hoe dat werkt: "Je koppelt een generiek taalmodel aan een grote database van betrouwbare bronnen. Op basis van een gebruikersvraag zoekt het model de meest relevante stukjes op in die database en formuleert daar een antwoord op." In het geval van de taalassistent zijn dat eerder gestelde taalvragen met bijbehorende antwoorden van Onze Taal.
Het idee is simpel: niet de AI zijn gang laten gaan, maar het voeden met bronnen die al zijn gecontroleerd door professionals. "We dachten, we hebben een waanzinnige database. Hoe moeilijk kan het zijn?" zegt Vibeke lachend. Moeilijker dan verwacht, zo bleek.
Wat de pilot uitwees
De taalassistent doet het beter dan ChatGPT en Google AI. Dat is de uitkomst van de pilot, en het is een betekenisvol resultaat. Maar goed genoeg is het nog niet. Fieneke beschrijft wat er in de praktijk misging: "Soms begon een antwoord heel goed, we herkenden er onze eigen bronnen in, maar nam het aan het einde een rare afslag. Of er werd informatie opgenomen die technisch niet onjuist was, maar gewoon niet relevant voor die vraag."
Een andere uitdaging zit in de aard van taaladvies zelf. Taal werkt niet als wiskunde. "Er is soms een officiële regel, maar die kun je in bepaalde gevallen loslaten. Of er zijn pragmatische oplossingen die in een specifieke tekst beter passen," legt Fieneke uit. Een taaladviseur redeneert voortdurend, vergelijkt situaties, trekt conclusies op basis van meerdere bronnen tegelijk en betrekt de vraagsteller en diens context erbij. Dat is een vaardigheid die moeilijk te automatiseren is.
Voorbeeld van de werking van de taalassistent
Vraag: Waar komt de uitdrukking ‘ik ken je van haver tot gort’ vandaan?
Antwoord door de taalassistent: De uitdrukking stamt uit een tijd waarin haver en gort veel voorkomende graanproducten waren. Haver was voer voor paarden, maar ook een graan dat mensen aten. Gort is gepelde gerst, ook een graanproduct dat vroeger dagelijks werd gebruikt.
De verbinding van haver tot gort drukt uit: van het ene uiterste tot het andere, vergelijkbaar met van A tot Z.
Men kende die producten heel goed omdat ze overal in het huishouden en op het land aanwezig waren. Zo werd de uitdrukking een metafoor voor ‘alles van iemand weten’, zoals je ook elk graankorrel kent.
Klinkt aannemelijk, maar dit antwoord is volledig onwaar. Van haver tot gort heeft oorspronkelijk niets met de graanproducten haver en gort te maken. De oorspronkelijke vorm van deze uitdrukking is van avere tot avere. Dat betekende ‘van ouder tot ouder’, ‘van vader op zoon’. Aver is een oud woord voor ‘stamverwant’, dat al lange tijd verouderd is. De uitdrukking van avere tot avere werd daardoor niet meer begrepen en werd verbasterd. Eerst werd het van haver tot haver en via andere varianten (zoals van haver tot klaver) werd het uiteindelijk van haver tot gort.
En dat terwijl het antwoord goed vindbaar is online: Lees hier meer over van haver tot gort.
Overtuigend, maar niet altijd betrouwbaar
Een van de meest opvallende bevindingen uit de pilot gaat niet over de kwaliteit van de antwoorden zelf, maar over hoe mensen die beoordelen. De onderzoekers lieten zowel professionele taaladviseurs als externe beoordelaars, mensen met kennis van taal maar zonder professionele achtergrond als taaladviseur bij Onze Taal, de AI-gegenereerde antwoorden beoordelen. De externe beoordelaars waardeerden de antwoorden van het generieke model vaak hoger dan die van de taalassistent, ook als die inhoudelijk minder correct waren.
"Wat we denken is dat het neerkomt op hoe overtuigend een antwoord klinkt," zegt Fieneke. "AI formuleert stellig en helder. Mensen zijn niet goed in staat om op basis van alleen de tekst te beoordelen of een antwoord betrouwbaar is." Ze zag hetzelfde bij Google AI: de antwoorden bevatten soms verwijzingen naar betrouwbare bronnen zoals onzetaal.nl, maar het antwoord zelf klopte niet. "Dat is voor een gewone internetgebruiker nauwelijks te ontdekken."
Dat maakt de zoektocht naar een betrouwbare taalassistent ingewikkelder dan verwacht. Een model dat altijd een antwoord geeft, is behulpzaam maar niet altijd betrouwbaar. Een model dat alleen antwoordt als het zeker is, stelt gebruikers voortdurend teleur. "Die balans vinden is echt een uitdaging," zegt Fieneke. "We hebben ook geprobeerd het model te laten aangeven wanneer iets niet letterlijk in de bronnen stond. Maar het resultaat was dat bijna elk antwoord begon met: dit staat niet expliciet in het bronmateriaal. Dat is ook niet behulpzaam."
Steun van SIDN fonds
SIDN fonds maakte de pilot mogelijk via de pioniersregeling, bedoeld voor verkennende projecten. Gedurende het traject bleek er meer financiering nodig om het Instituut voor de Nederlandse Taal als technische partner te betrekken. De Taalunie stapte toen ook in als medefinancier. "SIDN fonds maakte het mogelijk, en de Taalunie kon daar wat aan toevoegen," zegt Vibeke.
Het netwerk van SIDN fonds leverde ook inhoudelijk iets op. "We zijn naar een bijeenkomst geweest met een volledig AI-thema. Het was heel leuk om mensen te spreken die op hun eigen manier bezig zijn met AI, als kans en als risico. We hebben daar ook basisinzichten opgedaan: waar moet je op letten, hoe zit het met privacy. En via de voucherregeling hebben we een externe expert kunnen inschakelen."
Jet Veldhuis, projectcoördinator bij SIDN fonds: “Bij de inzet van AI voor taalvragen is betrouwbaarheid essentieel, en de pilot van Onze Taal laat zien hoe dit in de praktijk kan worden vormgegeven. Met de taalassistent die gebruikmaakt van hun eigen, zorgvuldig opgebouwde kennisbank zetten zij een belangrijke stap richting betrouwbaardere AI. Tegelijkertijd laat het project zien hoe complex het is om menselijke expertise goed in AI te verwerken. Met onze bijdrage konden we deze verkenning medemogelijk maken. Zo dragen we bij aan de ontwikkeling van betrouwbare en verantwoorde AI-toepassingen"
Wat nu?
De pilot is afgerond en de verslaglegging is klaar. Nu gaan Onze Taal en haar partners, waaronder de Taalunie en Vlaamse collega's, in gesprek over hoe de resultaten te interpreteren en wat een logische volgende stap is. "We vragen ons ook af wie de aangewezen partij is om dit te trekken," vertelt Vibeke.
Ook de vraag voor wie de taalassistent er uiteindelijk moet komen, ligt nog open. Vibeke ziet kansen als professioneel hulpmiddel, vergelijkbaar met hoe juristen AI gebruiken als zoekassistent. "Een professional die zegt: oké, dit zijn relevante uitspraken, dit is de richting, maar ik ga dit zelf nog bestuderen." Een tool voor middelbare scholieren of gewone internetters vraagt om meer: die groep heeft uitleg nodig over wat ze in handen hebben, wat de tool wel en niet kan, en hoe ze een antwoord kunnen interpreteren.
Zeker is dat de pilot veel heeft opgeleverd, al is het ook een waslijst aan nieuwe vragen. "We weten nu wat we niet weten," zegt Fieneke. "En dat heeft ontzettend veel waardevolle inzichten gegeven."
Lees meer over dit project op: https://www.sidnfonds.nl/projecten/de-taalassistent.
