Benchmark
Wat de AI-taalhulp meetbaar doet
Alle 24 fictieve brieven zijn door dezelfde stappen gegaan als in de werkbank. Leesbaarheid is gemeten met vaste formules. Voor de correctietest zijn in elke brief bewust fouten ingebouwd, met een vaste seed, zodat de meting herhaalbaar is.
61.2 → 40.5LIX gemiddeld (lager = makkelijker)
40.3 → 61.3Flesch-Douma (hoger = makkelijker)
30.8 → 12.0woorden per zin
0 → 2brieven op indicatief B1-niveau (van 24)
100.0%feiten behouden na herschrijven (116 van 116)
98%ingebouwde fouten gevonden (106 van 108)
96%direct juist gecorrigeerd
0.75onterechte foutmeldingen per foutloze brief
Feitenbewaking: 4 AI-voorstellen automatisch geweigerd omdat ze een gegeven uit het dossier zouden veranderen (bijvoorbeeld een jaartal of bedrag). Vaste regels alleen vonden 85% van de ingebouwde fouten; met AI-eindredactie 98%.
Gevonden per fouttype
Paars: vaste regels alleen. Groen: regels plus AI-eindredactie.
Spelfout (24)
100% · 100%
dt-fout (16)
0% · 88%
Verkeerd bedrag (18)
100% · 100%
Verkeerde datum (15)
100% · 100%
Ontbrekende bezwaarclausule (18)
100% · 100%
Informele toon (je/jij) (17)
100% · 100%
Leesbaarheid per sjabloon (LIX)
Grijs: oorspronkelijke tekst. Geel: na vereenvoudigen naar B1.
AL-OB-01 Algemeen - ontvangstbe
65.7 → 38.0
BR-AF-01 Betalingsregeling - af
60.3 → 43.0
BR-TK-01 Betalingsregeling - to
59.7 → 39.3
HT-NB-01 Huurtoeslag - definiti
59.2 → 39.6
HT-TV-01 Huurtoeslag - terugvor
61.0 → 43.8
KO-TV-01 Kinderopvangtoeslag -
61.6 → 41.6
ZT-IV-01 Zorgtoeslag - verzoek
62.1 → 38.1
ZT-WV-01 Zorgtoeslag - wijzigin
60.0 → 40.3
Per brief
| Dossier | Sjabloon | LIX voor | LIX na | FD voor | FD na | Niveau | Feiten | Fouten | Gevonden | Juist hersteld | Model | Duur |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Z-2026-0401 | HT-NB-01 | 58.4 | 41.2 | 44.5 | 61.1 | C2 → B2 | 6/6 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 53.8 s |
| Z-2026-0402 | HT-NB-01 | 60.7 | 38.8 | 42.2 | 63.5 | C2 → B2 | 8/8 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 57.5 s |
| Z-2026-0403 | HT-NB-01 | 58.4 | 38.7 | 44.5 | 63.1 | C2 → B2 | 5/5 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 37.5 s |
| Z-2026-0404 | HT-TV-01 | 61.0 | 44.4 | 37.7 | 51.0 | C2 → B2 | 3/3 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 60.0 s |
| Z-2026-0405 | HT-TV-01 | 61.0 | 43.7 | 37.7 | 52.8 | C2 → B2 | 3/3 | 5 | 4 | 4 | geen taalmodel beschikbaar (regelgebaseerde terugval) | 184.4 s |
| Z-2026-0406 | HT-TV-01 | 61.0 | 43.2 | 38.9 | 55.1 | C2 → B2 | 2/2 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 37.1 s |
| Z-2026-0407 | ZT-WV-01 | 60.0 | 39.4 | 41.9 | 61.9 | C2 → B2 | 4/4 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 41.8 s |
| Z-2026-0408 | ZT-WV-01 | 60.0 | 41.8 | 42.0 | 60.4 | C2 → B2 | 5/5 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 69.2 s |
| Z-2026-0409 | ZT-WV-01 | 60.0 | 39.8 | 41.9 | 61.5 | C2 → B2 | 4/4 | 5 | 5 | 4 | LongCat 2.5 (gratis reservemodel) | 38.4 s |
| Z-2026-0410 | ZT-IV-01 | 62.2 | 35.9 | 41.9 | 64.8 | C2 → B2 | 4/4 | 3 | 3 | 3 | LongCat 2.5 (gratis reservemodel) | 61.1 s |
| Z-2026-0411 | ZT-IV-01 | 62.6 | 39.7 | 43.8 | 66.5 | C2 → B2 | 5/5 | 3 | 3 | 3 | LongCat 2.5 (gratis reservemodel) | 28.7 s |
| Z-2026-0412 | ZT-IV-01 | 61.5 | 38.6 | 43.6 | 65.6 | C2 → B2 | 4/4 | 3 | 2 | 2 | LongCat 2.5 (gratis reservemodel) | 37.7 s |
| Z-2026-0413 | KO-TV-01 | 61.5 | 41.4 | 35.1 | 53.4 | C2 → B2 | 3/3 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 54.2 s |
| Z-2026-0414 | KO-TV-01 | 61.5 | 41.6 | 34.7 | 54.4 | C2 → B2 | 3/3 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 55.1 s |
| Z-2026-0415 | KO-TV-01 | 61.9 | 41.9 | 35.1 | 54.7 | C2 → B2 | 2/2 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 32.7 s |
| Z-2026-0416 | BR-TK-01 | 58.4 | 37.2 | 41.1 | 68.5 | C2 → B2 | 8/8 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 52.9 s |
| Z-2026-0417 | BR-TK-01 | 62.3 | 42.1 | 36.8 | 59.5 | C2 → B2 | 8/8 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 42.8 s |
| Z-2026-0418 | BR-TK-01 | 58.4 | 38.6 | 41.1 | 66.4 | C2 → B2 | 10/10 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 40.4 s |
| Z-2026-0419 | BR-AF-01 | 60.3 | 43.0 | 38.4 | 54.9 | C2 → B2 | 5/5 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 47.2 s |
| Z-2026-0420 | BR-AF-01 | 60.3 | 43.7 | 37.6 | 55.6 | C2 → B2 | 4/4 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 40.3 s |
| Z-2026-0421 | BR-AF-01 | 60.3 | 42.2 | 38.4 | 56.5 | C2 → B2 | 5/5 | 5 | 5 | 5 | LongCat 2.5 (gratis reservemodel) | 42.6 s |
| Z-2026-0422 | AL-OB-01 | 67.7 | 36.3 | 40.6 | 74.7 | C2 → B1 | 5/5 | 3 | 3 | 3 | LongCat 2.5 (gratis reservemodel) | 46.0 s |
| Z-2026-0423 | AL-OB-01 | 65.6 | 37.2 | 42.9 | 73.4 | C2 → B1 | 5/5 | 3 | 3 | 2 | LongCat 2.5 (gratis reservemodel) | 34.0 s |
| Z-2026-0424 | AL-OB-01 | 63.8 | 40.5 | 45.7 | 72.7 | C2 → B2 | 5/5 | 3 | 3 | 3 | LongCat 2.5 (gratis reservemodel) | 29.1 s |
Gedraaid op 2026-10-20 08:31 UTC · modellen: LongCat 2.5 (gratis reservemodel) (1 brief zonder antwoord van het model: regelgebaseerde terugval) · promptversie 2026-10-20.2 · seed toeslagen-2026-10-20 · totale duur 20.4 min.
Methode
- LIX = gemiddelde zinslengte + percentage woorden van meer dan 6 letters. Onder de 40 is goed leesbaar; boven de 50 moeilijk. Flesch-Douma = 206,835 − 0,93 × woorden per zin − 77 × lettergrepen per woord (Nederlandse variant van Flesch).
- Indicatief niveau: B1 als LIX ≤ 38, gemiddeld ≤ 14 woorden per zin, geen ambtelijke woorden en ≤ 15% lijdende vorm. Dit is een indicatie, geen officiële B1-toets. Een echte toets met lezers hoort bij de implementatie.
- Vergrendelde blokken tellen mee. De bezwaarclausule, betaalgegevens en ondertekening zijn juridisch vastgestelde tekst en worden niet herschreven, maar tellen wel mee in de scores van de hele brief. Daarom eindigen de meeste brieven op indicatief B2. Vereenvoudiging van die vastgestelde teksten hoort bij de redactie van het sjabloon, niet bij de AI per brief.
- Feitbehoud: elk bedrag, elke datum, elk kenmerk en rekeningnummer uit de brief moet letterlijk terugkomen in de herschreven tekst. Zo niet, dan weigert de werkbank het voorstel.
- Correctietest: per brief worden 4 tot 6 fouten ingebouwd (spelling, dt-fout, verkeerd bedrag, verkeerde datum, weggelaten bezwaarclausule, informele toon). Een fout telt als gevonden als een bevinding precies die plek aanwijst; juist hersteld als het voorstel de oorspronkelijke tekst teruggeeft.
- Vals alarm: dezelfde controle op de foutloze brief; elke melding van spelling, grammatica, consistentie of een ontbrekend element telt als onterecht. Toon- en stijladviezen tellen niet mee. De onterechte meldingen komen vrijwel alleen van de AI (stijlvoorkeuren gelabeld als grammatica); de vaste regels gaven er geen.