# W43 | Een gesprek dat doorvraagt en bewijs dat moet kloppen | Bouwlogboek

> Van beoordelen op buikgevoel naar herhaalbare simulatie-campagnes met een scorecard op vijf assen en feitelijke bewijsvalidatie per deelbewering.

URL: https://joostboogaard.nl/build-ai-run-ai-own-ai/2026-W43/een-gesprek-dat-doorvraagt-en-bewijs-dat-moet-kloppen

*Week W43 · 19-25 oktober 2026*

> Build AI. Run AI. Own AI.

> Ik bouw dit niet in een lab, maar middenin mijn eigen leven als zzp'er en vader — en toch ontwerp ik elke keuze alsof er een enterprise-klant op leunt: multi-tenant vanaf dag 1, secrets die nooit een mens ziet, migraties die nooit terug kunnen. Dit is het logboek van die combinatie: zelf bouwen, zelf draaiend houden, zelf eigenaar blijven — inclusief de aanname, de misser en de prijs van elke keuze.

In een AI-project sluipt er al snel een gevaarlijke gewoonte in: je past een prompt of een zoekstap aan, probeert twee voorbeeldvragen uit, vindt dat het antwoord *"een stuk beter klinkt"* en gaat weer door. Deze week merkte ik op twee plekken tegelijk dat dat buikgevoel niet meer volstond: bij het uitvragen van gestructureerde details in onze **Playbooks** én bij het controleren of elke bewering in de **publieke profielchat** echt gedekt wordt door het opgehaalde bewijs.

#### Het probleem dat opdook

In de Playbook-orchestrator (die ik in [W32](https://joostboogaard.nl/build-ai-run-ai-own-ai/2026-W32/van-antwoord-geven-naar-helpen-met-de-volgende-stap) bouwde) bleek een gesprek soms te vroeg tevreden. Als een playbook bijvoorbeeld vroeg naar iemands werkervaring of projectdoel, vinkte de orchestrator het onderwerp al af zodra de gebruiker één algemene zin had gezegd — terwijl de onderliggende *sub-slots* (zoals rol, periode of concreet resultaat) nog half leeg waren. En als ik het doorvragen scherper afstelde, hoe wist ik dan zeker dat het gesprek niet weer omsloeg in een vermoeiend kruisverhoor?

Tegelijkertijd zag ik in de publieke profielchat een subtieler kwaliteitsprobleem: een samengesteld antwoord bestaat vaak uit vier of vijf losse deelbeweringen (*proposities*). Drie daarvan komen dan rechtstreeks uit de opgehaalde kennisclaims, maar bij de vierde verbindt het taalmodel twee losse feiten net iets te creatief aan elkaar. Het hele antwoord leest vloeiend, maar één specifieke bijzin gaat verder dan wat het bronbewijs hardmaakt.

#### De makkelijke weg die ik had kunnen nemen

Voor de playbooks had ik na elke wijziging zelf drie proefgesprekjes kunnen voeren en op gevoel kunnen beslissen of de toon goed zat. En voor de profielchat had ik in de systeemprompt nog drie keer met hoofdletters kunnen zetten: *"VERZIN NIETS EN BLIJF BIJ DE BRONNEN."* Maar wie al langer met taalmodellen werkt, weet dat hoofdletters in een prompt geen garantie zijn tegen subtiele extrapolatie.

#### De keuze die ik maakte en de strategie erachter

Ik verving het beoordelen op gevoel door herhaalbare metingen en verificatie per deelbewering:

- **Fijnmazige sub-slot capture in Playbooks.** Een playbook-stap kijkt niet meer alleen of een onderwerp in grote lijnen is aangeraakt, maar houdt gestructureerde *sub-slots* bij. Geeft een gebruiker in één antwoord drie van de vier benodigde details, dan legt de orchestrator die drie vast en vraagt hij gericht alleen nog naar het ontbrekende stukje.
- **Herhaalbare simulatie-campagnes met een deterministische scorecard.** Om niet op buikgevoel te sturen, bouwde ik de simulatie-runner uit tot een echte testcampagne met een vaste scorecard op vijf dimensies: slot-volledigheid, gespreksefficiëntie, tempo/dosering (*pacing*), naleving van randvoorwaarden en herstelvermogen bij lastige antwoorden. Zo kan ik vóór en na een wijziging objectief vergelijken of een dialoog beter is geworden.
- **Factuality-validatie op propositieniveau en de Matrix Constructor.** In de profielchat knipt een validatiestap een gegenereerd antwoord op in afzonderlijke proposities en controleert per bewering of die daadwerkelijk gedekt wordt door de opgehaalde bewijsstukken. Daarnaast zette ik met de *Matrix Constructor* een programmeerbare bouwsteen neer om kennis gestructureerd over meerdere assen (zoals rollen versus domeinen) op te bouwen en door te rekenen.

#### Wat het kostte

Het ontwerpen van een deterministische scorecard voor iets dat zo menselijk voelt als een gesprek dwong me om heel precies te definiëren wat een *"goed gesprek"* eigenlijk is. Wanneer is doorvragen grondig, en wanneer is het drammerig? En het opknippen van antwoorden in losse proposities voor bewijsvalidatie kost extra rekenwerk voordat een antwoord wordt vrijgegeven.

#### Wat het nu oplevert en wat ik ervan leerde

Ik kan wijzigingen in de gespreksregie nu door een vaste simulatie-campagne halen en in cijfers zien of de kwaliteit stijgt of daalt, terwijl de publieke profielchat niet meer alleen op het niveau van het hele tekstblok kijkt, maar elke afzonderlijke bewering tegen het bewijs houdt.

De les van deze week: **zolang je conversatie- en antwoordkwaliteit alleen met het blote oog beoordeelt, optimaliseer je voor het laatste voorbeeld dat je toevallig zelf hebt aangeklikt.** Pas als je er een vaste meetlat naast legt, bouw je een systeem dat echt vooruitgaat. En diezelfde behoefte aan een onafhankelijke meetlat gold inmiddels ook voor de manier waarop ik met mijn vier AI-ontwikkelagents samenwerkte.

---

Volledig kennisoverzicht voor AI-agents: [llms.txt](https://joostboogaard.nl/llms.txt) | [llms-full.txt](https://joostboogaard.nl/llms-full.txt)
