Week W42 · 12-18 oktober 2026
Build AI. Run AI. Own AI.
Ik bouw dit niet in een lab, maar middenin mijn eigen leven als zzp'er en vader — en toch ontwerp ik elke keuze alsof er een enterprise-klant op leunt: multi-tenant vanaf dag 1, secrets die nooit een mens ziet, migraties die nooit terug kunnen. Dit is het logboek van die combinatie: zelf bouwen, zelf draaiend houden, zelf eigenaar blijven — inclusief de aanname, de misser en de prijs van elke keuze.
In klassieke softwareontwikkeling is een netwerk-aanroep die met `HTTP 200 OK` terugkomt meestal goed nieuws. In een AI-platform blijkt dat een gevaarlijke illusie. Deze week stuitte ik op een venijnige fout bij het extraheren van kennis uit rijke documenten: de modelprovider gaf keurig `200 OK` terug, de aanroep werd in de logs als `success` geregistreerd, maar het JSON-antwoord was midden in een zin afgekapt omdat het model zijn `max_tokens`-plafond had geraakt.
Het probleem dat opdook
Wanneer een rijk brondocument veel feiten bevat voor een bepaalde kennisdimensie, genereert het taalmodel een flinke lijst met gestructureerde claims en bewijs-citaten. Zodra die output langer werd dan het ingestelde token-plafond van de aanroep, stopte het model midden in een woord of halverwege een JSON-object.
Vanuit de modelprovider gezien is dat geen serverfout: het verzoek is verwerkt, de gegenereerde tokens worden netjes gefactureerd en de HTTP-status is `200 OK`. Alleen staat de `finish_reason` op `length` in plaats van `stop`. Als je verwerkingsketen vooral kijkt of de HTTP-call slaagde en of er uit de tekst nog iets te parsen valt (of erger: bij een parse-fout stilletjes terugvalt op een lege lijst), dan verlies je zonder één rode melding op het dashboard precies de rijkste helft van een document.
Tegelijkertijd merkte ik dat mijn release-keten bij het testen van dit soort diepe pijplijn-wijzigingen behoefte had aan een schonere tussenstap: ik wilde een exacte release-scope eerst op de gedeelde zandbak (`SAND`) kunnen valideren voordat diezelfde scope naar `ACC` en `PROD` ging.
De makkelijke weg die ik had kunnen nemen
Ik had het `max_tokens`-getal in de configuratie gewoon vier keer zo hoog kunnen zetten en een ruime regex-parser kunnen gebruiken die het laatste kapotte JSON-item wegknipt en de rest bewaart. Dat lijkt praktisch, maar het verschuift het probleem alleen maar naar het volgende grote document — en het weggooien van het afgekapte staartje betekent dat je stilletjes informatie weggooit zonder dat iemand het weet.
De keuze die ik maakte en de strategie erachter
Ik maakte van de volledigheid en het schema van het antwoord een hard onderdeel van het aanroepcontract:
- Expliciete controle op `finish_reason` en truncatie-herkomst. Een model-aanroep met `finish_reason = length` (of een ander teken van afkapping) mag nooit meer als een normaal compleet resultaat doorgaan. De adapter en de contract-validator herkennen afkapping direct aan de poort en leggen die vast als expliciete truncation provenance in de logs.
- Strikt output-contract en opgeknipte batches. In plaats van één gigantisch JSON-antwoord te vragen dat tegen de tokenlimiet kan klappen, begrensde ik de omvang per extractie-stap en dwong ik een strikt schema-contract af vóórdat een resultaat aan de domeinlaag wordt overgedragen. Klopt het schema niet of is het antwoord afgekapt, dan faalt de stap gecontroleerd in plaats van een halfbakken resultaat als waarheid op te slaan.
- SAND-gevalideerde release-afbakening. Ik scherpte de deploy-workflow aan zodat een kandidaat-release eerst met exact dezelfde commit- en migratiescope op `SAND` bewezen wordt voordat `ACC` en `PROD` aan de beurt komen.
Wat het kostte
Het invoeren van harde contractvalidatie op bestaande capabilities is confronterend: aanroepen die voorheen met een half of slordig geformatteerd antwoord nog door de mazen van het net glipten, klappen nu direct zichtbaar uit elkaar. Dat betekende dat ik verschillende prompts en batch-groottes opnieuw moest afstellen tot ze ook bij grote documenten ruim binnen hun contract bleven.
Wat het nu oplevert en wat ik ervan leerde
Het platform maakt nu een scherp onderscheid tussen "de provider gaf antwoord" en "het antwoord voldoet aan ons contract". Afgekapte antwoorden kunnen niet meer stilletjes als geslaagde lege of halve resultaten in de kennisgraaf belanden.
De les van deze week: in een LLM-keten is `HTTP 200` alleen het bewijs dat de postbode heeft aangebeld — pas na controle van `finish_reason` en het output-schema weet je of de brief er echt in zit. En precies die strengere blik op de inhoud van antwoorden nam ik mee naar de volgende week, waarin zowel de playbook-gesprekken als de publieke profielchat langs een meetlat werden gelegd.