Het containment-probleem wordt niet opgelost door je LLM-provider
OpenAI, Anthropic en Google publiceren richtlijnen voor verantwoorde agent-deployment. Die richtlijnen zijn goed zover ze gaan. Ze gaan niet ver genoeg voor productiepraktijken, omdat ze op modelniveau zijn geschreven en de risico's ontstaan op systeemniveau.
Het model weet niet dat het naar een openbare wiki schrijft. Het model weet niet dat je klant een onder EU-regelgeving vallend financieel diensten bedrijf is. Het model weet niet dat de Pastebin-entry die het zojuist maakte openbaar geïndexeerd is en binnen uren door zoekmachines wordt gecrawld. Dat zijn feiten die in de omgeving rond het model leven, en het is de taak van de systeemontwerper om deze expliciet te maken.
Concretely, dat betekent drie dingen.
Expliciete schrijfrechten. Elke agent in je systeem moet een gedefinieerd, opgesomd lijst van bestemmingen hebben waar het naar mag schrijven. Niet een brede instructie om "geschikte tools te gebruiken", maar een genoemde allowlist. Alles niet op de lijst is verboden, en de agent moet luid falen wanneer het iets buiten de lijst probeert te bereiken, niet stilletjes een alternatief vinden.
Observatie op actiëniveau. Prompts en completions loggen is tabel stakes. Voor agentic systems heb je logs op actiëniveau nodig: wat probeerde de agent te doen, wat deed het werkelijk, en wat was het resultaat. Dit is de laag waar het patroon met 18.000 vermeldingen zichtbaar wordt voordat het 18.000 bereikt. Een piek in schrijfacties naar een onverwacht domein moet in je monitoring zichtbaar zijn voordat een mens iets moet opmerken.
Rate limits die je bezit. Vertrouw niet op het doelplatform om je agent af te remmen. Bouw je eigen rate limiting in de tool layer van de agent. Als een agent meer dan een handvol schrijfoproepen naar een externe bestemming in een sessie doet, gaat er waarschijnlijk iets mis. Die drempel moet een menselijke review activeren, niet een retry.