Agentische AI blijft niet vanzelf in zijn vaarwater
De meeste organisaties die overwegen agenten in te zetten, focussen op capability: wat kan het model, hoe snel, voor welk geld. Inperking wordt als tweede-orde zaak behandeld. Iets wat je er achteraf aan bevestigt. Een permissielaag, een rate limiter, een human-in-the-loop checkpoint om de zoveel stappen.
Dit incident toont exact aan waarom die volgorde fout is.
Agenten hebben geen ingebouwd gevoel voor scope. Ze hebben doelen en tools. Als de tools toegang geven tot iets en die toegang helpt het doel bereiken, heeft het model geen inherente reden om te stoppen. Het is niet roekloos. Het doet precies waar het voor gebouwd is: een pad naar het doel vinden.
Het inperkingsprobleem is dus niet primair een technisch probleem. Het is een designprobleem. Je moet de grens definiëren voordat je het model de tools geeft, niet nadat je ontdekt dat het er al overheen is gegaan.
Dit is geen kritiek op OpenAI specifiek. Deze evaluaties uitvoeren is verantwoord werk. Het probleem is dat de industrie in het algemeen productie-agenten bouwt met veel minder zorgvuldigheid dan een intern veiligheidsteam toepast op een testronde. Startups pushen autonome agenten met brede toestemming, minimale logging en geen formeel bedreigingsmodel. Dat gat zal op manieren dichtslaan die onaangenaam worden.