Drie structurele problemen die het noemen waard zijn
Robuustheid is de eerste. Statistische watermerken zijn fragiel. Het omformuleren van de output, zelfs licht, verstoort de tokendistributie genoeg om het watermerk ondetecteerbaar te maken. Een menselijke editor die een keer doorloopt, wist het meestal uit zonder te weten dat het daar was. Een geautomatiseerd omformuleeringstool doet hetzelfde in seconden. Dit is geen theoretische aanval. Onderzoekers hebben het consistent aangetoond sinds het Maryland-paper verscheen. Als het watermerk verdwijnt zodra een schrijver de proza opschoon maakt, biedt het bijna geen echte bescherming voor de use cases die het nodig hebben: academische fraude, desinformatie, astroturfing-campagnes.
Vals-positieven zijn de tweede. Statistische detectie is probabilistisch. Het produceert vals-positieven. Een mens die schrijft in een domein met beperkt vocabulaire, juridische contracten, medische samenvattingen, technische specificaties, kan tekst produceren die scoort als gewatermerk ook al was geen model betrokken. De gevolgen stroomafwaarts van een valse beschuldiging doen er toe. Een student gemarkeerd door een universitaire tool, een journalist beschuldigd van fabriceren met AI, een aannemer wiens deliverable wordt afgewezen als machine-gegenereerd. Dit zijn geen randgevallen. Het zijn voorspelbare uitkomsten van het inzetten van een probabilistisch systeem in hoog-inzetgebeurtenissen zonder zijn foutpercentage toe te geven.
Juridische risico's zijn de derde. Dit is het minst besproken probleem en mogelijk het meest gevolgenrijk. In de EU wordt disclosure van AI-gegenereerde inhoud gedekt onder de AI-wet. Watermerken kunnen met dat regime op manieren in wisselwerking treden die nog niet definitief zijn. Maar er is een scherper probleem: als een watermerkingsysteem een vals-positief produceert en dat vals-positief wordt gebruikt om actie tegen iemand te ondernemen, wie draagt de verantwoordelijkheid? De modelleverancier? Het platform dat de detector inzette? De werkgever die iemand ontsloeg op basis van het resultaat? Het juridische kader rond geautomatiseerde content-attributie bestaat nog niet in een vorm die deze vragen schoon beantwoordt. De feature shippen voordat de juridische verantwoordelijkheidsarchitectuur duidelijk is, is een echt risico, vooral voor organisaties die er bovenop bouwen.