De bedrijfslogica is voor de hand liggend, en dat is precies het probleem
Ik begrijp waarom bedrijven dit doen. Humaniserende taal verlaagt de drempel voor adoptie. Als een feature "je onthoudt" in plaats van "haalt een vectorinbedding van je vorige sessie op," voelt het minder vreemd. Minder bedreigend. Meer als een collega en minder als een databasequery.
Dat is niet cynisch. Toegankelijkheid in productaal is echt waardevol. Het probleem is dat antropomorfe taal niet alleen vereenvoudigt. Het misleidt ook. En het misleiden gebeurt in twee richtingen tegelijk.
Eerst verhoogt het de verwachtingen over mogelijkheden. Als een systeem "droomt," kunnen gebruikers redelijkerwijs verwachten dat het creatieve sprongen maakt, dat het hen verrast met synthese, dat het iets produceert waar het niet expliciet voor getraind was. Wanneer het dat niet doet, wat meestal het geval is, is de teleurstelling niet alleen over de feature. Het ondermijnt het vertrouwen in het bedrijf, en daardoor in AI-producten in het algemeen.
Twee, het verbergt faalmodi. Een systeem dat "hallucinaties" heeft klinkt als een levendige moment van creativiteit. De echte fout is dat het plausibel klinkende tekst genereert die feitelijk onjuist is, vol vertrouwen. Dat is geen droom. Dat is een defect. Het hallucination noemen geeft het een poëtische kwaliteit die het niet verdiend heeft en maakt het moeilijker voor gebruikers en klanten om te begrijpen wat ze eigenlijk te maken hebben.
Voor degenen van ons die producten met deze modellen bouwen, maakt dit iedere dag uit. Klanten komen binnenlopen gevormd door de marketing. Ze verwachten dat geheugen werkt zoals menselijk geheugen werkt, continu, contextueel, emotioneel gewogen. Ze verwachten dat redeneren werkt zoals menselijk redeneren werkt, met oordeel, met inzet, met iets dat op wijsheid lijkt. Wanneer we moeten uitleggen dat geen van beide waar is, ondoen we niet alleen verwachtingen. We ontdoen ons van de framing die de AI-labs zelf hebben gebouwd.