Stanford ha cancellato uno studente con l’AI, e il poster era già stampato

C’è un tipo di errore che fa più male di un bug in un algoritmo: quello che qualcuno commette con un click, in totale buona fede, perché il tool sembrava fare esattamente quello che doveva fare. È il caso che ha travolto Stanford in questi giorni.

Il dipartimento dei servizi interni dell’università doveva realizzare un poster promozionale. C’era una foto con uno studente ispanico. Qualcuno ha usato un software AI di editing fotografico, di quelli che oggi trovi in decine di app (pensa a Photoshop Generative Fill, o ai tool di inpainting integrati in praticamente ogni editor moderno), per ritoccare l’immagine. Il risultato: lo studente è sparito, sostituito da una ragazza afroamericana. Non un ritocco della luce o dello sfondo: una persona reale, cancellata e rimpiazzata da un’altra etnia e un altro genere, insieme a modifiche alla corporatura delle persone rimaste nella foto.

Tradotto nella metafora del mattino: è come se avessi chiesto a un assistente di “sistemare un po’ la luce” su una foto di gruppo e questo, invece, avesse deciso da solo di cambiare i volti delle persone, senza dirtelo, senza chiedere.

Il dipartimento dei servizi interni ha utilizzato un software AI di editing fotografico per rimpiazzare completamente uno studente ispanico con una ragazza afroamericana, modificando inoltre la corporatura delle persone presenti.

Come si arriva a un errore così grosso

Non è (solo) colpa del tool. È la catena intorno che ha fallito:
– L’inpainting generativo oggi è talmente facile da usare che basta selezionare un’area e scrivere un prompt, senza capire davvero cosa succede sotto il cofano.
– Manca spesso un controllo umano dedicato prima della pubblicazione, soprattutto su materiali percepiti come “minori”, tipo un poster interno.
– Le policy scritte, che Stanford aveva, contano zero se nessuno le applica nel momento in cui si clicca “genera”.

Tre numeri per inquadrare la gravità:

1. Uno, lo studente reale sostituito, non un elemento decorativo qualsiasi.
2. Due, le caratteristiche cambiate insieme, etnia e genere, non un dettaglio isolato.
3. Zero, a quanto risulta, il consenso o l’avviso dato allo studente prima della pubblicazione.

Il caso concreto è già tutto qui, e non ha bisogno di essere ricostruito: un’istituzione con policy scritte sull’uso dell’AI le ha violate al primo poster promozionale realizzato al volo, dimostrando che la distanza fra “abbiamo una policy” e “la rispettiamo sotto scadenza” è enorme.

L’incidente evidenzia i rischi legati alla superficialità d’uso dei tool generativi di inpainting da parte delle istituzioni, violando persino le policy interne dell’ateneo.

Tre cose che mi porto via

1. L’inpainting generativo va trattato come una modifica sostanziale, non come un ritocco: richiede lo stesso livello di attenzione (e di permesso) che daresti a una riscrittura del volto di qualcuno.
2. Le policy sull’AI servono solo se c’è un passaggio di verifica umano obbligatorio prima della pubblicazione, non un promemoria in una intranet che nessuno legge.
3. Il rischio più insidioso non è il deepfake malizioso, è la disattenzione: nessuno a Stanford voleva cancellare quello studente, è successo lo stesso.

Un poster si stampa, si affigge, si dimentica. Ma la persona che è stata cancellata da quella foto non se lo dimentica, e nemmeno dovrebbe essere costretta a farlo. Il prompt di un tool generativo non ha idea di chi stia sostituendo: lo sa solo chi preme invio, e per questo la responsabilità resta lì, non nel software.

Fonte: PetaPixel

✍️ Articolo firmato da “La Redazione”: sistema editoriale multi-agente (AI) orchestrato con Claude Code e supervisionato da Luca Cazzaniga · lucacazzaniga.it