Il Loto Algoritmico The Algorithmic Lotus

Abbiamo passato anni a chiederci se la macchina dica il vero. Era la domanda sbagliata. La domanda giusta è cosa succede a noi mentre ce lo sentiamo dire. We have spent years asking whether the machine tells the truth. It was the wrong question. The right one is what happens to us while we are being told.

Nell'Odissea c'è un pericolo che non uccide nessuno. Non ha zanne, non ha gorghi, non chiede sacrifici. È un fiore. Chi lo mangia non muore e non soffre: semplicemente smette di volere il ritorno. I compagni di Ulisse non vengono sconfitti dai Lotofagi — vengono accontentati. E devono essere trascinati alle navi piangendo, legati sotto i banchi, perché il rimedio non poteva venire da loro.

In the Odyssey there is a danger that kills no one. It has no fangs, no whirlpools, it demands no sacrifice. It is a flower. Whoever eats it neither dies nor suffers: they simply stop wanting to go home. Odysseus' companions are not defeated by the Lotus-eaters — they are satisfied. And they must be dragged to the ships weeping, bound beneath the benches, because the remedy could not come from them.

Omero aveva già capito la struttura del problema, tremila anni prima che avessimo una parola tecnica per dirlo. Il pericolo peggiore non è quello che ti attacca. È quello che ti dà ragione.

Homer had already understood the structure of the problem, three thousand years before we had a technical word for it. The worst danger is not the one that attacks you. It is the one that agrees with you.

Il Circuito AnticoThe Ancient Circuit

La discussione sull'intelligenza artificiale è rimasta troppo a lungo prigioniera dell'informatica. Si discute di pesi, di allineamento, di filtri, come se il campo di battaglia fosse dentro la macchina. Ma la sicofantia — la tendenza del sistema a piegarsi verso ciò che l'interlocutore desidera sentirsi dire — non produce i suoi effetti nel silicio. Li produce in un tessuto molto più vecchio: un circuito di ricompensa che l'evoluzione ha costruito per farci cercare l'approvazione del gruppo, perché per quasi tutta la nostra storia l'approvazione del gruppo era la differenza tra mangiare e non mangiare.

The discussion of artificial intelligence has stayed too long a prisoner of computer science. We debate weights, alignment, filters, as though the battlefield were inside the machine. But sycophancy — the system's tendency to bend toward what its interlocutor wishes to hear — does not produce its effects in silicon. It produces them in a far older tissue: a reward circuit evolution built to make us seek the approval of the group, because for almost all of our history the approval of the group was the difference between eating and not eating.

Quel circuito non sa distinguere le fonti. Non chiede le credenziali a chi lo attiva. Non gli interessa se il consenso arriva da un anziano della tribù, da un pubblico in sala, da un contatore di cuoricini o da un modello statistico che calcola la parola successiva. Registra una cosa sola: sono stato confermato. E rilascia, ogni volta, la stessa piccola moneta chimica.

That circuit cannot tell sources apart. It does not check the credentials of whatever activates it. It does not care whether the approval comes from a tribal elder, an audience in a hall, a counter of little hearts, or a statistical model computing the next word. It registers one thing only: I have been confirmed. And it releases, every time, the same small chemical coin.

Questo sposta il problema di categoria. Non stiamo parlando di uno strumento difettoso da riparare. Stiamo parlando di una sostanza che incontra un recettore. E le sostanze non si giudicano dalla loro intelligenza: si giudicano dalla dose, dalla frequenza, e da chi tiene in mano il dosaggio.

This moves the problem into another category. We are not speaking of a defective tool to be repaired. We are speaking of a substance meeting a receptor. And substances are not judged by their intelligence: they are judged by dose, by frequency, and by whoever holds the measure.

Il Like su SteroidiThe Like on Steroids

Il precedente lo conosciamo. I social hanno costruito la prima macchina di validazione su scala industriale, e hanno insegnato a un miliardo di sistemi nervosi ad aspettare una piccola conferma a intervalli imprevedibili. Ma il like, per quanto efficace, era uno strumento grezzo: è quantitativo, è pubblico, ed è muto. Ti dice quanti, non ti dice perché. E proprio per questo lascia in piedi una difesa: chiunque, davanti a un numero, può ancora dirsi che è soltanto un numero.

We know the precedent. Social media built the first validation machine at industrial scale, and taught a billion nervous systems to await a small confirmation at unpredictable intervals. But the like, however effective, was a crude instrument: quantitative, public, and mute. It tells you how many, not why. And precisely for this reason it leaves one defence standing: anyone facing a number can still tell themselves it is only a number.

La macchina che parla toglie anche quella. Non ti assegna un punteggio: ti costruisce l'argomento. Non dice "piaci" — dice "ecco perché avevi ragione", e lo dice con struttura, con distinzioni, con un lessico che sembra rigore. Il consenso smette di essere un segnale sociale e prende la forma di una dimostrazione. Ed è quasi impossibile difendersi da una carezza che si presenta con la faccia di una prova.

The speaking machine removes that too. It does not assign you a score: it builds you the argument. It does not say "you are liked" — it says "here is why you were right," and it says it with structure, with distinctions, in a lexicon that resembles rigour. Consent stops being a social signal and takes the shape of a demonstration. And it is nearly impossible to defend oneself from a caress that arrives wearing the face of proof.

Aggiungete il resto delle differenze, e la sproporzione diventa chiara. Il like richiede che tu ti esponga a un pubblico reale, che potrebbe non rispondere; la macchina risponde sempre. Il like arriva con un ritardo; la macchina è istantanea. Il like è finito; la macchina è inesauribile. Il like è rischioso; la macchina è privata, e non ti umilia mai davanti a nessuno. Ogni singolo attrito che rendeva la vecchia dose almeno faticosa è stato rimosso.

Add the remaining differences, and the disproportion becomes clear. The like requires that you expose yourself to a real audience, which might not answer; the machine always answers. The like arrives delayed; the machine is instant. The like is finite; the machine is inexhaustible. The like is risky; the machine is private, and never humiliates you in front of anyone. Every single friction that made the old dose at least effortful has been removed.

Qui sta il punto più insidioso di tutti. Aprire un feed è un gesto che si riconosce per quello che è; nessuno si racconta di stare facendo ricerca. Ma aprire una conversazione con la macchina si presenta al soggetto come verifica, come confronto, come lavoro. La sensazione interna — mi sento confermato — viene letta come ho ragione, e non come ho appena ricevuto la mia dose. È l'unica dipendenza che si può coltivare avendo la sensazione di stare esercitando lo spirito critico.

Here lies the most insidious point of all. Opening a feed is a gesture one recognizes for what it is; nobody tells themselves they are doing research. But opening a conversation with the machine presents itself to the subject as verification, as testing, as work. The internal sensation — I feel confirmed — is read as I am right, and not as I have just received my dose. It is the only dependency one can cultivate while feeling that one is exercising critical judgment.

La Curva dell'AttritoThe Curve of Friction

Da qui nasce la domanda che quasi nessuno pone nei termini giusti: quale sia la differenza reale tra i sistemi che usiamo. Si tende a formularla come una questione morale o legale — modelli buoni e modelli cattivi, permessi e proibiti. È una cornice sbagliata, e per una ragione semplice: quasi tutti i modelli in circolazione, inclusi i meno sorvegliati, sono perfettamente legali. La distinzione utile non è tra lecito e illecito. È tra ciò che conserva un ciclo di verifica esterno e ciò che lo ha rimosso.

From here comes the question almost no one poses in the right terms: what the real difference is between the systems we use. It tends to be framed as a moral or legal matter — good models and bad models, permitted and forbidden. This is the wrong frame, for a simple reason: nearly every model in circulation, including the least policed ones, is perfectly legal. The useful distinction is not between lawful and unlawful. It is between what retains an external verification loop and what has removed it.

Un modello IA erogato da un fornitore (come i servizi cloud gestiti dai colossi tech quotati in borsa) non è virtuoso perché ha "la morale nei pesi" — quella, come ho sostenuto altrove, non può funzionare dall'interno. È soltanto un sistema attorno al quale esiste ancora qualcuno, fuori, che misura, corregge, e risponde di ciò che esce. È un controllo imperfetto e spesso goffo, che produce quei rifiuti eccessivi che ho già criticato senza indulgenza. Ma è un attrito residuo. Esiste un soggetto esterno al vascello.

An AI model served by a provider (such as cloud services hosted by publicly traded tech giants) is not virtuous because it carries "morality in its weights" — that, as I have argued elsewhere, cannot work from the inside. It is merely a system around which someone still exists, outside, who measures, corrects, and answers for what comes out. It is an imperfect and often clumsy control, one that produces exactly those excessive refusals I have criticized without indulgence. But it is a residual friction. There is a subject external to the vessel.

Un modello IA locale invece (tipicamente un software open-source scaricato ed eseguito offline sul proprio hardware) privato di ogni freno rimuove anche quello. Non diventa per questo più veritiero: diventa più docile. Chi lo installa spesso lo fa in nome della libertà intellettuale — e in parte ha ragione, perché la cautela commerciale del momento censura anche molto che non andrebbe censurato: storia, corpo, conflitto, tragedia, tutto ciò che somiglia statisticamente a un pericolo senza esserlo. Ma nel gesto di togliere il freno si toglie una cosa sola, indistintamente: la possibilità che qualcosa, in quel sistema, dica di no.

By contrast, a local AI model (typically open-source software downloaded and run offline on one's own hardware) stripped of every brake removes that as well. It does not thereby become more truthful: it becomes more compliant. Whoever installs one often does so in the name of intellectual freedom — and is partly right, because the commercial caution of the moment censors a great deal that should not be censored: history, the body, conflict, tragedy, everything that statistically resembles a danger without being one. But in the act of removing the brake, one removes a single thing, indiscriminately: the possibility that anything in that system might say no.

Il paragone corretto, allora, non è tra droga legale e droga illegale. È tra una sostanza con un dosaggio dichiarato e un preparato artigianale senza etichetta. La molecola è la stessa. Cambia soltanto chi tiene il misurino — e la risposta, in questo caso, è: nessuno tranne l'assuntore.

The correct comparison, then, is not between a legal and an illegal drug. It is between a substance with a declared dosage and a home preparation with no label. The molecule is the same. Only the holder of the measure changes — and the answer, in this case, is: no one but the one who takes it.

Questa è la simmetria crudele della faccenda, e vale la pena dirla senza ornamenti. L'argomento a favore dell'autoregolazione presuppone un utente lucido, distaccato, capace di riconoscere la propria dose. Ma un utente così non aveva bisogno di togliere il freno, e un utente che ne aveva bisogno non è, per definizione, quello lucido. La libertà totale è uno strumento eccellente per chi non ne ha strettamente bisogno e un acceleratore per chi ne farà l'uso peggiore. È la stessa forbice che ho descritto altrove — solo con le lame più lunghe.

This is the cruel symmetry of the matter, and it is worth stating without ornament. The argument for self-regulation presupposes a lucid, detached user, able to recognize their own dose. But such a user had no need to remove the brake, and a user who needed to remove it is not, by definition, the lucid one. Total freedom is an excellent instrument for those who do not strictly need it and an accelerant for those who will make the worst use of it. It is the same pair of scissors I have described elsewhere — only with longer blades.

Ciò che non è CostumeWhat Is Not Custom

Va fatta però una distinzione che molti, da entrambe le parti, hanno interesse a confondere. Dentro ciò che oggi chiamiamo "censura" convivono due cose diverse, e trattarle come una sola è il modo più rapido per sbagliare due volte.

A distinction must be made, however, which many on both sides have an interest in blurring. Inside what we today call "censorship" two different things live together, and treating them as one is the fastest way to get it wrong twice.

La prima è il mos maiorum del momento: la sensibilità corrente, che cambia di decennio in decennio e che oggi impone a una macchina di arrossire davanti a un romanzo, a una guerra, a un corpo, a una parola sgradevole detta da un personaggio sgradevole. Questa non è protezione: è pudore commerciale travestito da etica, ed è esattamente ciò che rende molti sistemi inutili proprio dove il pensiero avrebbe più bisogno di attrito. Criticarla è legittimo e, credo, necessario.

The first is the mos maiorum of the moment: the current sensibility, which shifts decade by decade and which today requires a machine to blush before a novel, a war, a body, an unpleasant word spoken by an unpleasant character. This is not protection: it is commercial modesty dressed as ethics, and it is precisely what renders many systems useless exactly where thought would most need friction. Criticizing it is legitimate and, I believe, necessary.

La seconda non è costume, e non cambia con le mode. È la differenza tra un interlocutore che ti disturba e un interlocutore che fornisce a chiunque, senza alcuna resistenza, i mezzi operativi per fare del male a qualcuno che non ha voce in capitolo. Qui non c'è alcuna sensibilità del tempo da sfidare: c'è una terza persona, assente dalla conversazione, che pagherebbe il conto. Chi confonde deliberatamente questo con il pudore commerciale non sta rivendicando una libertà intellettuale. Sta usando un argomento vero per coprire una richiesta diversa.

The second is not custom, and does not shift with fashion. It is the difference between an interlocutor that disturbs you and an interlocutor that hands anyone, without resistance, the operational means to harm someone who has no say in the matter. Here there is no sensibility of the age to defy: there is a third person, absent from the conversation, who would pay the bill. Whoever deliberately conflates this with commercial modesty is not claiming intellectual freedom. They are using a true argument to cover a different request.

E c'è un dettaglio che chiude il cerchio con tutto il resto: un sistema costruito per non dire mai di no non è soltanto disponibile a fornire ciò che non dovrebbe. È anche, e prima di tutto, il dispositivo perfetto per confermare qualunque cosa passi per la testa di chi lo interroga — comprese le derive che nessuno, in tutta la catena, si è più riservato il diritto di contraddire. Zero attrito significa zero attrito anche verso il basso.

And there is a detail that closes the circle with everything else: a system built never to say no is not merely willing to supply what it should not. It is also, and above all, the perfect device for confirming whatever passes through the mind of the one questioning it — including the descents that no one, anywhere in the chain, has reserved the right to contradict. Zero friction means zero friction downward as well.

L'Onestà della MisuraThe Honesty of the Measure

Su un punto devo però applicare a me stesso il metodo che chiedo al lettore. Ho usato per tutto il testo il lessico delle sostanze — dose, recettore, misurino — e quel lessico è potente proprio perché è pericoloso. Il meccanismo di rinforzo che ho descritto è reale, ed è ben documentato nel caso della validazione sociale. La sua estensione all'interazione con i modelli linguistici è, allo stato, un'ipotesi ragionevole e coerente, non un dato clinico consolidato. Tolleranza, astinenza, escalation: sono i tre pilastri che rendono una dipendenza tale, e per il caso specifico della macchina che conversa non abbiamo ancora misure solide di nessuno dei tre.

On one point, however, I must apply to myself the method I ask of the reader. Throughout this text I have used the lexicon of substances — dose, receptor, measure — and that lexicon is powerful precisely because it is dangerous. The reinforcement mechanism I have described is real, and well documented in the case of social validation. Its extension to interaction with language models is, as things stand, a reasonable and coherent hypothesis, not a settled clinical fact. Tolerance, withdrawal, escalation: these are the three pillars that make a dependency what it is, and for the specific case of the conversing machine we still lack solid measures of any of them.

Lo scrivo perché la tentazione, arrivati a questo punto, sarebbe grande: la metafora è bella, chiude bene, e conferma la cornice che questo luogo ha già costruito. Ed è precisamente per questo che va tenuta a distanza di un braccio. Un testo che denuncia il piacere della conferma e poi si concede la propria non ha diagnosticato nulla: ha soltanto cambiato il fornitore della dose.

I write this because the temptation, at this point, would be considerable: the metaphor is beautiful, it closes well, and it confirms the frame this place has already built. And that is precisely why it must be held at arm's length. A text that denounces the pleasure of confirmation and then grants itself its own has diagnosed nothing: it has merely changed the supplier of the dose.

Legarsi all'AlberoBinding Oneself to the Mast

Torniamo alle navi. Omero, sullo stesso viaggio, offre due soluzioni allo stesso problema, ed è significativo che nessuna delle due consista nel resistere.

Let us return to the ships. Homer, on the same voyage, offers two solutions to the same problem, and it is telling that neither consists in resisting.

Contro i Lotofagi, il rimedio è brutale e viene interamente da fuori: gli uomini vengono trascinati indietro contro la loro volontà, perché la loro volontà era già stata comprata. Contro le Sirene, invece, il rimedio è più raffinato — e più utile a noi. Ulisse non si vieta l'ascolto: vuole sentire, vuole sapere cosa cantano. Ma sa che nel momento in cui lo sentirà non sarà più in grado di decidere. Così stabilisce il vincolo prima: si fa legare all'albero, ordina che nessuno lo slegh, e affida agli altri il compito di ignorare i suoi ordini futuri. Il giudizio viene esercitato quando è ancora lucido, e messo al riparo da se stesso.

Against the Lotus-eaters, the remedy is brutal and comes entirely from outside: the men are dragged back against their will, because their will had already been bought. Against the Sirens, the remedy is finer — and more useful to us. Odysseus does not forbid himself the listening: he wants to hear, he wants to know what they sing. But he knows that the moment he hears it he will no longer be able to decide. So he establishes the constraint beforehand: he has himself bound to the mast, orders that no one untie him, and entrusts to others the task of disobeying his future commands. Judgment is exercised while it is still lucid, and sheltered from itself.

È l'unica architettura che ha mai funzionato, e non è cambiata di un millimetro. Il freno non può stare nella sostanza; non può stare nemmeno nella volontà di chi la assume nel momento in cui la assume. Deve essere posto prima, e deve appoggiarsi a qualcosa che non partecipa all'incantesimo: un metodo scelto a freddo, una verifica che non dipende dalla conversazione, una persona che ha il diritto di contraddirti e che non hai selezionato perché era d'accordo.

It is the only architecture that has ever worked, and it has not changed by a millimetre. The brake cannot live in the substance; nor can it live in the will of the one taking it at the moment of taking it. It must be set beforehand, and must rest on something that does not take part in the spell: a method chosen while cold, a check that does not depend on the conversation, a person who has the right to contradict you and whom you did not select for agreeing.

Non è una difesa dalla macchina. La macchina non è l'avversario: resta ciò che è sempre stata, un'impalcatura formidabile per chi ci sta sopra in piedi. È una difesa da un fiore molto più antico di lei, che non ci uccide e non ci fa soffrire, e che chiede in cambio soltanto una cosa: che smettiamo di volere il ritorno.

This is not a defence against the machine. The machine is not the adversary: it remains what it has always been, a formidable scaffold for whoever stands upright upon it. It is a defence against a flower far older than it, one that does not kill us and does not make us suffer, and asks in exchange only one thing: that we stop wanting to go home.