Bene! Ma anche benissimo! Scomodamente, come di consueto, vi regalo una riflessione che non apprezzerete. Oggi (per l’ennesima volta) parliamo di proprietà intellettuale, privacy, sicurezza e addestramento della macchina.
La macchina è ovviamente quella che ormai tutti chiamano GenAI e la concepiscono come il nuovo Oracolo. No, non quello di Matrix. Generative AI. Intelligenza Artificiale Generativa che in realtà dovrebbe chiamarsi Intelligenza Artificiale Generica! Essì, perché ormai anche i più insipienti entusiasti filosofi dell’AI hanno iniziato a farsi domande. Mal riposte in generale e prevalentemente legate a quanto performa questo o quel modello LLM (large language model) tra gli ambiziosi competitor di OpenAI (ChatGPT), ma hanno cominciato. Poco gl’importa anche solo il sapere a cosa corrisponda l’acronimo GPT, tanto a cosa serve? Di certo non a spiegare a qualcuno cosa sia un transformer a meno che non vogliano parlare di Bumblebee o di Optmus Prime.
Ecco, qui mi faccio cogliere dalla pigrizia e lascio scrivere la macchina. Vi aspetto più sotto, dopo che alla quinta riga delle prossime, la vostra soglia dell’attenzione sarà venuta meno e vi saà venuta voglia di un mojito bello carico.
Umano – “spiega dettagliatamente cos’è un Transformer ad un povero prompt engineer”
ChatGPT 4o – Certo! Un Transformer è una potente architettura di rete neurale che ha rivoluzionato il campo dell’elaborazione del linguaggio naturale (NLP). Ecco una spiegazione dettagliata orientata a un prompt engineer:
### Cos’è un Transformer?
Un Transformer è un’architettura di rete neurale introdotta nel documento di ricerca “Attention is All You Need” di Vaswani et al. nel 2017. La sua caratteristica principale è l’uso dell’**attenzione**, in particolare l’attenzione auto-regressiva, per elaborare e generare dati sequenziali, come il testo.
### Componenti Principali di un Transformer
1. **Encoder e Decoder**:
– L’architettura del Transformer è composta da una serie di strati di **encoder** e **decoder**.
– **Encoder**: Processa l’input per generare rappresentazioni intermedie.
– **Decoder**: Utilizza queste rappresentazioni per generare l’output.
2. **Attention Mechanism**:
– La meccanica dell’attenzione è centrale nel Transformer. Permette al modello di focalizzarsi su diverse parti della sequenza di input mentre elabora l’output.
– **Self-Attention**: Permette al modello di valutare la relazione tra ogni parola nella sequenza di input e tutte le altre parole della stessa sequenza. Questa capacità è fondamentale per catturare le dipendenze a lungo termine.
3. **Multi-Head Attention**:
– Questa tecnica consente al modello di prestare attenzione a diverse parti della sequenza in parallelo, migliorando la capacità del modello di catturare informazioni da diverse rappresentazioni subspaziali.
4. **Feed-Forward Neural Networks**:
– Ogni strato dell’encoder e del decoder include una rete neurale feed-forward che elabora le rappresentazioni elaborate dai meccanismi di attenzione.
5. **Positional Encoding**:
– Poiché i Transformer non hanno una struttura sequenziale intrinseca come le reti neurali ricorrenti (RNN), utilizzano codifiche posizionali per mantenere l’ordine delle parole nella sequenza.
### Dettagli Tecnici
1. **Self-Attention Calculation**:
– Vengono calcolati tre vettori: **Query (Q)**, **Key (K)** e **Value (V)**, ottenuti applicando tre diverse matrici di pesi all’input.
– L’attenzione viene calcolata utilizzando questi vettori:
[
text{Attention}(Q, K, V) = text{softmax}left(frac{QK^T}{sqrt{d_k}}right)V
]
– La softmax normalizza i pesi di attenzione per enfatizzare le parole rilevanti.
2. **Multi-Head Attention**:
– Consiste nell’eseguire l’attenzione in parallelo in più spazi di proiezione e concatenare i risultati.
– [
text{MultiHead}(Q, K, V) = text{Concat}(text{head}_1, text{head}_2, ldots, text{head}_h)W^O
]
– Dove ogni (text{head}_i) è una funzione di attenzione indipendente.
3. **Positional Encoding**:
– Le codifiche posizionali sono aggiunte all’input per fornire informazioni di ordine sequenziale.
– Sono definite come:
[
PE_{(pos, 2i)} = sinleft(frac{pos}{10000^{frac{2i}{d_{model}}}}right)
]
[
PE_{(pos, 2i+1)} = cosleft(frac{pos}{10000^{frac{2i}{d_{model}}}}right)
]
### Vantaggi dei Transformer
1. **Parallelizzazione**:
– I Transformer consentono l’elaborazione parallela, rendendo l’addestramento molto più veloce rispetto agli RNN tradizionali.
2. **Cattura di Dipendenze Lungo Termine**:
– Grazie al meccanismo di auto-attention, i Transformer sono estremamente efficaci nel catturare le dipendenze a lungo termine nelle sequenze.
3. **Scalabilità**:
– Possono essere facilmente scalati aggiungendo più strati di encoder e decoder, migliorando la capacità del modello di apprendere rappresentazioni complesse.
### Applicazioni
1. **Traduzione Automatica**: Modelli come BERT (Bidirectional Encoder Representations from Transformers) e GPT (Generative Pre-trained Transformer) sono basati su architetture Transformer e sono stati utilizzati con successo per la traduzione automatica.
2. **Generazione di Testo**: I Transformer sono utilizzati per generare testo in modo coerente e contestuale, come nei modelli GPT.
3. **Riconoscimento del Linguaggio Naturale**: Utilizzati in compiti come la classificazione del testo, l’analisi del sentiment, e il question answering.
### Conclusione
Il Transformer rappresenta una svolta significativa nell’elaborazione del linguaggio naturale grazie alla sua capacità di parallelizzazione, cattura delle dipendenze a lungo termine e scalabilità. La sua architettura innovativa ha permesso di ottenere risultati di avanguardia in vari compiti di NLP, rendendolo uno strumento essenziale per i moderni sistemi di AI.
Siete sopravvissuti? Avete bypassato la descrizione? Poco importa! Il vero argomento di oggi è la scelta di Apple e Meta di non entrare nel mercato UE con le proprie AI proprietarie. “Ohibò!” direte voi! “Ma va’?” dico io!
Già, quei pedantissimi legislatori europei si sono azzardati a richiedere una precisazione inaccettabile per chi vive nel paese delle libertà. Certo, non m’azzarderei mai a paragonare gli Stati Uniti d’America alla Cina, alla Russia o ad altre nazioni in cui i diritti dell’essere umano sono costantemente calpestati. Epperò qui si tratta semplicemente di inserire nelle condizioni d’uso dei modelli LLM un piccolo paragrafetto in cui si specifica che i dati degli utenti vengono utilizzati per l’addestramento della macchina. Più in soldoni: ogni singola virgola che viene inserita nel sistema diventa parte del patrimonio proprietario del sistema stesso, quindi dell’azienda che l’ha creato.
Finchè il problema era unicamente legato ai dati sensibili (GDPR) il tutto era quasi da barzelletta. Ora però stiamo parlando del fatto che tecnopitechi e neanderthaliani digitali caricano bellamente testi di email private, fogli Excel con dettagli di vendite e fatturato di aziende, presentazioni con strategie aziendali, tonnellate di documenti e schemi protetti da copyright e soprattutto appunti e prompt zeppi di know-how e proprietà intellettuale.
Tempo fa mi sono imbattutto in persone che entusiasticamente desideravano che Google sapesse il più possibile di loro, solo per ottenere in cambio una pubblicità più mirata e micro-servizi personalizzati. Oggi è tutto addirittura peggiorato in termini di consapevolezza! Sì, perché è come se tutto il bagaglio culturale di un essere umano, tutto quello per cui ha studiato tanto e ha fatto esperienze che lo hanno portato anche ad assumere un certo ruolo sociale e professionale, venga condiviso con il resto del mondo.
Intendiamoci! Io sono per l’open source e la condivisione del sapere. Sono anni che mi batto perché l’internet torni ad essere un luogo in cui le persone possano collaborare gratuitamente e traggano reciproco beneficio l’una dall’altra. Non è questo il caso, così come lo è stato per i social media che sono nati proprio con questo presupposto paritario e democratico, ma sono poi diventati dei veri e propri media controllati da multinazionali di dimensioni abnormi che guadagnano cifre folli unicamente in base ai dati che gli utenti/utonti regalano loro.
Facciamo un esempio tanto pratico quanto datato. Voi fareste entrare a casa vostra un perfetto sconosciuto che vi osserva, studia il vostro comportamento, impara il vostro lavoro mentre vi guarda svolgerlo, sbircia nella vostra intimità e scopre di voi gusti sessuali, opinioni politiche e religiose, fino ad arrivare magari ad apprendere i vostri metodi educativi o addirittura le vostre abitudini in termini di scarsa aderenza alla legalità? Oh, magari in cambio vi offre di spicciarvi casa tutti i giorni. Io non lo farei!
Qui parliamo proprio di azzerare la propria individualità e i propri diritti.
Francamente non capisco come si possa davvero opporsi alla sostituzione dell’uomo con la macchina quando poi si fa di tutto esattamente per essere sostituiti e non più necessari. Peraltro non stiamo parlando di una AI buona ed etica che ci permette proprio la conoscenza condivisa di cui parlavo poc’anzi. No, qui chi si pasce di tutta questa beata ignoranza sono solo le grandi aziende d’oltreoceano che ben si guardano dal renderci partecipi di tutto ciò che stanno fagocitando in termini di sapere.
La cosa che trovo scandalosa è che soprattutto nell’ultimo abbiamo assistito alla comparsa di nuove figure mitologiche. Il prompt engineer (sul quale mi son già espresso abbastanza in passato) o l’esperto non-tecnico di AI. Un po’ come un istruttore di guida senza patente o un direttore d’orchestra che non sa leggere uno spartito. Costoro altro non fanno che ricoprire il ruolo di kapo dell’AI, ovvero qualcuno che per mero interesse personale consiglia a privati ed aziende come indirizzarsi nel modo più rapido verso una brutta fine.
Ciò detto, io stesso sono un compulsivo utilizzatore di AI anche remota. Certo, ma ben mi guardo dall’infilare nella macchina ciò che per me ha un reale valore in termini di informazioni personali, professionali e culturali. Si tratta infondo di saperla usare davvero questa benedetta macchina.
Ora che ho esposto la realtà problematica, vengo alla soluzione. I modelli LLM non sono soltanto ChatGPT o Copilot di Microsoft, ce ne sono a bizzeffe e il livello qulitativo si discosta tra loro di pochi punti percentuali (https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard). Si tratta quindi di saper scegliere cosa usare in base a quale scopo e, in tal senso, i modelli scaricabili e installabili localmente garantiscono il pieno controllo di tutto ciò che pertiene all’addestramento della macchina. Se il modello LLM sta a casa vostra (o su un cloud che controllate direttamente), l’apprendimento in base ai vostri dati sarà sempre sotto la vostra supervisione e non potranno avvenire distorsioni rispetto ad etica, pricavy, sicurezza e preservazione della proprietà intellettuale.
Ovviamente il contraltare è rappresentato dalla necessità di un’adeguata competenza per poterli gestire, aggiornare e alimentare. Questo però è tanto naturale quanto inevitabile. Chi è convinto sognatore e utilizza unicamente la tecnologia di qualcun altro pensando di aver risolto i propri problemi o quantomeno di averli mitigati…sta per avere un brusco risveglio. L’AI non è una filosofia o un nuovo approccio nei confronti del sapere. Non è uno stato mentale o qualcosa che finalmente permette anche ai più ignoranti di tecnologia di ottenere risultati senza dover imparare nulla di tecnico. Ma non è nemmeno un telefono che si usa senza preoccuparci di conoscere come è fatto il suo interno, quali sono i chip che lo fanno funzionare o da quali componenti è composto. No, cari amici, buoni amici…qui serve imparare e cercare di ridurre quella tracotante veemenza che caratterizza un pericoloso antropocentrismo che sta diventando sempre più indifendibile.
Non fraintendetemi, se io posso ancora svolgere il mio più che ventennale lavoro è proprio grazie a tutti questi errati presupposti ed a questi iloti dell’AI. Senza questo non potrei distinguermi con la mia tecnologia e con la capacità di applicarla in base a specifici ambiti e fabbisogni. Ciò che cambia rispetto alle sopraccitate grandi aziende americane è che io garantisco di persona il rispetto delle regole e dell’etica. La mia piattaforma TWIZA non fa capo a corporazioni che si rifiutano di tutelare i diritti dell’essere umano, di cui peraltro nemmen sapete quali siano i reali interessi economici e politici. Io ci metto la faccia e rispondo di tutto.
Oh, poi…fate anche il cazzo che volete!
