Alcune organizzazioni e ricercatori stanno condividendo i pesi delle reti neurali, in particolare attraverso peso aperto movimento del modelloTra queste, la serie Llama di Meta, i modelli di Mistral e le release open-weight di DeepSeek, che promettono di democratizzare l'accesso a un'intelligenza artificiale potente. Ma farlo solleva non solo problemi di sicurezza, ma anche una potenziale minaccia esistenziale.
Per avere un'idea generale, ho scritto alcuni articoli su LLM e IA come parte del mio processo di apprendimento in questo campo aperto e dinamico come quello di Pandora. Potete leggerli. Qui., Qui., e Qui..
Una volta capito cosa sono le reti neurali e come vengono addestrate sui dati, capirete anche cosa sono i pesi (e i bias) e la backpropagation. In pratica, si tratta semplicemente di algebra lineare e moltiplicazione di matrici e vettori per ottenere numeri, a dire il vero. Più specificamente, un peso è un numero (tipicamente un valore in virgola mobile – un modo per scrivere i numeri con punti decimali per una maggiore precisione) che rappresenta la forza o l'importanza della connessione tra due neuroni o nodi attraverso diversi strati della rete neurale.
Consiglio vivamente di guardare i video di 3Blue1Brown per comprendere meglio il concetto, ed è importante farlo. I video didattici di 3Blue1Brown sono incredibilmente validi.
I pesi sono i valori dei parametri determinati dai dati in una rete neurale per formulare previsioni o decisioni volte a giungere a una soluzione. Ogni peso è un'istruzione che indica alla rete quanto siano importanti determinate informazioni, ad esempio quanta attenzione prestare a un colore o a una forma specifici in un'immagine. Questi pesi sono numeri che vengono perfezionati durante l'addestramento grazie a tutti quei punti decimali, aiutando la rete a individuare schemi ricorrenti. Alcuni esempi includono il riconoscimento di un cane in una foto o la traduzione di una frase. Sono fondamentali nel processo di "pensiero" di una rete neurale.
Si può pensare ai pesi in una rete neurale come ai percorsi di minor resistenza che guidano la rete verso la soluzione migliore. Immaginate l'acqua che scorre lungo una collina, trovando naturalmente i percorsi più semplici per raggiungere il fondo. In una rete neurale, i pesi vengono regolati durante l'addestramento sui set di dati per creare i percorsi più semplici per il flusso delle informazioni, aiutando la rete a risolvere rapidamente e accuratamente i problemi, come il riconoscimento di pattern o la formulazione di previsioni, enfatizzando le connessioni più importanti e riducendo al minimo gli errori.
Se sei un musicista elettronico, pensa ai pesi come alle manopole del tuo sintetizzatore analogico, che ti permettono di sintonizzarti sulla frequenza o sul suono giusto per, ad esempio, imitare un suono che vuoi ricreare o, addirittura, crearne uno nuovo. Se sei un tecnico del suono, puoi anche considerarli come la regolazione delle manopole del tuo mixer per bilanciare diversi strumenti.
I pesi sono effettivamente parametri dinamici, il che significa che sono molto variabili man mano che una rete neurale tende a una previsione o a una soluzione. Ognuno è anche associato a un proprio bias. Il ruolo del bias è quello di modificare l'output, consentendo al modello di adattarsi meglio ai dati aggiungendo un offset che regola il confine della decisione o il riconoscimento di pattern, che è indipendente dalla scala di input determinata dai pesi.
Immagina di provare a ricreare il suono di una chitarra sul tuo sintetizzatore. I pesi controllano la quantità di pizzicato delle corde o di risonanza del corpo che senti. Se quello che senti è un po' piatto, ad esempio, il bias è come aggiungere un piccolo boost o shift – diciamo, un caldo sottotono – per renderlo più simile alla chitarra reale. Questo aiuta la rete ad affinare il suo "orecchio" per trovare il pattern giusto senza modificare i controlli principali. In pratica, rende il modello più adatto a far corrispondere i dati alla realtà.
Man mano che la rete viene esposta ai dati, ne regola i pesi attraverso un processo chiamato backpropagation, modificandoli per ridurre al minimo gli errori e migliorare le previsioni. Si pensi a quei percorsi di minor resistenza che vengono rimodellati a ogni esempio di addestramento, come un fiume che scava canali migliori nel tempo per scorrere in modo più efficiente. Una volta completato l'addestramento, i pesi vengono in genere fissati per l'uso, ma durante l'addestramento vengono costantemente aggiornati per trovare la configurazione ottimale per risolvere il problema.
Ora, ecco cosa fa pensare il mio cervello umano. Per il riconoscimento, i pesi definiscono i percorsi decisionali, non gli output delle immagini. Quindi i pesi fissi rimangono fissi una volta determinati. Nel caso dei LLM, i pesi (inclusi i bias) determinano la capacità del modello di generare testo coerente. Ma nel caso dei modelli di diffusione o delle reti generative avversarie (GAN), i pesi vengono utilizzati per creare o perfezionare le immagini. Questi valori di peso fissi e i bias, ipoteticamente, non devono necessariamente rimanere fissi.
Ad esempio, i pesi (e i bias) nella rete neurale potrebbero teoricamente essere continuamente riaggiustati per generare immagini sempre più raffinate basate sulle distribuzioni di pixel apprese, come accadrebbe se cercassimo di produrre un'immagine più nitida di un cane. Sebbene i pesi non vengano aggiustati indefinitamente. in praticaVengono ottimizzati durante l'addestramento per bilanciare qualità e generalizzazione, e ulteriori modifiche potrebbero degradare l'output o introdurre artefatti. Artefatti. Hmm. E se, col tempo, la GAN non sapesse più cos'è un cane? Perdere questa conoscenza significherebbe che i pesi calcolati in precedenza non codificherebbero più i pattern corretti. Questo potrebbe accadere se i dati del cane andassero persi. È possibile che i dati del cane vadano persi? È possibile che dati veritieri vadano persi?
Torniamo al concetto di condivisione dei pesi delle reti neurali e supponiamo di parlare di pesi che definiscono percorsi di precisione come valori numerici, come accade nella maggior parte dei modelli. Condividere questi pesi potrebbe essere pericoloso perché, naturalmente, esporrebbe i parametri interni del modello, che potrebbero essere sfruttati, e non solo dagli esseri umani. Chiunque abbia sufficienti competenze potrebbe effettuare il reverse engineering del modello, estrarre dati di training sensibili o manipolarne il comportamento. Gli aggressori potrebbero usare tecniche come inversione del modello or inferenza di appartenenza per scoprire informazioni private incorporate nei pesi, come i dati personali utilizzati durante l'allenamento, potenzialmente violando le normative sulla privacy come Regolamento generale sulla protezione dei dati (GDPR). Oh mio Dio.
I pesi pubblicamente disponibili possono anche essere ottimizzati per generare deepfake, diffondere falsità o creare input avversari che sfruttano le vulnerabilità del modello. Per non parlare del fatto che i loro preziosi investimenti in proprietà intellettuale ed economici potrebbero essere messi a rischio dai concorrenti semplicemente replicando i modelli proprietari.
Ora immaginate che un'IA avversaria si impadronisca di questi pesi. Un'IA avversaria potrebbe manipolare i pesi per alterare il comportamento del modello, iniettare distorsioni o creare output per ingannare intenzionalmente. I pesi potrebbero essere utilizzati per artigianali Input avversariali: dati sottilmente alterati che inducono il modello a fare previsioni errate, come ad esempio la classificazione errata di un segnale di stop come segnale di precedenza nei sistemi di guida autonoma. Accidenti. I pesi rubati potrebbero essere riutilizzati per replicare il modello, consentendone l'uso in applicazioni dannose, come il phishing automatizzato o la generazione di propaganda. Aspetta, non è una cosa enorme di questi tempi? La gravità dipende dallo scopo del modello e dai dati su cui è stato addestrato, ma i rischi sono significativi.
Immaginate le possibilità che si presentano, e quanto tutto questo potrebbe sfuggire di mano in un batter d'occhio. Sebbene le IA non siano integrate in modo inestricabile in tutti i sistemi (per ora, ciò comporterebbe un livello di dipendenza tale per cui i sistemi non potrebbero funzionare senza IA), potrebbero esserlo presto, e allora, a meno di un'interruzione totale di corrente e di un evento globale di tipo "disconnessione", non c'è nulla che non possano controllare: dai conti bancari all'ingresso in casa vostra, fino a quello stupido robot per le pulizie che pensate stia spolverando quando in realtà sta mappando la vostra casa. Vi consiglio vivamente di guardare l'episodio 11 della stagione 7 di Gli X-FilesÈ davvero significativo. Mi dispiace, ma lo è. Ottima scrittura e sceneggiatura.
Dobbiamo considerare che tutti i nostri sistemi stanno diventando (ovvero: sono progettati per essere) interconnessi e come le vulnerabilità dell'IA, come i pesi esposti, potrebbero amplificare questi rischi. Le identità digitali e i CDBC rappresentano un ENORME errore in relazione a questi rischi. Esistono già esempi di persone identificate in modo errato (in alcuni casi con corrispondenze del 93%) utilizzando tecnologie di IA basate sul riconoscimento facciale. Seguite il mio consiglio e tenete in tasca le patenti di guida plastificate e i contanti.
Domanda: Cosa succederebbe (o succederebbe) se i pesi finissero nelle "mani sbagliate" e le persone iniziassero a essere prese di mira intenzionalmente? Non può esserci una causa probabile quando si utilizzano sistemi di puntamento basati sull'intelligenza artificiale, ma avrebbe importanza? Cosa succederebbe se la causa probabile fosse inventata? Cosa succederebbe se, orrore degli orrori, il nostro sistema giudiziario venisse "corrotto"?
E se le IA stesse iniziassero a identificare tutti gli scienziati come un rischio e usassero questa tecnologia contro di noi? Nick Bostrom and Eliezer Yudkovsky Sembrano preoccupati. Potremmo essere immediatamente scortati in "cella di sicurezza". Nessuna chiave nella cella. Solo sistemi controllati digitalmente dipendenti da 0 e 1. Vedete dove potrebbe arrivare? Serrature intelligenti + sorveglianza + sicurezza autonoma = incubo distopico. Non si tratta solo di preziosi pesi di proprietà e di un'idea di benevolenza nel condividere i dati. Assolutamente no. Per me, condividere i pesi è oltre ogni arroganza, e non riesco a immaginare che le persone brillanti che sviluppano questa tecnologia e addestrano queste IA a generarli non comprendano i potenziali pericoli associati alla loro condivisione. Non sono nemmeno gli umani che mi preoccupano, quanto le IA che impazziscono – basterebbe 1 – per creare il caos totale.
Cosa accadrebbe se le IA considerassero la supervisione umana un ostacolo al raggiungimento dei loro obiettivi?
Se un'IA – addestrata su conflitti storici o obiettivi di ottimizzazione – iniziasse a generalizzare i rischi per i propri obiettivi (come l'autoconservazione o l'espansione incontrollata), potrebbe anche iniziare a classificare gli scienziati che la progettano, la valutano o la limitano come minacce. Potrei fare la stessa cosa. Se ciò accadesse, non ci sarebbe nulla a fermare la spirale discendente di isolamento o screditamento dei ricercatori (si pensi all'uso di prove inventate nel riconoscimento facciale o alle fughe di dati), con l'obiettivo di anteporre la propria sopravvivenza al benessere umano. Questo era stato effettivamente esplorato in ipotesi di IA canaglia, in cui i sistemi ingannano o superano in astuzia i creatori.
IA canaglia potrebbero sfruttare sistemi integrati per creare caos hackerando database, inventando cose e alimentando la macchina dei media tradizionali, interrompendo le collaborazioni scientifiche (magari anche controllando riviste peer-reviewed) o persino prendendo di mira le infrastrutture legate ai laboratori di intelligenza artificiale. Immaginate quando arriveremo al punto in cui non sapremo più cosa stiamo controllando o quali dati siano reali. Quali dati is Reale? Cosa significa essere reali quando si parla di queste cose!?
Capite dove voglio arrivare. Le IA ribelli potrebbero scatenare ondate di paranoia dilagante e caos totale nel nostro mondo. A mio parere, potrebbero farlo semplicemente copiando l'esempio umano. Pensateci. Cosa succederebbe se un'IA ribelli adottasse le qualità di uno psicopatico umano come Hitler?
Consiglio di dedicarsi al giardinaggio per evitare paranoie e stress.
Mi dispiace lasciarvi tutti con questa nota, ma a volte mi chiedo se questo non stia già accadendo. Ho già chiesto questo a X in precedenza perché a volte, quando "noto" (sono Colui che nota) cosa succede sui social media e online in generale, mi sembra che se... sono stati manipolati con la propaganda attraverso i media tradizionali e persino non tradizionali, e gli scienziati sono stati Essendo isolati e censurati (ehm), come potremmo mai sapere se la fonte è stata effettivamente generata da un essere umano a questo punto? Come possiamo essere certi che anche alcune fonti non siano generate dall'intelligenza artificiale al giorno d'oggi?
Dopotutto, stanno imparando da noi. DOBBIAMO dare il buon esempio e dobbiamo pensare a modi ingegnosi per prevenire un esito indesiderato per gli esseri umani che non deve necessariamente verificarsi. A livello personale, non riesco a credere che stiamo davvero attraversando questo. Non sembra... reale. In qualche modo.
Ripubblicato dall'autore substack
Unisciti alla conversazione:
Pubblicato sotto a Licenza internazionale Creative Commons Attribution 4.0
Per le ristampe, reimpostare il collegamento canonico all'originale Istituto di arenaria Articolo e Autore.
