La complessità di Kolmogorov definisce la complessità di un oggetto attraverso la lunghezza del programma più breve capace di generarlo: ciò che non può essere ulteriormente compresso contiene informazione algoritmicamente irriducibile. Questo principio distingue complessità, dimensione, casualità e significato e offre una prospettiva originale sull’intelligenza artificiale. Sistemi multi-agente possono esplorare enormi spazi di rappresentazioni e individuare regolarità difficili da riconoscere per l’uomo, senza però superare i limiti matematici della computabilità. INGENIO analizza così il confine fra compressione, spiegazione scientifica e conoscenza.

---

La misura della complessità: Kolmogorov, l’intelligenza artificiale e il limite della conoscenza

Che cosa intendiamo realmente quando definiamo qualcosa “complesso”? La molteplicità delle parti, l’irregolarità della forma, l’imprevedibilità del comportamento, la quantità di informazione necessaria per descriverlo? Nel linguaggio ordinario queste dimensioni tendono a sovrapporsi. La matematica del Novecento ha mostrato che non sono affatto equivalenti. Con Andrej Kolmogorov la complessità cessa di essere soltanto un attributo qualitativo delle cose e diventa una questione formale: quanta informazione è irriducibilmente necessaria per descrivere un oggetto? Nell’epoca dell’intelligenza artificiale questa domanda ritorna con una forza nuova, perché riguarda non soltanto ciò che possiamo conoscere, ma il rapporto fra descrizione, compressione, spiegazione e comprensione.

La complessità non è una proprietà innocente

Parliamo continuamente di complessità.

La attribuiamo alle città, alle strutture, agli organismi, alle economie, alle reti infrastrutturali, al clima, ai sistemi sociali e, ormai quasi inevitabilmente, all’intelligenza artificiale.

Il termine ha acquisito una tale estensione semantica da rischiare di diventare una categoria residuale: chiamiamo complesso ciò che oppone resistenza alla nostra capacità di rappresentazione.

Ma una simile definizione dice forse più dell’osservatore che dell’oggetto osservato.

Un sistema può apparirci complesso perché possiede molte componenti, perché le relazioni fra esse sono non lineari, perché manifesta sensibilità alle condizioni iniziali, perché il suo comportamento è difficilmente prevedibile, perché contiene una quantità elevata di informazione oppure, più semplicemente, perché non abbiamo ancora trovato un linguaggio sufficientemente efficace per descriverlo.

Sono fenomeni differenti, che la parola “complessità” tende impropriamente a ricondurre a un’unica categoria.

La domanda diventa allora più insidiosa: la complessità appartiene alle cose o alle descrizioni attraverso cui tentiamo di conoscerle?

La scienza moderna abita da sempre questa frattura.

Ogni teoria compie infatti una riduzione. Seleziona variabili, costruisce equivalenze, identifica invarianti, trascura differenze, istituisce gerarchie tra ciò che considera essenziale e ciò che ritiene contingente. Non a caso oggi parliamo sempre di modellazione, di costruzione di modelli che rappresentano, semplificandola, la realtà.

La modellazione non riproduce il mondo nella sua totalità fenomenica. Lo rende intelligibile attraverso una rappresentazione.

E ogni rappresentazione introduce inevitabilmente una questione: quanto può essere abbreviata senza perdere ciò che deve rappresentare?

Nel XX secolo questa domanda trova una formulazione matematica radicale.

---

Andrej Kolmogorov: dall’incertezza all’informazione

Andrej Nikolaevič Kolmogorov (1903-1987) è una delle figure capitali della matematica del Novecento.

Il suo lavoro attraversa teoria della probabilità, processi stocastici, teoria dei sistemi dinamici, turbolenza, analisi, teoria dell’informazione. Nel 1933, con i Grundbegriffe der Wahrscheinlichkeitsrechnung, fornì alla teoria della probabilità l’assiomatizzazione fondata sulla teoria della misura che sarebbe diventata uno dei suoi fondamenti moderni.  

Già questo sarebbe sufficiente a collocarlo nella storia della matematica.

Ma circa trent’anni dopo Kolmogorov affrontò, indipendentemente dagli sviluppi di Ray Solomonoff e successivamente insieme alla linea di ricerca nella quale si inserirà Gregory Chaitin, una questione ancora diversa: definire la quantità di informazione contenuta non soltanto in una distribuzione statistica, ma in un singolo oggetto. La teoria algoritmica dell’informazione nasce precisamente da questa torsione concettuale.  

La domanda può essere formulata in termini apparentemente elementari: qual è la descrizione più breve capace di generare un determinato oggetto?

La sua portata, però, è tutt’altro che elementare.

Il gigantesco può essere semplice

Consideriamo una sequenza composta da un miliardo di zeri.

La sua estensione materiale è enorme. Per trascriverla occorrerebbe un miliardo di caratteri.

Ma per generarla è sufficiente un’istruzione:

stampa 0 un miliardo di volte.

Consideriamo ora una sequenza più breve ma priva di regolarità algoritmicamente utilizzabili. Potrebbe accadere che la sua descrizione più concisa non sia significativamente più breve della sequenza stessa.

La prima sequenza è immensamente più lunga.

La seconda può essere più complessa.

Viene così recisa un’associazione intuitiva profondamente radicata: dimensione e complessità non coincidono.

Lo stesso problema può essere intravisto, per analogia e senza confondere la metafora con la definizione matematica, osservando un’opera costruita.

Una superficie composta da migliaia di elementi apparentemente differenti può derivare dall’iterazione di poche regole parametriche. La sua fenomenologia è articolata, ma la grammatica generativa può essere sorprendentemente compatta.

Una muratura storica geometricamente elementare può invece incorporare deformazioni, sostituzioni, lesioni, discontinuità, stratificazioni e irregolarità tali da richiedere una quantità enorme di dati per descriverne fedelmente lo stato effettivo.

La ricchezza fenomenica e la complessità della descrizione non procedono necessariamente insieme.

---

K: ciò che resta quando non possiamo comprimere ulteriormente

La formulazione associata alla complessità di Kolmogorov può essere espressa, schematicamente, così:

KU(x) = minp:U(p)=x |p|

dove x è l’oggetto da descrivere, p un programma che lo genera e U una macchina universale prefissata.

In termini essenziali, la complessità di Kolmogorov di un oggetto corrisponde alla lunghezza del programma più corto capace di produrlo.  

La parola filosoficamente decisiva non è “programma”.

È più corto.

Non stiamo cercando una descrizione dell’oggetto, ma una descrizione dalla quale sia stata eliminata ogni ridondanza ulteriormente eliminabile.

Potremmo chiamarla, con una licenza filosofica che non appartiene alla definizione matematica, il residuo irriducibile della descrizione.

E questo modifica profondamente il significato della parola semplicità.

Semplice non è necessariamente ciò che appare elementare.

È ciò che possiede una descrizione fortemente comprimibile.

Complesso è, al contrario, ciò che resiste alla compressione.

---

Una teoria scientifica è una compressione del mondo?

A questo punto la questione eccede inevitabilmente la teoria degli algoritmi.

Che cosa fa, infatti, una grande teoria scientifica?

La gravitazione newtoniana non enumera le traiettorie possibili dei corpi. Individua un insieme relativamente compatto di relazioni attraverso le quali un numero sterminato di fenomeni diventa descrivibile e, entro determinate condizioni, prevedibile.

Le equazioni di Maxwell non costituiscono un catalogo di fenomeni elettrici e magnetici: ne producono una straordinaria unificazione formale.

Einstein non aggiunge semplicemente proposizioni alla meccanica precedente. Modifica l’architettura concettuale all’interno della quale spazio, tempo, massa ed energia vengono messi in relazione.

Naturalmente sarebbe improprio affermare che una teoria fisica sia semplicemente un algoritmo di compressione.

Ma l’analogia epistemologica è potente. Una teoria scientifica acquisisce forza quando riesce a rendere intelligibile un dominio fenomenico molto esteso mediante una struttura concettuale relativamente economica.

Non dice tutto.

Individua ciò che consente di non dover dire tutto.

La semplicità scientifica, allora, non coincide con la facilità.

Può essere intesa come densità esplicativa.

Poche strutture, molte conseguenze.

Poche relazioni, molti fenomeni.

Una rappresentazione relativamente contenuta capace di organizzare una molteplicità immensamente più grande.

Da Occam a Kolmogorov: una parentela da maneggiare con cautela

È difficile non percepire in tutto questo l’eco del rasoio di Occam.

Nel precedente approfondimento pubblicato su INGENIO avevo provato a interrogare proprio il rapporto fra parsimonia e intelligenza artificiale, arrivando a una conclusione apparentemente paradossale: per essere radicalmente parsimoniosi nella conoscenza potremmo dover diventare straordinariamente prodighi nella ricerca.

Occam nell’era dei 10.000 agenti: la parsimonia della conoscenza ha bisogno dell’eccesso?⁠

Il principio di Occam e la complessità di Kolmogorov sembrano quasi convergere.

Ma identificarli sarebbe un errore.

Occam interroga la necessità degli impegni teorici e ontologici che introduciamo nella spiegazione. Kolmogorov formalizza invece una misura della lunghezza minima di una descrizione algoritmica. Anche il Minimum Description Length, spesso accostato a una riformulazione moderna della parsimonia ockhamiana, appartiene a una genealogia teorica distinta.  

La loro prossimità è dunque analogica, non genealogica.

E proprio per questo è filosoficamente feconda.

Occam domanda, in sostanza: che cosa possiamo eliminare senza impoverire la spiegazione?

Kolmogorov domanda: quanto possiamo abbreviare una descrizione senza perdere la possibilità di generare l’oggetto?

Entrambi finiscono per condurci, attraverso strade diversissime, davanti alla stessa parola: necessità.

Ma chi ci garantisce di avere trovato la descrizione più corta?

È a questo punto che Kolmogorov smette definitivamente di essere una curiosità della teoria dell’informazione.

Se la complessità di un oggetto è la lunghezza del programma più corto capace di generarlo, potremmo immaginare di procedere molto semplicemente: cerchiamo tutti i programmi possibili e troviamo quello più breve.

Ma non possiamo farlo in generale.

La complessità di Kolmogorov è non computabile: non esiste un algoritmo universale capace, ricevuto un oggetto arbitrario, di determinarne sempre l’esatta complessità di Kolmogorov. Questo limite non dipende dalla potenza insufficiente dei computer disponibili oggi; appartiene alla struttura matematica del problema.  

La situazione è epistemologicamente vertiginosa.

Abbiamo definito con precisione che cosa intendiamo per descrizione algoritmica minima.

E possiamo dimostrare che non esiste una procedura generale che ci permetta di trovarla sempre.

Possiamo definire matematicamente la semplicità irriducibile senza poterla universalmente calcolare.

La matematica delimita l’oggetto e, nello stesso gesto, delimita la possibilità di raggiungerlo attraverso una procedura algoritmica generale.

La semplicità ultima diventa così qualcosa di formalmente definito e tuttavia algoritmicamente inattingibile nella sua generalità.

---

E allora ritorna l’intelligenza artificiale

Qui il discorso incontra nuovamente il tema affrontato nei precedenti articoli su INGENIO.

Nel caso Navier–Stokes discusso recentemente, un sistema composto da un numero dell’ordine di 10.000 agenti artificiali ha esplorato una quantità enorme di percorsi concorrenti, producendo milioni di interazioni e decine di miliardi di token.

Nel precedente approfondimento avevo proposto di leggere questa architettura non soltanto come aumento quantitativo della capacità di calcolo, ma come possibilità di costruire una sorta di biodiversità epistemica artificiale: mantenere simultaneamente attive rappresentazioni differenti, conservare temporaneamente gli scarti, ritardare la convergenza, far interagire linee di ricerca che un singolo soggetto cognitivo non potrebbe sostenere contemporaneamente.

Quando le intelligenze artificiali cominciano a pensare insieme: verso la ricerca scientifica superumana⁠

Kolmogorov permette ora di guardare quella vicenda da un’altra prospettiva.

L’intelligenza artificiale non rende computabile ciò che matematicamente non lo è.

Nessuna quantità di GPU, agenti o token abolisce il limite teorico della complessità di Kolmogorov.

Ma può cambiare enormemente l’estensione dello spazio delle descrizioni che siamo materialmente in grado di esplorare.

Ed è una distinzione fondamentale.

L’AI come macchina di ricerca delle compressioni

Forse una delle immagini più fertili dell’intelligenza artificiale contemporanea è proprio questa: una macchina capace di cercare rappresentazioni.

Non soltanto risposte.

Rappresentazioni.

Una grande parte della ricerca scientifica consiste infatti nel trovare il sistema di coordinate, le variabili, le simmetrie, gli invarianti, il formalismo o il livello di astrazione attraverso cui un problema precedentemente intrattabile acquista una struttura.

Cambiare rappresentazione può equivalere a comprimere.

Ciò che richiedeva migliaia di relazioni può diventare conseguenza di poche.

Ciò che sembrava irregolare può rivelare un’invarianza.

Ciò che appariva costituito da fenomeni differenti può essere riconosciuto come manifestazione di una medesima struttura.

Se popolazioni di agenti artificiali possono esplorare contemporaneamente un numero di rappresentazioni immensamente superiore a quello accessibile a una comunità umana, allora il loro interesse epistemologico non consiste soltanto nella velocità.

Consiste nella possibilità di cercare compressioni concettuali che noi non avremmo pensato di cercare.

Qui Occam e Kolmogorov tornano a sfiorarsi.

Non perché dicano la stessa cosa.

Ma perché entrambi ci costringono a interrogarci su ciò che, dentro una descrizione, è veramente necessario.

Il paradosso del rumore

Rimane però un’ultima conseguenza, forse la più perturbante.

Una sequenza autenticamente casuale è difficilmente comprimibile.

Non contiene una regolarità algoritmica che consenta di sostituirla con una descrizione molto più corta.

Sotto il profilo della complessità algoritmica, dunque, il rumore può essere altamente complesso. La teoria algoritmica dell’informazione collega infatti casualità e incomprimibilità.  

È un risultato che collide con il nostro lessico intuitivo.

Tendiamo ad attribuire maggiore complessità a una teoria sofisticata che a una sequenza casuale.

Eppure una teoria straordinariamente sofisticata può possedere una struttura generativa estremamente compatta, mentre il rumore non offre nulla da comprimere.

Questo significa che complessità e significato non coincidono.

La quantità di informazione algoritmica non misura l’importanza di un contenuto, la profondità di una teoria, la sua intelligibilità o il suo valore conoscitivo.

Una stringa casuale può essere massimamente incomprimibile e non spiegarci assolutamente nulla.

Una breve equazione può essere fortemente comprimibile e modificare la nostra comprensione dell’universo.

È probabilmente qui che il discorso su Kolmogorov raggiunge il proprio limite filosofico più interessante.

La conoscenza non consiste soltanto nel comprimere

Se conoscere significasse esclusivamente comprimere, la descrizione più corta dovrebbe coincidere con la spiegazione migliore.

Ma non necessariamente è così.

Una spiegazione scientifica deve consentire inferenze, stabilire relazioni, rendere intelligibili fenomeni, permettere previsioni, inserirsi in un sistema teorico e, soprattutto, possedere un significato per una comunità capace di interpretarla.

La compressione intercetta qualcosa di fondamentale della conoscenza.

Non la esaurisce.

E questo limite diventa ancora più importante nell’epoca dell’AI.

Potremmo infatti immaginare sistemi artificiali capaci di individuare rappresentazioni estremamente efficienti di fenomeni complessi: strutture matematiche più compatte, modelli predittivi più potenti, relazioni che nessun ricercatore avrebbe saputo riconoscere.

Ma una rappresentazione efficace non coincide automaticamente con una spiegazione intelligibile.

Potremmo arrivare a possedere modelli che comprimono il mondo meglio di noi senza necessariamente spiegarcelo meglio.

La distinzione non è semantica.

Potrebbe diventare una delle grandi questioni epistemologiche dell’intelligenza artificiale.

---

Dopo Kolmogorov, la domanda cambia

Nel precedente articolo su Occam ero arrivato a una conclusione: la parsimonia della conoscenza potrebbe richiedere un’esuberanza della ricerca.

Kolmogorov aggiunge ora un elemento ulteriore.

Non sappiamo a priori quanto una realtà sia comprimibile.

Non possediamo una procedura universale capace di consegnarci la sua descrizione algoritmica minima.

Possiamo soltanto continuare a cercare descrizioni migliori, sapendo che il fatto di averne trovata una molto buona non ci garantisce di aver trovato quella irriducibile.

L’intelligenza artificiale amplia enormemente questa ricerca.

Può attraversare spazi congetturali che eccedono le possibilità cognitive individuali, confrontare rappresentazioni, eliminare ridondanze, individuare regolarità invisibili alla nostra intuizione.

Ma proprio questa capacità potrebbe condurci davanti a un nuovo confine.

Per secoli abbiamo costruito teorie cercando strutture che fossero contemporaneamente economiche, predittive e intelligibili.

Domani queste tre proprietà potrebbero separarsi.

Una macchina potrebbe trovare una rappresentazione più economica.

Un’altra potrebbe dimostrarne l’efficacia predittiva.

E noi potremmo non possedere ancora le categorie concettuali necessarie per comprenderne pienamente il significato.

A quel punto la domanda non sarebbe più soltanto: quanto è complesso il mondo?

E neppure: quanto possiamo comprimerne la descrizione?

La domanda diventerebbe molto più scomoda: se una macchina trovasse una descrizione del mondo più essenziale della nostra, ma noi non fossimo più capaci di trasformarla in comprensione, potremmo ancora chiamarla conoscenza?

Ed è forse proprio oltre questo confine che Kolmogorov, quasi sessant’anni dopo aver formalizzato la complessità algoritmica, torna inatteso nel cuore della discussione sull’intelligenza artificiale.