Rezumat

Majoritatea sistemelor de inteligență artificială pot acumula experiență fără ca aceasta să le schimbe structura.

Ele extind contextul, recuperează informații din memorie, actualizează starea sau adaptează parametrii. Însă modelul prin care interpretează experiențele ulterioare rămâne în mare parte neschimbat.

Descriem o arhitectură diferită: un model persistent al lumii, a cărui reprezentare internă evoluează prin interacțiune.

Sistemul menține o reprezentare în timp a unui subiect parțial observabil, împreună cu incertitudinea, proveniența informațiilor, valabilitatea temporală, dependențele, ipotezele concurente, stările viitoare prezise și acțiunile. Dovezile noi pot revizui estimările stărilor din trecut, pot infirma ipotezele existente, pot modifica dinamica de tranziție învățată, pot invalida predicțiile despre viitor și, în consecință, pot schimba acțiunile viitoare.

Prin urmare, experiența actualizează nu doar ceea ce știe sistemul, ci și modelul pe care îl folosește pentru a înțelege ce urmează. Numim acest proces plasticitate continuă a modelului .

Un sistem de memorie devine mai mare odată cu experiența. Un model continuu devine diferit.

O stare persistentă nu este suficientă

Inteligența artificială persistentă are nevoie de mai mult decât un context lung.

Un sistem care interacționează luni sau ani cu aceeași persoană, același sistem biologic, robot, mediu sau agent artificial întâlnește un proces aflat în continuă schimbare.

Starea sa internă este doar parțial observabilă. Componentele diferite evoluează la scări temporale diferite. Observațiile sunt incomplete și uneori contradictorii. Semnificația unei observații anterioare poate deveni clară doar după apariția unor dovezi ulterioare. Cel mai important, dinamica sistemului individual nu este neapărat cunoscută dinainte.

Să presupunem că subiectul are starea latentă $z_t$ , produce observații $o_t$ și primește acțiuni $a_t$ . Un estimator persistent al stării încearcă să deducă

p\!\left(z_t \mid o_{\leq t}\right).

Acest lucru este necesar, dar insuficient. Dinamica tranzițiilor poate fi ea însăși incertă:

p\!\left(z_{t+\Delta} \mid z_t, a_t, \theta_t\right),

unde $\theta_t$ descrie dinamica sistemului dedusă în prezent.

Problema nu este, așadar, doar: în ce stare se află sistemul? Întrebările sunt simultan:

În ce stare se află, ce dinamică a produs acea stare, cum va răspunde acea dinamică la intervenție și ce părți ale explicației noastre actuale sunt greșite?

Acest lucru schimbă rolul memoriei. Memoria devine suportul din care poate fi construit un model al dinamicii aflat în evoluție.

Modelul continuu

La momentul $t$ , reprezentăm modelul intern al sistemului astfel

M_t = \left(Z_t, \Theta_t, H_t, G_t, \Pi_t\right).

$Z_t$ este estimarea în timp a stării latente;
$\Theta_t$ reprezintă dinamica tranzițiilor învățată;
$H_t$ este un set de ipoteze concurente despre acea dinamică;
$G_t$ este o structură temporală de dependențe care conectează dovezile, stările, ipotezele, predicțiile și acțiunile;
$\Pi_t$ reprezintă politica actuală de acțiune.

Modelul acoperă trei regiuni temporale:

\text{Past} \;\rightarrow\; \text{Present} \;\rightarrow\; \text{Possible futures}.

Trecutul conține observații și stări reconstruite. Prezentul conține distribuția stării curente și ipotezele active. Viitorul conține stări prezise, observații așteptate, acțiuni candidate și stări țintă.

Acestea nu sunt depozite independente. Sunt părți ale aceleiași structuri de dependențe. O predicție viitoare depinde de o ipoteză. Ipoteza depinde de stări deduse. Acele stări depind de observații. Dacă o observație schimbă interpretarea unei stări anterioare, consecințele se pot propaga prin model.

Actualizarea nu este, așadar, pur și simplu

\mathrm{Memory}_{t+1} = \mathrm{Memory}_t + o_{t+1}.

În schimb:

M_{t+1} = \mathcal{R}\!\left(M_t, o_{t+1}, a_t\right),

unde $\mathcal{R}$ este un operator de reconciliere capabil să modifice părțile dependente ale modelului.

Observațiile nu se schimbă. Interpretările se pot schimba.

Un sistem persistent se confruntă cu o asimetrie fundamentală. Ceea ce s-a întâmplat nu se poate schimba. Ceea ce crede sistemul că s-a întâmplat se poate schimba.

Să presupunem că observațiile disponibile la momentul $t$ produc o estimare a unei stări din trecut

z_\tau^{(1)}, \qquad \tau < t.

O observație ulterioară $o_{t+k}$ oferă dovezi care schimbă interpretarea acelei perioade anterioare. Sistemul produce

z_\tau^{(1)} \;\longrightarrow\; z_\tau^{(2)}.

Observația de bază nu este rescrisă. Se creează o nouă versiune a stării derivate, cu o proveniență explicită care o leagă atât de dovezile originale, cât și de cele care au determinat reinterpretarea.

Această distincție permite modelului să păstreze simultan două lucruri:

plasticitate epistemică — capacitatea de a-și schimba interpretarea;
trasabilitate epistemică — capacitatea de a reconstrui de ce credea anterior altceva.

Modelul are un trecut care poate fi reinterpretat, fără a avea un istoric care poate fi rescris.

Reconciliere selectivă

Reanalizarea întregului istoric după fiecare observație este ineficientă din punct de vedere computațional. Plasticitatea continuă necesită, așadar, o structură explicită de dependențe.

O estimare a stării înregistrează observațiile și deducțiile intermediare care au produs-o. Ipotezele înregistrează stările și dovezile de care depind. Predicțiile depind de ipoteze. Acțiunile planificate depind de stările prezise. Când apar dovezi noi, modelul identifică subgraful de dependențe afectat.

\Delta o \rightarrow \Delta z_{\text{past}} \rightarrow \Delta z_{\text{present}} \rightarrow \Delta H \rightarrow \Delta z_{\text{future}} \rightarrow \Delta a.

Însă trebuie reanalizate doar nodurile dependente accesibile. Dacă graful complet conține $N$ noduri, dar o observație afectează un subgraf de dependențe care conține $k$ noduri, costul reconcilierii poate crește aproximativ proporțional cu $O(k)$ în loc să necesite o reconstrucție globală cu un cost de $O(N)$ .

Plasticitatea poate rămâne, așadar, locală chiar și atunci când memoria devine mare — existența unui istoric lung nu ar trebui să impună raționarea asupra întregului istoric la fiecare interacțiune.

Ipotezele ca parte explicită a stării

Un model al lumii ar trebui să distingă ceea ce observă de ceea ce consideră că explică acele observații. Reprezentăm, așadar, explicit ipotezele explicative. Pentru o stare curentă $z_t$ , sistemul poate menține

H_t = \{H_1, H_2, \ldots, H_n\}.

Fiecare ipoteză conține cel puțin: o afirmație despre dinamica subiectului; observații sau stări viitoare prezise; condițiile în care ipoteza ar trebui respinsă; dovezi care o susțin și dovezi care o contrazic; incertitudine sau încredere; versiune și proveniență.

O ipoteză poate, așadar, exprima

H_i : (z_t, a_t) \;\longrightarrow\; p\!\left(z_{t+\Delta} \mid H_i\right).

Esențial este că ipotezele concurente pot coexista. Sistemul nu este obligat să reducă prematur incertitudinea la o singură explicație. O observație ulterioară poate susține $H_1$ , poate contrazice $H_2$ sau poate indica faptul că niciuna nu explică adecvat tranziția observată.

Modelul intern evoluează, în consecință, prin stări explicite ale cunoașterii:

\text{Hypothesis} \rightarrow \text{Corroborated} \rightarrow \text{Refined}

\text{Hypothesis} \rightarrow \text{Falsified}.

Ipotezele infirmate nu trebuie să dispară. Ele rămân parte din istoricul cunoașterii modelului — sistemul își amintește nu doar ce crede în prezent, ci și ce a încercat să creadă și de ce acea explicație a eșuat.

Eroarea de predicție devine dovadă pentru model

Să considerăm o acțiune $a_t$ executată pe baza ipotezei $H_i$ . Ipoteza prezice $\hat z_{t+\Delta}$ . Sistemul observă ulterior $z_{t+\Delta}$ . Diferența dintre ele,

\epsilon = d\!\left(\hat z_{t+\Delta},\, z_{t+\Delta}\right),

are un rol mai bogat decât o eroare obișnuită de predicție: este o dovadă despre ipoteza care a generat predicția. O divergență suficient de mare poate reduce încrederea în ipoteză, o poate infirma, poate schimba dinamica de tranziție estimată, poate activa o ipoteză alternativă, poate reinterpreta stările precedente, poate invalida predicțiile viitoare dependente și poate modifica acțiunile ulterioare.

Eșecul devine un mecanism al plasticității.

Acțiunile ca experimente

Observația pasivă nu este întotdeauna cea mai rapidă modalitate de a învăța cum funcționează un sistem. Să presupunem că două ipoteze $H_1$ și $H_2$ explică aceeași traiectorie. Pentru o acțiune candidată $a$ , ele prezic rezultate diferite:

p\!\left(z_{t+\Delta} \mid z_t, a, H_1\right) \quad\text{and}\quad p\!\left(z_{t+\Delta} \mid z_t, a, H_2\right).

Diferența dintre aceste distribuții conferă acțiunii valoare pentru cunoaștere. O acțiune poate fi, așadar, selectată conform unui obiectiv de forma

a^{*} = \arg\max_{a}\;\Big[\, U(a) + \lambda\, I(a; H) - C(a) - R(a) \,\Big],

unde $U(a)$ este progresul așteptat către o stare țintă, $I(a;H)$ este câștigul de informație așteptat despre ipotezele concurente, $C(a)$ este costul sau efortul necesar, iar $R(a)$ este riscul.

Acțiunea optimă poate simultan să apropie sistemul de o stare dorită și să distingă între explicațiile dinamicii sale. Măsurarea însăși devine o acțiune atunci când efectul său principal este reducerea incertitudinii. Bucla rezultată este:

\text{State} \rightarrow \text{Hypotheses} \rightarrow \text{Predictions} \rightarrow \text{Action} \rightarrow \text{Response} \rightarrow \text{Reconciliation} \rightarrow \text{New model}.

Sistemul nu acționează pur și simplu conform modelului său. El acționează parțial pentru a îmbunătăți modelul.

Identificarea continuă a sistemului

Fiecare interacțiune finalizată creează o observație de tranziție $(z_t, a_t, z_{t+\Delta})$ . Un sistem persistent acumulează aceste tranziții în timp:

\tau = \{(z_1,a_1,z_2),\,(z_2,a_2,z_3),\,\ldots\}.

Aceste traiectorii permit modelului de tranziție însuși să evolueze. Pornind de la un model inițial $f_{\theta_0}$ , experiența produce

f_{\theta_0} \rightarrow f_{\theta_1} \rightarrow f_{\theta_2} \rightarrow \cdots \rightarrow f_{\theta_n}.

Sistemul învață treptat

p\!\left(z_{t+\Delta} \mid z_t, a_t, \tau_t\right)

în loc să se bazeze exclusiv pe o funcție de tranziție învățată înainte de utilizare. Aceasta este identificarea continuă a sistemului. Este deosebit de valoroasă atunci când dinamica la nivel de populație oferă un punct de plecare util, dar dinamica individuală diferă substanțial.

Modelul preantrenat răspunde la întrebarea: cum se comportă, în general, sisteme de acest tip? Modelul identificat continuu poate răspunde tot mai bine la întrebarea: cum se comportă acest sistem?

Plasticitatea modelului

Utilizarea tradițională a unui model poate fi descrisă aproximativ astfel

\text{Model} + \text{Context} \rightarrow \text{Output},

unde modelul este stabil, iar contextul se schimbă. Plasticitatea continuă a modelului oferă în schimb

\text{Model}_t + \text{Experience}_t \rightarrow \text{Model}_{t+1}.

Aspectul important este că $\text{Model}_{t+1}$ nu implică neapărat modificarea fiecărui parametru — sau chiar modificarea ponderilor unui model fundamental. Plasticitatea poate exista în starea persistentă, structura de dependențe, modelele de tranziție, distribuțiile de incertitudine, ipoteze, politici și dinamica învățată specifică subiectului.

Modelul fundamental poate rămâne un suport de raționament, în timp ce modelul persistent al lumii evoluează în jurul său. Obiectul aflat în evoluție poate fi, în schimb, explicit, inspectabil, cu versiuni urmărite, recalculabil selectiv și reversibil.

Divergența modelelor

Să considerăm două instanțe inițial identice

M_0^{A} = M_0^{B}

care parcurg ulterior traiectorii diferite $\tau_A \neq \tau_B$ . După suficiente interacțiuni:

M_t^{A} \neq M_t^{B}.

Diferența este mai profundă decât conținutul memoriei. Cele două instanțe pot avea acum reconstrucții diferite ale stării latente, distribuții de incertitudine, ipoteze susținute și infirmate, funcții de tranziție, așteptări despre răspunsuri viitoare, strategii de căutare a informației și politici de acțiune.

Ele au devenit modele diferite prin experiență. Specializarea nu este introdusă sub forma unui profil. Ea apare din traiectoriile acumulate de stare–acțiune–răspuns.

Scări temporale diferite necesită adevăruri diferite

Sistemele persistente trebuie să distingă între informațiile care se schimbă în câteva secunde și cele care rămân relevante ani de zile. Să presupunem că un tip de observație $x$ are o scară temporală caracteristică de valabilitate $\tau_x$ . Încrederea că o observație încă descrie starea curentă poate scădea odată cu timpul scurs:

c_x(t) = c_0 \, g\!\left(t - t_x,\; \tau_x\right).

O proprietate genomică poate rămâne stabilă. Un semnal fiziologic poate rămâne relevant câteva minute. O stare comportamentală se poate schimba în câteva ore. O relație sau o preferință poate evolua pe parcursul lunilor.

Modelul nu ar trebui, așadar, să întrebe doar dacă o afirmație este adevărată. Ar trebui să întrebe

\text{True when?} \qquad \text{Still informative now?}

Acest lucru evită tratarea schimbării temporale drept contradicție. Sistemul poate reprezenta simultan

x = \text{true at } t_1 \qquad\text{and}\qquad x = \text{false at } t_2.

Ambele pot fi corecte.

Un singur graf pentru trecut și viitor

Memoria și planificarea nu mai trebuie să fie sisteme fundamental separate. Graful istoric conține stări observate și deduse. Graful viitor conține stări prezise și acțiuni planificate. Ambele sunt conectate prin aceleași reguli ale dependențelor.

O ipoteză care explică trecutul generează predicții despre viitor. O observație din acel viitor devine, în cele din urmă, parte a trecutului. Granița se deplasează continuu:

\text{Past} \rightarrow \text{Present} \rightarrow \text{Predicted future} \rightarrow \text{Observed past}.

Modelul transformă, așadar, continuu predicțiile în dovezi. Astfel, timpul însuși devine parte din arhitectura de învățare.

De ce interacțiunea persistentă creează un set de date nou

Majoritatea seturilor de date de antrenare conțin observații. Sistemele persistente cu buclă închisă pot produce ceva mai bogat:

\text{State} \times \text{Action} \rightarrow \text{Response}.

Repetate pentru același subiect, acestea devin traiectorii

\left(z_t, a_t, z_{t+\Delta}\right)_{t=1}^{T}.

Datele transversale pot dezvălui corelații între stări. Datele longitudinale de intervenție–răspuns încep să dezvăluie structura tranzițiilor. Intervențiile repetate în stări diferite oferă dovezi despre dinamica condiționată:

p\!\left(\text{Response} \mid \text{State}, \text{Action}\right).

Un sistem care interacționează continuu își creează, așadar, propriul suport de învățare ca o consecință a funcționării:

\text{Observe} \rightarrow \text{Model} \rightarrow \text{Act} \rightarrow \text{Measure} \rightarrow \text{Learn} \rightarrow \text{Observe}.

De la preantrenare la învățarea din experiență

Modelele persistente ale lumii introduc un regim complementar de învățare:

\text{offline learning} \;+\; \text{lived learning}.

Învățarea offline oferă cunoștințe inițiale generale. Învățarea din experiența directă identifică dinamica locală. Un model fundamental poate oferi cunoștințe prealabile solide despre clasa sistemului observat; experiența continuă oferă dovezi despre instanța particulară. Formal,

p\!\left(\theta \mid D_{\text{pretrain}}\right)

devine o distribuție inițială de probabilitate, condiționată progresiv de o traiectorie individuală:

p\!\left(\theta \mid D_{\text{pretrain}}, \tau_t\right).

Pe măsură ce $t$ crește, modelul poate deveni tot mai specific fără a abandona cunoștințele inițiale generale. Aceasta nu este simplă personalizare: personalizarea schimbă rezultatele în funcție de caracteristici cunoscute, în timp ce identificarea continuă a sistemului învață caracteristici anterior necunoscute ale dinamicii înseși.

Un model adaptiv al lumii

Obiectul rezultat diferă de mai multe arhitecturi cunoscute.

Mai mult decât memorie, deoarece observațiile modifică un model explicit al stării și dinamicii.
Mai mult decât un graf temporal de cunoștințe, deoarece nodurile participă la predicție, infirmare și control.
Mai mult decât un estimator de stare, deoarece dinamica tranzițiilor și ipotezele explicative pot fi ele însele revizuite.
Mai mult decât un geamăn digital — o reprezentare digitală a unui sistem — deoarece dinamica nu trebuie să fie cunoscută la crearea modelului.
Mai mult decât o politică de control, deoarece acțiunile sunt alese parțial pentru a descoperi sistemul controlat.

Obiectul său computațional central nu este o colecție tot mai mare de experiențe. Este relația aflată în evoluție

\text{State} \rightarrow \text{Action} \rightarrow \text{Response}.

Implicații

În primul rând , experiența poate deveni cumulativă fără a necesita un context nelimitat. Observațiile istorice pot fi comprimate în stare, tranziții, ipoteze și structuri de dependențe, păstrând proveniența.

În al doilea rând , incertitudinea poate ghida acțiunea. Sistemul poate căuta observația care ar reduce cel mai mult incertitudinea relevantă pentru o decizie.

În al treilea rând , greșelile devin evenimente durabile de învățare. O ipoteză infirmată rămâne reprezentată și poate împiedica redescoperirea repetată a aceluiași eșec explicativ.

În al patrulea rând , individualizarea poate avea loc la nivelul dinamicii. Sistemul învață nu doar caracteristicile unui subiect, ci și modul în care acel subiect se schimbă.

În al cincilea rând , interacțiunea longitudinală devine tot mai valoroasă. Un model cu o istorie îndelungată deține dovezi despre tranziții indisponibile unui model nou creat, chiar și atunci când ambele folosesc același model fundamental.

În cele din urmă, două sisteme care pornesc de la aceleași cunoștințe inițiale pot deveni obiecte computaționale semnificativ diferite prin traiectorii diferite de experiență. Aceasta poate fi una dintre cele mai importante consecințe ale inteligenței artificiale persistente.

Probleme deschise

Limitele plasticității. Ce componente ar trebui să rămână stabile și care ar trebui să poată evolua?

Reinterpretare catastrofală. Cum ar trebui sistemul să împiedice dovezile noi, slabe, să provoace o revizuire excesivă a trecutului?

Generarea ipotezelor. Cum pot explicațiile candidate să rămână diverse fără a produce un număr nelimitat de ipoteze?

Calibrare. Cum ar trebui calibrată încrederea în estimările stării, modelele de tranziție și ipoteze între tipuri diferite de date?

Explorare versus siguranță. Acțiunile de căutare a informației pot fi utile, dar inacceptabile atunci când costul sau riscul lor este ridicat.

Comprimarea modelului. Cum pot fi comprimați ani de interacțiune fără a distruge dependențe rare care devin importante ulterior?

Transfer. Ce aspecte ale dinamicii învățate de la un subiect persistent ar trebui să rămână individuale și care ar trebui să actualizeze cunoștințele inițiale comune la nivel de populație?

Evaluare. Testele statice sunt slab adaptate sistemelor a căror capacitate definitorie este îmbunătățirea prin interacțiune longitudinală. Evaluarea poate necesita, în schimb, măsurarea predicției, adaptării, calibrării, infirmării și controlului de-a lungul unor traiectorii extinse.

Acestea nu sunt detalii secundare de implementare. Ele definesc programul de cercetare necesar pentru a transforma starea persistentă în modele adaptive ale lumii.

—

Concluzie

Abstracția dominantă pentru inteligența artificială persistentă a fost memoria.

Memoria este necesară, dar singură nu surprinde ceea ce devine posibil atunci când un sistem de inteligență artificială interacționează în mod repetat cu același sistem aflat în evoluție.

Un model persistent poate observa starea, poate menține explicații concurente, poate prezice tranziții, poate alege acțiuni care produc efecte și învățare în același timp, poate observa răspunsul rezultat, poate infirma explicații incorecte, poate reconstrui interpretarea trecutului și poate actualiza modelul dinamicii viitoare. Bucla rezultată este:

\text{Experience} \rightarrow \text{Reconciliation} \rightarrow \text{Model change} \rightarrow \text{Action} \rightarrow \text{New experience}.

În timp, sistemul nu acumulează pur și simplu o înregistrare mai mare a lumii. El este tot mai mult modelat de dinamica lumii pe care a întâlnit-o.

Un sistem de memorie devine mai mare odată cu experiența. Un model adaptiv al lumii devine diferit.