AI traci rozum, gdy uczy się od siebie. Nowe badanie ujawnia „model collapse”

Wyobraź sobie, że po latach treningu na ludzkich tekstach, obrazach i pomysłach sieć neuronowa zaczyna uczyć się od siebie samej. Z początku wszystko działa bez zarzutu. Potem pojawia się błąd. A potem lawina. Z nowego badania, przeprowadzonego przez naukowców z Uniwersytetu Oksfordzkiego i Uniwersytetu Cambridge, wyłania się obraz systemu, który nie tyle ulega awarii, co stopniowo traci kontakt z rzeczywistością. Autorzy nadali temu zjawisku nazwę, która brzmi jak ostrzeżenie: model collapse.

Skąd bierze się „załamanie modelu”?

→ Czytaj też: Największy otwarty model AI ma 2,8 biliona parametrów. Chiny rzucają wyzwanie USA

Model zapadnięty to nie to samo co halucynacja – sytuacja, w której model zmyśla fakt lub fałszywy cytat. Te błędy są zazwyczaj wyizolowane i możliwe do skorygowania. Problem opisany przez badaczy z Oxfordu i Cambridge jest znacznie głębszy. Kiedy sztuczna inteligencja trenowana jest wielokrotnie na własnym, generowanym przez siebie outputcie, zaczyna systematycznie tracić z oczu oryginalne dane. Jak ujęli to autorzy pracy, modele w zaawansowanej fazie tego procesu „błędnie postrzegają rzeczywistość”. System pozostaje płynny i pewny siebie, ale staje się coraz bardziej oderwany od faktów.

„Ogony rozkładu” – miejsca, w których rodzi się nowość

→ Czytaj też: AI rozszyfrowała śpiew ptaków. Co mówią nam od lat?

Najbardziej niepokojące ustalenia dotyczą tego, co w statystyce nazywa się ogonami rozkładu (tails of the distribution). To właśnie tam znajdują się najrzadsze, najbardziej niezwykłe elementy zbioru danych. I to one giną jako pierwsze. Każde kolejne pokolenie modelu, szkolone na danych poprzedniego, traci właśnie te osobliwości. Zostaje tylko to, co przeciętne i oczekiwane. John Nosta, komentując wyniki badania na łamach „Psychology Today”, zwraca uwagę na kluczowy paradoks: „To, co pozostaje, to powszechne i oczekiwane, a następne pokolenie szkolone jest właśnie na tym.”

Konsekwencje są druzgocące. Jak pisze Nosta w swoim eseju, ogony rozkładu to nie tylko ciekawostki statystyczne. „To tam powstają nowe rozkłady. Newton był ogonem. Einstein był ogonem. Każdy większy postęp intelektualny zaczyna się jako wartość odstająca, tak daleka od średniej, że żaden proces optymalizacji nie mógłby jej wygenerować.” Z czasem te właśnie ogony stają się nowym centrum grawitacji dla wszystkiego, co następuje. Model collapse nie powoduje więc jedynie utraty rzadkich informacji – niszczy mechanizm tworzenia przyszłych informacji.

Ludzka myśl jako niezbędne źródło

Przez lata debata na temat AI koncentrowała się na pytaniu: czy ludzie mogą konkurować z maszynami? Nowe badanie odwraca tę perspektywę o 180 stopni. Okazuje się, że to nie ludzkość potrzebuje sztucznej inteligencji, ale to AI potrzebuje ludzkiej myśli, by nie ulec degradacji. Autentyczne, ludzkie treści stają się nie tyle wartością kulturową czy sentymentalną, co techniczną koniecznością. „System wymaga ich, by uniknąć załamania” – podkreśla Nosta.

Każdy raz, gdy oryginalna myśl zostaje zastąpiona wygenerowanym tekstem, proporcja ulega przesunięciu. Zmiana jest początkowo prawie niewidoczna, ale z czasem się kumuluje. To, co techno-optymiści celebrują jako wykładniczy wzrost obfitości, okazuje się mechaniką upadku: każde kolejne pokolenie dziedziczy nieco węższą wersję rzeczywistości. Jak dowodzi badanie, ludzka myśl w swojej najżywotniejszej formie stanowi tarcie, które powstrzymuje system przed osunięciem się w morze przeciętności.

Co tracimy, gdy AI zjada samą siebie?

Zjawisko to rodzi pytanie o przyszłość kultury i nauki w epoce powszechnej generatywnej AI. Jeśli główne modele językowe będą coraz częściej trenowane na własnych outputach, a nie na oryginalnych, ludzkich tekstach, grozi nam nie tyle stagnacja, co systematyczne zubożenie dostępnej wiedzy. To, co niezwykłe, nowatorskie i nieoczekiwane, może zostać na zawsze utracone. Nosta nazywa to „niepowtarzalnym” – poznawczą sygnaturą należącą do konkretnej osoby, której nie da się sprowadzić do żadnej średniej. Paradoks polega na tym, że to, co jest najcenniejsze dla człowieka, okazuje się jednocześnie tym, czego algorytm nie może wygenerować – ani, jak się okazuje, nie może stracić.

Badania nad modelem collapse nie są jedynie akademicką ciekawostką. Stanowią fundamentalne ostrzeżenie: im więcej będziemy delegować twórczości maszynom, tym bardziej ryzykujemy, że nasze własne, najbardziej oryginalne idee – te, które tworzą nowe ogony rozkładu – przestaną się pojawiać. A bez nich sztuczna inteligencja, ale przede wszystkim my sami, skazani będziemy na świat pozbawiony prawdziwej nowości.