Używanie zestawów danych generowanych przez AI do trenowania przyszłych generacji modeli uczenia maszynowego może zanieczyścić ich wyniki, co jest koncepcją znaną jako „upadek modelu” (model collapse). Badania pokazują, że w ciągu "życia" kilku generacji modeli sztucznej inteligencji oryginalna treść zostaje zastąpiona niepowiązanymi ze sobą nonsensami.

Narzędzia generatywnej sztucznej inteligencji, takie jak duże modele językowe (LLM), zyskały na popularności i były głównie trenowane za pomocą danych generowanych przez ludzi. Jednakże – jak dowodzą naukowcy – w miarę, jak te modele AI będą się rozprzestrzeniać w internecie, treści generowane komputerowo mogą być używane do trenowania innych modeli AI — lub siebie samych — co określa się za pomocą pojęcia pętla rekurencyjna.

Ilia Shumailov z Uniwersytetu Oksfordzkiego w Wielkiej Brytanii i jego współpracownicy, korzystając z modeli matematycznych, przedstawili, jak modele AI mogą doświadczać upadku. Autorzy pokazali, że AI może pomijać pewne wyniki (na przykład mniej powszechne fragmenty tekstu) w danych treningowych, co powoduje, że trening odbywa się tylko na części zestawu danych.

Naukowcy zbadali również, jak modele AI reagują na zestaw danych treningowych, który w większości został stworzony przez sztuczną inteligencję. Odkryli, że karmienie modelu danymi generowanymi przez AI powoduje, że kolejne generacje degradują, jeśli chodzi o zdolność do uczenia się, co ostatecznie prowadzi do upadku modelu. Niemal wszystkie testowane przez naukowców modele językowe trenowane rekurencyjnie wykazywały tendencję do powtarzania fraz. Badacze podali za przykład test, w którym wykorzystano do treningu tekst o średniowiecznej architekturze. Okazało się, że w dziewiątej generacji sztuczna inteligencja zamiast o architekturze, podawała informacje o zającach.

Autorzy badania wskazują, że upadek modelu jest nie do uniknięcia, jeśli do treningu AI będą używane zestawy danych tworzonych przez poprzednie generacje. Ich zdaniem skuteczne trenowanie sztucznej inteligencji na jej własnych wynikach nie jest niemożliwe, ale filtrowanie wygenerowanych danych należy traktować poważnie. Jednocześnie – zdaniem naukowców – firmy technologiczne, które będą wykorzystywały do trenowania AI tylko treści generowane przez ludzi, zyskają przewagę w porównaniu do konkurencji, która przyjmie inną strategię.

Więcej informacji w materiale źródłowym: https://www.nature.com/articles/s41586-024-07566-y (PAP)

Autorka: Urszula Kaczorowska

uka/ zan/