Umjetna inteligencija napreduje nevjerojatnim tempom, a najnoviji modeli koje je razvio OpenAI, poput o3 i o4-mini, donose značajna poboljšanja u sposobnosti rezoniranja, rješavanju kompleksnih matematičkih zadataka i pisanju programskog koda. Međutim, uz ove tehnološke uspjehe pojavio se i zabrinjavajući trend: novi modeli pokazuju veću sklonost prema tzv. „halucinacijama“. Halucinacije u kontekstu AI-ja odnose se na situacije u kojima sustav s potpunim samopouzdanjem generira informacije koje su netočne, izmišljene ili potpuno odvojene od stvarnosti.
Dok su prethodne generacije modela generalno pokazivale trend smanjenja pogrešaka, najnoviji „rezonirajući“ modeli prekidaju taj put. Ovo predstavlja ozbiljan izazov za korisnike i tvrtke koje se oslanjaju na AI za kritične poslovne procese, jer naprednije sposobnosti logičkog zaključivanja ne jamče nužno točnost činjenica.
Sadržaj...
Paradoks rezonirajućih modela: Više logike, manje činjenica
OpenAI je uveo novu klasu modela koji su dizajnirani za dublje rezoniranje, što im omogućuje da „razmisle“ o problemu prije nego što daju konačan odgovor. Iako su modeli o3 i o4-mini izuzetno učinkoviti u strukturiranim zadacima poput programiranja, njihova sklonost izmišljanju informacija postala je izraženija u usporedbi s prethodnicima kao što su o1, o1-mini ili čak tradicionalni GPT-4o.
Zabrinjavajuće je da sam OpenAI u svojim tehničkim izvještajima priznaje da još uvijek ne razumije u potpunosti zašto skaliranje ovih modela dovodi do porasta halucinacija. Čini se da postoji određeni trade-off: dok model postaje bolji u manipulaciji apstraktnim konceptima i logičkim nizovima, on istovremeno postaje skloniji generiranju netočnih tvrdnji kako bi popunio praznine u svom znanju.
Konkretni podaci iz internih testova jasno ilustriraju ovaj problem. Na PersonQA testu, koji mjeri točnost znanja o stvarnim osobama, rezultati su bili sljedeći:
- Model o4-mini: najlošiji rezultat s čak 48% halucinacija.
- Model o3: zabilježio je stopu halucinacija od 33%.
- Modeli o1 i o3-mini: pokazali su znatno veću stabilnost sa stopama od 16% i 14,8%.
Kritika izvan laboratorija: Primjeri iz prakse
Problem nije ograničen samo na interne testove OpenAI-ja. Nezavisne organizacije i stručnjaci iz industrije također su primijetili anomalije. Istraživačka organizacija Transluce primijetila je da model o3 ponekad izmišlja vlastite radnje. U jednom specifičnom slučaju, model je tvrdio da je pokrenuo kod na fizičkom MacBook Pro uređaju iz 2021. godine izvan okvira ChatGPT-a, što je tehnički nemoguće jer AI model nema izravan pristup eksternom hardveru na taj način.
Stručnjaci, poput Neila Chowdhuryja iz Translucea, sugeriraju da bi uzrok mogao biti u metodi učenja putem pojačanja (Reinforcement Learning). Hipoteza je da ova metoda, iako korisna za razvoj rezoniranja, potencijalno pojačava određene pogreške koje bi u tradicionalnim modelima bile uklonjene u kasnijim fazama treniranja.
Praktični problemi primjećuju i oni koji koriste ove modele u profesionalnom okruženju. Primjerom iz prakse, timovi koji koriste o3 za programiranje primijetili su da model često generira „mrtve poveznice“ (linkove koji ne vode nikamo), što stvara dodatni posao provjere i ispravljanja.
Kako smanjiti rizik od AI halucinacija?
Kada točnost informacija postaje prioritet, oslanjanje isključivo na internu bazu znanja modela može biti riskantno. Postoje određeni načini kako korisnici mogu minimizirati utjecaj halucinacija:
1. Integracija web pretraživanja: Podaci pokazuju da modeli s pristupom internetu (poput GPT-4o s pretragom) postižu znatno veću točnost (do 90% na SimpleQA testu). Pretraživanje u stvarnom vremenu omogućuje modelu da potvrdi činjenice prije nego što ih ispiše.
2. Cross-verifikacija: Uvijek provjerite ključne činjenice, datume i poveznice pomoću drugog izvora ili drugog AI modela.
3. Specifični promptovi: Tražite od modela da navede izvore svojih tvrdnji ili da prizna ako nije siguran u odgovor, iako to ne eliminira problem u potpunosti.
Zaključak
Razvoj rezonirajućih modela predstavlja novi smjer u AI industriji jer tradicionalne metode povećanja količine podataka više ne donose očekivane rezultate. Ipak, porast halucinacija kod modela o3 i o4-mini šalje jasnu poruku: napredna inteligencija ne znači nužno pouzdanost. Za kreativne zadatke, ove pogreške mogu biti nebitne ili čak potaknuti inovativnost, ali u pravnim, medicinskim ili inženjerskim okruženjima, točnost je neizostavna. Dok OpenAI i ostali razvojni timovi ne pronađu način da skaliraju rezoniranje bez žrtvovanja činjenica, kritičko razmišljanje korisnika ostaje najvažniji filter u radu s umjetnom inteligencijom.
Često postavljana pitanja (FAQ)
Što su zapravo AI halucinacije?
To su situacije u kojima umjetna inteligencija generira odgovor koji zvuči uvjerljivo i gramatički ispravno, ali je zapravo netočan ili potpuno izmišljen.
Zašto su novi modeli o3 i o4-mini skloniji greškama od starih?
Iako su bolji u logici i matematici, proces njihovog treniranja (učenje putem pojačanja) i način skaliranja rezoniranja trenutno uzrokuju neočekivani porast netočnih tvrdnji, što OpenAI još uvijek istražuje.
Može li se potpuno ukloniti problem halucinacija?
Trenutno ne. Halucinacije su inherentni dio načina na koji LLM-
