Da li veliki jezički modeli razumeju naučnike?

Grupa istraživača sa Complexity Science Huba u Beču objavila je istraživanje koje pokazuje da veliki jezički modeli (LLM), poput Meta Llama i Google Gemma, nisu još u potpunosti pouzdani u prepoznavanju i preporuci stručnjaka u nauci. Njihovo interesovanje bilo je usmereno ka tome koje naučnike ovi modeli preporučuju, a koje ne. Pokazalo se da popularni LLM modeli često repliciraju postojeće pristrasnosti, posebno prema polu i etničkoj pripadnosti, pa su tako naučnice i azijski istraživači znatno manje zastupljeni u njihovim preporukama.

ilustracija: pexels.com

Osnivači projekta ukazuju na problem "Matejevog efekta" – gde se već priznati i citirani naučnici više ističu, a ostali ostaju u drugom planu. LLM modeli, za razliku od pretraživača koji rangiraju radove po citatima, funkcionišu kroz verovatnoće reči i nisu dizajnirani za rangiranje ili potpuno razumevanje konteksta.

Tokom testiranja ovi modeli su ponekad davali netačne i izmišljene preporuke ili su sugerisali naučnike sa sličnim imenima, a ne sličnim stručnim profilom. Oni nemaju pristup svim podacima o treninzima, što dodatno otežava njihovu pouzdanost.

Istraživači smatraju da bi budući alati trebalo da korisnicima daju veću kontrolu nad kriterijumima preporuka, omogućavajući personalizaciju na osnovu individualnih potreba.

Akademska zajednica poziva na transparentnost i rigorozne krterijume, jer LLM utiču na važne društvene i naučne odluke. I pored njihovih mogućnosti, ovi modeli i dalje imaju značajna ograničenja i izazove koje treba prevazići za pouzdano korišćenje u nauci.

izvor: computerweekly.com