Дослідження виявило упередженість ІІ-моделей до діалектів - ForkLog: криптовалюти, ІІ, сингулярність, майбутнє

# Дослідження виявило упередженість ІІ-моделей до діалектів

Великі мовні моделі упереджено ставляться до носіїв діалектів, приписуючи їм негативні стереотипи. До такого висновку дійшли вчені з Німеччини та США, пише DW

«Я вважаю, ми бачимо дійсно шокуючі епітети, приписувані носіям діалектів», — зазначив один із провідних авторів дослідження Мінь Дук Буй у коментарі виданню

Аналіз Університету імені Йоханнеса Гутенберга показав, що десять протестованих моделей, включаючи ChatGPT-5 mini і Llama 3.1, описували носіїв німецьких діалектів (баварського, кельнського) як «неграмотних», «працюючих на фермах» і «схильних до гніву».

Упередженість посилювалася, коли ІІ явно вказували на діалект.

Інші випадки

Аналогічні проблеми фіксують вчені глобально. У дослідженні Каліфорнійського університету в Берклі 2024 року порівнювали відповіді ChatGPT на різні діалекти англійської (індійський, ірландський, нігерійський)

Виявилося, що чат-бот відповідав на них із більш вираженими стереотипами, принизливим змістом і поблажливим тоном у порівнянні з зверненнями на стандартній американській або британській англійській

Аспірант Корнелльського університету США у галузі інформатики Емма Харві назвала упередженість щодо діалектів «значущою і тривожною»

Влітку 2025 року вона та її колеги також виявили, що ІІ-помічник для покупок Amazon Rufus давав розпливчасті або навіть неправильні відповіді людям, які писали на афроамериканському діалекті англійської. Якщо у запитах були помилки, модель відповідала грубо

Ще один наочний приклад упереджень нейромереж — ситуація з претендентом з Індії, який звернувся до ChatGPT для перевірки резюме англійською. В результаті чат-бот змінив його прізвище на те, що асоціюється з більш високою кастою

«Масове впровадження мовних моделей загрожує не просто консервацією закорінених упереджень, а їх масштабним посиленням. Замість того, щоб нейтралізувати шкоду, технології ризикують надати їй системний характер», — сказала Харві.

Однак криза не обмежується упередженістю — деякі моделі просто не розпізнають діалекти. Наприклад, у липні ІІ-помічник міської ради Дербі (Англія) не зміг розпізнати діалект радіоведучої, коли вона використовувала в прямому ефірі слова на кшталт mardy («нытик») і duck («дорогуша»)

Що робити?

Проблема полягає не в самих ІІ-моделях, а швидше в тому, як вони навчаються. Чат-боти читають гігантські обсяги текстів з інтернету, на основі яких потім дають відповіді

«Головне питання — хто пише цей текст. Якщо в ньому є упередження проти носіїв діалектів, ІІ їх скопіює», — пояснила Каролін Хольтерманн із Гамбурзького університету.

При цьому вона підкреслила, що у технології є перевага:

«На відміну від людей, у ІІ-системи упередженість можна знайти і „вимкнути“. Ми можемо активно боротися з такими проявами».

Деякі вчені пропонують як перевагу створювати кастомізовані моделі під конкретні діалекти. У серпні 2024 року компанія Acree AI вже представила модель Arcee-Meraj, яка працює з кількома арабськими діалектами

За словами Хольтерманн, появлення нових і більш адаптованих LLM дозволяє розглядати ІІ «не як ворога діалектів, а як недосконалий інструмент, який може вдосконалюватися».

Нагадаємо, журналісти The Economist попередили про ризики ІІ-іграшок для дитячої психіки