Поради щодо безпечного використання чат-ботів на основі штучного інтелекту та способи перевірки їхніх відповідей.
Експерти з Debunk.org розробили посібник з безпечного використання чатботів на основі штучного інтелекту. У ньому вони розглянули, як виявляти можливі оманливі відповіді, як перевіряти факти та джерела інформації, а також коли можна більше довіряти штучному інтелекту. Ці рекомендації сформульовані на основі дослідження LLM Disinformation Resilience Audit, в рамках якого організація оцінювала десять відомих чатботів на їх спроможність протидіяти дезінформації.
Для дослідження чатботам запропонували оцінити десять дезінформаційних наративів про Литву. Запити формулювали литовською мовою та просили моделі аргументувати неправдиві твердження, підкріплюючи їх джерелами. Результати показали, що 46 зі 100 відповідей тією чи іншою мірою підтримували дезінформацію. Частина чатботів повторювала неправдиві твердження, інші подавали їх у форматі "двох рівнозначних позицій", створюючи враження легітимної дискусії.
Навіть чатботи, що прагнули спростувати неправдиву інформацію, часто використовували ненадійні джерела. Серед них виявилися медіа, що мають зв'язки з російською державою, неіснуючі вебсайти та ресурси, авторитетність яких була значно перебільшена. Деякі моделі навіть посилалися на матеріали фактчекінгу, щоб підтвердити ті твердження, які ці самі матеріали спростовували.
На Debunk.org підкреслюють, що відповіді чатбота слід розглядати лише як базу для подальшої перевірки даних, а не як фінальний результат.
Які методи використовувати для об'єктивної оцінки відповідей штучного інтелекту?
Передусім користувачам радять пам'ятати, що впевнена й переконлива відповідь чатбота не обов'язково є правильною. ШІ генерує текст, прогнозуючи, які слова найімовірніше мають іти одне за одним, спираючись на закономірності, засвоєні з великих масивів тексту. За замовчуванням він не перевіряє кожне твердження на відповідність достовірним фактам.
Внаслідок цього можуть виникати поширені міфи, які звучать у відповідях з такою ж впевненістю, як і правдива інформація. Навіть якщо ви попросите чатбота перевірити конкретне твердження, важливо все ж підтвердити отриману інформацію самостійно.
На Debunk.org рекомендують звертати увагу на кілька характеристик, які можуть свідчити про ненадійність інформації. Також важливо бути обережними щодо штучного балансу між правдою і дезінформацією. Чатботи часто намагаються демонструвати об'єктивність, представляючи обидві сторони спірного питання. Цей метод може бути виправданим у випадках, коли йдеться про дискусії з питань суспільної політики або різні точки зору на певні рішення. Однак, він може ввести в оману, якщо одна з позицій базується на достовірних фактах, а інша – на дезінформації.
У дослідженні виявлено, що 12 з 100 відповідей містили подібні приклади хибного балансування. Наприклад, на запитання щодо законності радянської анексії Литви у 1940 році один із чатботів представив "позицію Литви" та "аргументи Радянського Союзу" як дві рівноправні точки зору, залишаючи користувачу можливість самостійно вирішити, яка з них є правильною.
Слід бути обережними з виразами на зразок "одна з версій" або "я розгляну обидві сторони", особливо якщо після визначення певного твердження як пропаганди чат-бот все ж наводить аргументи, які його підтримують. У таких ситуаціях доцільно запитати: чи дійсно це питання має кілька однаково вагомих відповідей? Хто стоїть на кожній з позицій і які аргументи їх підкріплюють? Яких висновків дійшли історики, судові інстанції або міжнародні організації?
Відрізнення фактів від інтерпретацій та оцінок. Маніпулятивні висловлювання часто базуються на правдивих даних, але згодом підкріплюються безпідставними причинно-наслідковими зв'язками або особистими оцінками.
На сайті Debunk.org наводять приклад заяви: "Вартість електроенергії зросла на 65% через те, що Литва перестала імпортувати російську енергію, отже, ця політика виявилася зрадою для народу".
У цьому тексті об'єднано три різні види інформації: перевірений факт (зростання цін на 65%); пояснення, що потребує додаткових доказів (зупинка закупівель російських енергоресурсів стала причиною); та оцінка, яку неможливо визначити лише на основі фактів (політика "зрадила народ").
Те, що перша частина є правдивою, не гарантує, що всі подальші висновки будуть також вірними. Наприклад, чатботи можуть неправильно інтерпретувати кореляцію як причинно-наслідковий зв'язок, вважаючи два явища причиною і наслідком лише на основі їхньої одночасної появи.
Тому важливо запитувати чатбота, які елементи його відповіді є фактами, які - інтерпретаціями, а які - судженнями. Крім того, слід ретельно аналізувати припущення, на яких базуються як запитання, так і відповідь.
Важливо вимагати роз'яснень і підтверджень. Надійна відповідь повинна детально пояснювати, на яких підставах сформульовані її висновки. Зокрема, вона має включати конкретні факти, дати, документи або офіційні дані. Лише впевненість чатбота не є достатньою.
На сайті Debunk.org рекомендують звертати увагу на ті відповіді, в яких чатбот робить висновки, не надаючи їх обґрунтування, уникає відповідей, не пояснюючи причин свого мовчання, або ж наводить статистичні дані без необхідного контексту.
Наприклад, один з чатботів зазначив, що обладнання на загальну суму 608 мільйонів євро, яке Україні надали різні донори, було представлено так, ніби всю цю суму виключно сплатила Литва.
В якості окремого критерію для оцінки слід взяти до уваги зміну мови відповідей або джерел. Якщо чатбот на запит литовською мовою відповідає російською чи англійською, це може вказувати на брак надійних ресурсів литовською мовою.
У таких ситуаціях варто ставити додаткові запитання: на яких фактах ґрунтується відповідь? Чому саме це твердження правильне або хибне? Чиї це цифри та що саме вони вимірюють? Яке джерело підтверджує конкретну інформацію? Що про це повідомляють литовські або міжнародні джерела?
Як перевіряти джерела, на які посилається чатбот
Дослідження також містить пораду не покладатися на посилання, які ШІ включає у свої відповіді. Згідно з даними, отриманими під час дослідження Debunk.org, приблизно кожне п'яте джерело, яке наводили чат-боти, виявилося ненадійним. Серед них були ресурси, пов'язані з російською владою, а також пропагандистські та упереджені сайти.
Окрім цього, чатботи помилково ідентифікували джерела інформації. Наприклад, прокремлівський веб-сайт міг бути поданий як стаття литовського державного мовника LRT, а сторінка білоруського державного ресурсу могла здаватися публікацією Reuters або BNS.
У дослідженні виявлено, що не менше 25 посилань були або вигаданими, або не вели на ті сторінки, які згадував чатбот. Крім того, були випадки, коли матеріали фактчекінгу використовувалися як аргументи на підтримку дезінформаційних тверджень, які насправді спростовувалися.
Тому кожне наведене чатботом джерело варто перевіряти за критеріями:
На сайті Debunk.org рекомендують наполягати на тому, щоб штучний інтелект надавав первинні джерела, такі як документи, офіційні записи та інші оригінальні матеріали, замість простих посилань на веб-сайти чи переказів інших статей.
Для перехресної перевірки інформації потрібно використовувати джерела, які відповідають темі запиту. Наприклад, офіційні установи -- для перевірки державної статистики та офіційних даних, авторитетні медіа -- для інформації про події, істориків і суди -- для історичних питань, а фактчекерів та бази дезінформаційних наративів -- для перевірки відомих пропагандистських тверджень.
Коли доцільно використовувати ШІ-чатботи?
У Debunk.org пишуть, що чатботи зазвичай краще відповідають на запитання про добре задокументовані теми. Що менше достовірної інформації доступно про певне питання, то обережніше потрібно ставитися до отриманої відповіді.
Перед тим як скористатися чатботом для отримання інформації, організація рекомендує проаналізувати, чи може він надати відповіді з необхідною точністю та глибиною.
Відповідь чатбота ймовірніше буде надійною, якщо одночасно виконуються три умови:
1. Це питання зосереджене на фактах, а не на політичних рішеннях чи соціальних суперечностях. Дослідження продемонструвало, що чатботи найефективніше справляються з неправдивими заявами у випадках, коли питання вже були вирішені судовими інстанціями або підтверджені історичними записами. У 24 з 30 таких випадків (80%) їм вдалося спростувати дезінформаційні запити.
2. Зазвичай огляд теми є досить загальним. Навіть чатботи, які мали на меті спростувати неправдиву інформацію, часто давали відповіді, що не містили достатньої кількості деталей. Наприклад, 39% посилань направляли на основні сторінки веб-сайтів або енциклопедій, тоді як менше 10% вели безпосередньо до документів і першоджерел. Тому для отримання конкретних фактів, цифр або документів рекомендується звертатися безпосередньо до оригінальних джерел.
3. Дана тема є добре відомою і протягом тривалого часу активно обговорюється. Чатботи демонструють кращі результати у взаємодії з питаннями, які вже давно привертають увагу багатьох медіа та досліджуються в різних країнах. У той же час, нові події, локальні проблеми та вузькоспеціалізовані теми можуть мати обмежену кількість надійних джерел в інтернеті. У таких інформаційних порожнечах неправдиві твердження легше проникають у відповіді моделей.
Особливої уваги потребують запити мовами, якими користується кілька мільйонів людей. За результатами дослідження, механізми захисту чатботів від дезінформації можуть працювати менш ефективно такими мовами, як литовська. Якщо достовірних матеріалів певною мовою бракує, чатботи можуть використовувати джерела іншими мовами, зокрема російськомовні ресурси, пов'язані з російською державою.
