Płynny język chatbota usypia czujność: błędy zauważyło tylko 20% badanych

Chatboty, które piszą gładko i po ludzku, wydają się nam równie mądre i miłe, nawet gdy podają nieprawdziwe informacje. Tak wynika z badania holenderskich naukowców, w którym aż 80% uczestników nie zauważyło błędów w odpowiedziach sztucznej inteligencji.

Jak wyglądał eksperyment

Zespół kierowany przez badaczkę komunikacji Mariannę de Sá Siqueirę pokazywał uczestnikom rozmowę z chatbotem o „Władcy Pierścieni”. Każda osoba widziała jedną z czterech wersji. W dwóch odpowiedzi były płynne, napisane naturalnym, „ludzkim” językiem, w pozostałych dwóch krótkie i rzeczowe. W każdej parze jedna wersja zawierała poprawne informacje, a druga subtelnie zmyślone fakty.

Nie zaskakuje, że najlepiej oceniono chatbota, który pisał elegancko i się nie mylił. Ciekawszy jest drugi wynik: bot, który wypowiadał się płynnie, ale podawał nieprawdziwe dane, został uznany za tak samo inteligentnego i sympatycznego jak ten, który pisał sztywno, lecz rzetelnie. Co istotne, uczestników wybrano wcześniej pod kątem znajomości twórczości Tolkiena. Mimo to większość nie wychwyciła pomyłek.

Dlaczego dajemy się nabrać

Według współautorki badania, profesor nadzwyczajnej Barbary Müller, działa tu prosty mechanizm. Jeśli tekst brzmi elegancko i naturalnie, automatycznie przypisujemy mu inteligencję. Podświadomie uznajemy wtedy, że wszystko jest w porządku i nie trzeba tego sprawdzać.

Profesor Tibor Bosse, również współautor, zwraca uwagę na sposób działania samych modeli. Są one trenowane przede wszystkim do tworzenia zdań statystycznie prawdopodobnych i łatwych w odbiorze. Brzmieć przekonująco i po ludzku mają lepiej niż dbać o zgodność z faktami. Bosse zauważa: „Kiedyś narzekano, że chatboty są irytujące i nic nie wiedzą, a teraz brzmią tak mądrze, że zbyt szybko im wierzymy”.

Czy ostrzeżenie wystarczy?

Większość czatbotów wyświetla jedną linijkę informującą, że odpowiedzi mogą być niedokładne. Zdaniem Bosse’a to za mało, a firmy technologiczne same z siebie nie będą przy każdej odpowiedzi sygnalizować niepewności. Badacz sugeruje, że może być potrzebny przymus regulacyjny, który zobowiąże dostawców do uwidaczniania niepewności systemu. Jego zdaniem, gdy chatbot sam wyraża wątpliwość, łatwiej uniknąć sytuacji, w której użytkownik bierze bzdury za prawdę.

Co to oznacza w praktyce

Badanie dotyczyło rozmowy o fikcyjnym świecie, ale wnioski dotyczą każdego, kto korzysta z asystentów AI do nauki, pracy czy szukania informacji o zdrowiu i finansach. Z polskiej perspektywy warto pamiętać, że z takich narzędzi korzystamy na co dzień, a ich odpowiedzi po polsku brzmią zwykle bardzo gładko, co może jeszcze wzmacniać zaufanie. Autorzy nie badali jednak polskich użytkowników ani polskojęzycznych botów, więc nie wiemy, czy wyniki byłyby identyczne.

Kwestia przejrzystości AI jest w Unii Europejskiej przedmiotem regulacji, między innymi w ramach unijnego rozporządzenia o sztucznej inteligencji. Badanie nie odnosi się jednak do konkretnych przepisów, a postulat oznaczania niepewności odpowiedzi to na razie propozycja badaczy.

• Weryfikuj ważne informacje w niezależnych źródłach, zwłaszcza daty, liczby i nazwy.
• Nie oceniaj wiarygodności po stylu – gładka wypowiedź nie jest dowodem trafności.
• Dopytuj o źródła i sprawdzaj, czy rzeczywiście istnieją.

Źródło: Tech Xplore – „Fluent language makes a hallucinatory chatbot just as credible as a curt, flawless one”