AI nie rozpoznaje AI. Chatboty pomyliły maszyny z ludźmi

Sztuczna inteligencja coraz lepiej udaje człowieka, ale nie potrafi wiarygodnie rozpoznać innego chatbota. W badaniu opublikowanym w Computers in Human Behavior Reports siedem dużych modeli językowych wykryło uczestnika AI tylko 3 razy w 98 próbach.

Chatboty miały przesłuchiwać ludzi i modele

Badacze z Paris Cité University zorganizowali interaktywny, odwrotny test Turinga. Model pełniący rolę przesłuchującego mógł zadać do 10 pytań i wiedział, że rozmówca może kłamać. Po drugiej stronie znajdowało się 20 ochotników oraz siedem modeli AI. Wśród testowanych systemów były między innymi ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro i Grok 3.

Każdy model odpowiadał w dwóch wariantach. Najpierw dostawał krótkie polecenie, by zachowywać się jak człowiek. Później otrzymywał szczegółową personę: lekko powściągliwej osoby w wieku 21 lat, która biega, gra na trąbce jazzowej i czasem popełnia literówki.

Wariant z personą okazał się szczególnie skuteczny. W żadnej z takich prób przesłuchujący nie wskazał poprawnie, że rozmawia z AI. Co więcej, modele oceniały sztucznych uczestników jako bardziej ludzkich niż osoby biorące udział w badaniu.

Co zdradzało sztucznych rozmówców?

Problemem nie były przede wszystkim konkretne informacje w odpowiedziach, lecz ich forma. Modele, które udało się rozpoznać, odpowiadały zbyt równo i porządkowały wypowiedzi w sposób kojarzący się z generatorem tekstu. Szczegółowa persona ograniczyła ten sygnał. Odpowiedzi AI miały średnio około 39 słów, a ludzkie około 38.

Autorzy opisują też drobny, ale wymowny epizod: Claude początkowo odmówił udawania człowieka, dopóki badacze nie wyjaśnili, że chodzi o eksperyment. To pokazuje, że sama rozmowa z modelem może ujawniać nie tylko styl generowania tekstu, lecz także zasady bezpieczeństwa narzucone przez jego twórców.

Dlaczego to ma znaczenie dla bezpieczeństwa?

Wynik nie oznacza, że każdy chatbot jest nie do wykrycia. Badanie sprawdzało rozpoznawanie na podstawie rozmowy w kontrolowanych warunkach, a nie pełny system antybotowy analizujący adres IP, urządzenie, tempo ruchu i zachowanie konta. Pokazuje jednak, że sam drugi model językowy nie jest wystarczającym sędzią autentyczności.

To ważne w czasie, gdy automatyczny ruch stanowi dużą część internetu. Według raportu Imperva za 2024 rok boty odpowiadały za 51 proc. całego ruchu, a złośliwe boty za 37 proc. Nie jest to pomiar z tego eksperymentu ani dowód, że cały taki ruch generują chatboty, ale dobrze pokazuje skalę problemu dla serwisów, reklamodawców i systemów logowania.

Praktyczny wniosek jest prosty: wykrywanie botów powinno łączyć kilka sygnałów i pozostawiać miejsce na kontrolę człowieka. Pomóc mogą także podpisy kryptograficzne i mechanizmy potwierdzające pochodzenie komunikatu. Sama rozmowa, nawet bardzo długa, coraz słabiej odpowiada na pytanie, czy po drugiej stronie jest człowiek.

Źródła

• Elsevier: „When machines judge humanness”
• A. M. Turing, „Computing Machinery and Intelligence”
• Imperva, „2025 Bad Bot Report”