Detektory AI zmieniają sposób, w jaki piszą ludzie. Problemem jest nawet dobra gramatyka

Coraz więcej autorów zaczyna pisać pod dyktando detektorów sztucznej inteligencji. Unikają powtórzeń, konstrukcji równoległych, reguły trzech, a nawet półpauz. Niektórzy celowo zostawiają literówki, bo obawiają się, że zbyt gładki tekst zostanie uznany za wygenerowany przez chatbota.

To nie jest już wyłącznie spór o narzędzia do sprawdzania prac studentów. Wyniki detektorów wpływają na decyzje wydawców i reputację pisarzy, choć same narzędzia pokazują prawdopodobieństwo, a nie dowód autorstwa.

Jedna ocena wystarczyła, by wycofać powieść

Najgłośniejszym przykładem jest sprawa Mii Ballard. W marcu wydawnictwo Hachette wycofało z rynku amerykańskiego powieść „Shy Girl”, po tym jak narzędzie Pangram zaklasyfikowało 78,3% tekstu jako wygenerowany przez AI. Ballard zaprzeczyła, że sama użyła sztucznej inteligencji podczas pisania książki. Twierdziła, że narzędzia AI używała osoba, której zleciła redakcję wcześniejszej wersji.

„The Wall Street Journal” zwrócił uwagę, że Pangram oznaczał w analizie wiele fragmentów jedynie jako przypadki o średniej pewności. To ważne rozróżnienie: wynik detektora nie rozstrzyga, kto napisał tekst, a jedynie wskazuje podobieństwo do wzorców obecnych w materiałach generowanych przez modele językowe.

Podobny mechanizm widać w historii Jerry’ego Falade’a. Jak opisywał „The Guardian”, jego debiutancka powieść kryminalna została wycofana przez agenta po sporze o to, czy da się odtworzyć proces jej powstawania. Autor zaprzeczył użyciu AI do napisania książki i wskazywał na ryzyko uprzedzeń wobec czarnoskórych pisarzy.

Co detektor uznaje za „zbyt ludzkie” albo „zbyt sztuczne”

Pangram deklaruje, że analizuje wzorce strukturalne, stylistyczne i semantyczne, a nie pojedyncze słowa. Firma podaje obecnie współczynnik fałszywych alarmów na poziomie jednego na 10 tysięcy dokumentów. To dane deklarowane przez producenta, obliczane na zbiorach publicznych, więc nie powinny być traktowane jako uniwersalna gwarancja dla każdego języka, gatunku i długości tekstu.

Niezależne badania pokazują, dlaczego ostrożność jest potrzebna. W pracy opublikowanej w 2023 roku naukowcy sprawdzili siedem detektorów na esejach rodzimych i nierodzimych użytkowników angielskiego. Ponad połowa tekstów autorów niebędących rodzimymi użytkownikami języka została błędnie oznaczona jako wygenerowana przez AI. Z kolei poprawienie słownictwa tych samych prac za pomocą modelu językowego wyraźnie zmniejszyło liczbę fałszywych alarmów.

W praktyce oznacza to, że cechy uznawane za podejrzane mogą być zwykłym efektem stylu, wykształcenia, języka ojczystego albo redakcji. Reguła trzech i półpauza nie są dowodami użycia AI. Są elementami obecnymi w ludzkiej literaturze od dawna, co dobrze pokazuje analiza języka opublikowana przez „The Guardian”.

Dlaczego wynik detektora nie powinien być wyrokiem

Sam OpenAI ostrzega, że detektory nie są wystarczająco wiarygodne, by na ich podstawie podejmować decyzje o poważnych konsekwencjach. Własne próby firmy wykazały, że klasyfikator potrafił oznaczać ludzkie teksty, między innymi Szekspira i Deklarację Niepodległości, jako wygenerowane przez AI. OpenAI wskazywało też na większe ryzyko błędów w przypadku osób uczących się angielskiego oraz tekstów krótkich i schematycznych.

To tworzy niezdrową pętlę. Autor, który chce udowodnić, że napisał tekst samodzielnie, zaczyna usuwać własne nawyki językowe. W efekcie tekst staje się mniej naturalny, a jego jakość spada. Jednocześnie drobna zmiana dokonana przez AI może wystarczyć, by utrudnić detektorowi rozpoznanie pochodzenia fragmentu.

Rozsądniejszym podejściem jest ocenianie procesu, a nie samego wyniku statystycznego. Historia wersji dokumentu, notatki, źródła, szkice i rozmowa z autorem mówią o autorstwie więcej niż pojedynczy procent na ekranie. Dobra składnia nie powinna być powodem do podejrzeń, a literówka nie jest certyfikatem ludzkiego pochodzenia.

Źródła

• Digital Trends: raport o pisarzach zmieniających styl pod wpływem detektorów AI
• The Wall Street Journal: analiza sprawy Mii Ballard i Pangram
• Pangram: opis działania i deklarowana skuteczność detektora
• Liang i in.: badanie stronniczości detektorów wobec nierodzimych użytkowników angielskiego
• OpenAI: ograniczenia detektorów treści AI
• The Guardian: jak AI wpływa na język i ocenę ludzkiego stylu
• The Guardian: sprawa Jerry’ego Falade’a