AI porządkuje rozmowy, ale nadal gubi ich znaczenie. Naukowcy pokazali granice analizy tekstu
Spis treści
Sztuczna inteligencja potrafi szybko wyłapać główne tematy z rozmów, ale nie zawsze rozumie, co naprawdę znaczą. Badanie zespołu University of Missouri pokazuje, że podobieństwo tematów znalezionych przez model do ludzkiej analizy nie jest równoznaczne z zachowaniem kontekstu.
Model znalazł większość tematów, lecz nie odtworzył ich sensu
Naukowcy przeanalizowali 32 wywiady z wykładowcami, praktykami i studentami pielęgniarstwa. Rozmowy dotyczyły doświadczeń związanych z generatywną AI. Najpierw ludzie wyodrębnili w nich 12 tematów, a następnie badacze porównali je z wynikami systemu BERTopic, który grupuje fragmenty tekstu na podstawie podobieństwa znaczeniowego.
BERTopic znalazł odpowiednik 11 z 12 tematów wyłonionych przez badaczy. To dobry wynik na poziomie orientacyjnego porządkowania materiału, ale nie dowód, że model właściwie zinterpretował każdą wypowiedź. W jednym przypadku kilka odrębnych wątków trafiało do jednego szerokiego klastra. W innym pojedynczy temat rozpadał się na kilka mniejszych grup, przez co trudniej było zobaczyć jego wspólny sens.
Autorzy podkreślają też, że podobieństwo nie oznacza zgodności z ludzkim kodowaniem. W artykule naukowym zaznaczają, że ludzkie tematy nie są absolutnym „złotym standardem”, a porównanie obu reprezentacji ma ujawniać miejsca wymagające dalszej interpretacji. To ważne rozróżnienie: model może uporządkować materiał na użyteczny sposób, nawet jeśli jego podział nie pokrywa się dokładnie z analizą człowieka.
AURA ma sprawdzać nie tylko zgodność, lecz także użyteczność
Zespół zaproponował sześciostopniowy proces Alignment and Usefulness Rating Audit, w skrócie AURA. Obejmuje on przygotowanie i walidację transkrypcji, uporządkowanie danych, modelowanie tematów oraz dwa dodatkowe testy. Pierwszy sprawdza zgodność tematów maszynowych z tematami opracowanymi przez ludzi, a drugi pyta ekspertów, czy wynik jest klarowny i przydatny analitycznie.
W badaniu wszystkie osiem tematów wygenerowanych w wybranym modelu otrzymało od dwóch recenzentów co najmniej 3 punkty w pięciostopniowej skali użyteczności. Najwyżej oceniono temat dotyczący AI w decyzjach klinicznych i zaufania do takich narzędzi, a najniżej, choć nadal powyżej progu akceptacji, tematy związane ze wsparciem decyzji pielęgniarek oraz dokumentacją medyczną wzbogaconą o AI.
Wysoka ocena użyteczności nie oznacza jednak, że maszynowe tematy są lepsze od ludzkich ani że przynoszą nowe odkrycia. Badacze znaleźli niewiele dowodów na to, że system konsekwentnie ujawniał istotne wnioski, których wcześniej nie zauważyli ludzcy analitycy.
To narzędzie do pierwszego porządkowania, nie cyfrowy interpretator
W praktyce taki model może skrócić pracę z dużym zbiorem wywiadów, grup fokusowych albo odpowiedzi otwartych. Nie powinien jednak samodzielnie rozstrzygać, co uczestnicy mieli na myśli. W ochronie zdrowia, edukacji i badaniach społecznych różnica między „często pojawiającym się słowem” a doświadczeniem opisanym w konkretnym kontekście może mieć zasadnicze znaczenie.
Autorzy zastrzegają, że sprawdzili niewielki zbiór rozmów dotyczących jednego obszaru, a próg podobieństwa wykorzystany w audycie był dopasowany do tego przypadku i nie stanowi uniwersalnej normy. AURA jest więc przede wszystkim propozycją sposobu kontroli wyników, a nie certyfikatem, że dowolny model AI rozumie ludzkie wypowiedzi. Najrozsądniejszy układ pozostaje podobny do dobrego duetu na boisku: algorytm przyspiesza rozegranie, ale człowiek nadal podejmuje decyzję, jaki jest sens całej akcji.
Źródła
Autor Artykułu
Piotr Tchórz
Redaktor naczelny PC Arena. Łączy doświadczenie redakcyjne z zainteresowaniem komputerami, nowymi technologiami i sztuczną inteligencją. Pisze o tym, co zmienia się w świecie PC - od sprzętu i oprogramowania po praktyczne zastosowania AI.