Asystent AI dla osób niewidomych mówi za dużo. Badanie pokazuje, gdzie zawodzi
By Paweł Lisowski
Spis treści
Be My AI potrafi opisać zdjęcie, rozpoznać przedmioty i odpowiedzieć na pytania o to, co widzi kamera. Problem zaczyna się wtedy, gdy osoba niewidoma potrzebuje jednej konkretnej informacji, a dostaje długi opis całej sceny. Badanie zespołu z University of Maryland pokazuje, że użytkownicy muszą często wykonywać dodatkową pracę, aby sprowadzić odpowiedź do tego, czego naprawdę potrzebują.
Krótka prośba, bardzo długa odpowiedź
W pracy Say It My Way: Exploring Control in Conversational Visual Question Answering with Blind Users przeanalizowano korzystanie z Be My AI, funkcji aplikacji Be My Eyes. W badaniu wzięło udział 11 osób niewidomych. Najpierw uczestnicy pracowali w laboratorium, a później przez 10 dni używali narzędzia w codziennych sytuacjach. Łącznie badacze przeanalizowali 418 interakcji.
Największa różnica dotyczyła długości wypowiedzi. Pytania użytkowników były zwykle krótkie, natomiast odpowiedzi systemu ponad dziesięciokrotnie dłuższe. Rozmowy miały zazwyczaj trzy tury, ale w trudniejszych przypadkach ciągnęły się nawet przez 21 wymian. Dla osoby słuchającej odpowiedzi przez syntezator mowy oznacza to konieczność czekania na właściwy szczegół albo wielokrotnego dopytywania.
To nie jest wyłącznie problem wygody. W systemie używanym głosowo kolejność informacji ma praktyczne znaczenie: najważniejsza odpowiedź powinna pojawić się przed opisem tła, kolorów i elementów, o które nikt nie pytał.
Użytkownicy muszą uczyć AI własnych potrzeb
Uczestnicy próbowali odzyskać kontrolę na kilka sposobów. Dodawali kontekst, wyjaśniali cel pytania, prosili o krótszą odpowiedź albo dzielili złożone zadanie na serię prostszych pytań. Jedna z osób sprawdzających ciasto chlebowe pytała osobno o jego rozmiar, powierzchnię, pęcherzyki powietrza i ilość mąki. Było to czasochłonne, ale pozwalało uzyskać bardziej przewidywalne informacje.
W innym scenariuszu system opisywał, że część kiełbasek nadal wygląda na różową, lecz użytkownik potrzebował wskazówki, co zrobić dalej. Taki przykład dobrze pokazuje różnicę między opisem obrazu a pomocą w wykonaniu zadania. Podobnie przy szukaniu kluczy pełny opis pomieszczenia może opóźnić odpowiedź na najważniejsze pytanie: gdzie znajduje się poszukiwany przedmiot.
Potrzebne są ustawienia, a nie skomplikowane prompty
Badacze wskazują, że obecne systemy mają także problemy z oceną odległości i zmian w czasie. Nie zawsze podpowiadają, jak ustawić kamerę, a opisują przestrzeń względem kadru, na przykład "w lewym górnym rogu", zamiast względem użytkownika i przedmiotów, które może dotknąć lub znać.
Wnioski są istotne również dla projektantów innych asystentów multimodalnych. Użytkownik powinien móc szybko przełączyć tryb krótkiej odpowiedzi, określić, czy potrzebuje opisu, lokalizacji czy instrukcji działania, a w sytuacjach ważnych otrzymać jasny sygnał, że wynik wymaga dodatkowej weryfikacji. Sama możliwość dopisania bardziej złożonego promptu nie jest jeszcze dobrą dostępnością.
Be My Eyes podkreśla w swojej dokumentacji, że Be My AI może się mylić i nie powinno być jedynym źródłem informacji w sprawach istotnych dla bezpieczeństwa. Badanie UMD dopowiada, że nawet poprawna odpowiedź może być mało użyteczna, jeśli najważniejszy fragment zostanie ukryty w zbyt długim opisie.
Źródła
Autor Artykułu
Paweł Lisowski
Paweł Lisowski - pasjonat technologii, komputerów i internetu. Od wielu lat śledzi rozwój sprzętu i oprogramowania, testuje nowe rozwiązania i dzieli się wiedzą z czytelnikami. Zafascynowany wpływem technologii na codzienne życie, tworzy praktyczne poradniki i inspiruje do świadomego korzystania z cyfrowego świata.