AI nauczył się czytać z ruchu ust. Nowy model działa bez dźwięku
Wyobraź sobie rozmowę w hali produkcyjnej, na koncercie albo w zatłoczonej restauracji, w której słowa giną w hałasie. Nowy system opracowany przez Korea Advanced Institute of Science and Technology (KAIST) pokazuje, że dodatkowym źródłem informacji może być sam obraz. Model DLLM-VSR analizuje ruchy ust i zamienia je na tekst bez nagrania audio.
To nie jest uniwersalny czytnik myśli. W teście LRS3 system uzyskał WER 19,4 proc., a wynik dotyczy błędów pojedynczych słów, nie odsetka całych rozmów rozpoznanych poprawnie.
Jak działa czytanie z ust?
Głoski „p”, „b” i „m” mogą wyglądać podobnie, dlatego model korzysta z kontekstu całego zdania. DLLM-VSR najpierw wybiera fragmenty, co do których ma największą pewność, a potem uzupełnia zamaskowane miejsca, wykorzystując kontekst z obu stron. Tworzy też kandydackie transkrypcje o kilku długościach i wybiera najbardziej prawdopodobną.
Model trenowano na 433 godzinach oznakowanych nagrań ze zbioru LRS3, złożonego z materiałów TED i TEDx. To benchmark badawczy, więc wynik nie mówi, jak system poradzi sobie przy zasłoniętych ustach, innym oświetleniu, wielu rozmówcach czy spontanicznej mowie.
Szansa dla dostępności i pytania o prywatność
Technologia może pomóc w miejscach, gdzie dźwięk jest niewyraźny, oraz w urządzeniach wspierających osoby głuche i niedosłyszące. Do codziennego użycia potrzebne są jednak mniejsze wymagania obliczeniowe i działanie w czasie rzeczywistym.
Kamera odczytująca prawdopodobną treść z cichego nagrania rodzi pytania o zgodę, przechowywanie materiału i niejawne obserwowanie. Ewentualne wdrożenia powinny jasno informować o analizie obrazu i uwzględniać możliwość błędu.
DLLM-VSR pokazuje obiecujący kierunek: system nie musi podejmować decyzji wyłącznie od lewej do prawej, lecz może najpierw wykorzystać najbardziej czytelne fragmenty wypowiedzi.
Źródła
Autor Artykułu
Paweł Lisowski
Paweł Lisowski - pasjonat technologii, komputerów i internetu. Od wielu lat śledzi rozwój sprzętu i oprogramowania, testuje nowe rozwiązania i dzieli się wiedzą z czytelnikami. Zafascynowany wpływem technologii na codzienne życie, tworzy praktyczne poradniki i inspiruje do świadomego korzystania z cyfrowego świata.