Aktualności Artykuł

AI nauczył się czytać z ruchu ust. Nowy model działa bez dźwięku

Dodano: 16.11.2026
Aktualizacja: 16.11.2026, 10:01
AI nauczył się czytać z ruchu ust. Nowy model działa bez dźwięku
Grafika wygenerowana przez AI
Dodaj PC Arena do ulubionych źródeł w Google i wesprzyj redakcję!

Wyobraź sobie rozmowę w hali produkcyjnej, na koncercie albo w zatłoczonej restauracji, w której słowa giną w hałasie. Nowy system opracowany przez Korea Advanced Institute of Science and Technology (KAIST) pokazuje, że dodatkowym źródłem informacji może być sam obraz. Model DLLM-VSR analizuje ruchy ust i zamienia je na tekst bez nagrania audio.

To nie jest uniwersalny czytnik myśli. W teście LRS3 system uzyskał WER 19,4 proc., a wynik dotyczy błędów pojedynczych słów, nie odsetka całych rozmów rozpoznanych poprawnie.

Jak działa czytanie z ust?

Głoski „p”, „b” i „m” mogą wyglądać podobnie, dlatego model korzysta z kontekstu całego zdania. DLLM-VSR najpierw wybiera fragmenty, co do których ma największą pewność, a potem uzupełnia zamaskowane miejsca, wykorzystując kontekst z obu stron. Tworzy też kandydackie transkrypcje o kilku długościach i wybiera najbardziej prawdopodobną.

Model trenowano na 433 godzinach oznakowanych nagrań ze zbioru LRS3, złożonego z materiałów TED i TEDx. To benchmark badawczy, więc wynik nie mówi, jak system poradzi sobie przy zasłoniętych ustach, innym oświetleniu, wielu rozmówcach czy spontanicznej mowie.

Szansa dla dostępności i pytania o prywatność

Technologia może pomóc w miejscach, gdzie dźwięk jest niewyraźny, oraz w urządzeniach wspierających osoby głuche i niedosłyszące. Do codziennego użycia potrzebne są jednak mniejsze wymagania obliczeniowe i działanie w czasie rzeczywistym.

Kamera odczytująca prawdopodobną treść z cichego nagrania rodzi pytania o zgodę, przechowywanie materiału i niejawne obserwowanie. Ewentualne wdrożenia powinny jasno informować o analizie obrazu i uwzględniać możliwość błędu.

DLLM-VSR pokazuje obiecujący kierunek: system nie musi podejmować decyzji wyłącznie od lewej do prawej, lecz może najpierw wykorzystać najbardziej czytelne fragmenty wypowiedzi.

Źródła

Dodaj PC Arena do ulubionych źródeł w Google i wesprzyj redakcję!
Paweł Lisowski

Autor Artykułu

Paweł Lisowski

Paweł Lisowski - pasjonat technologii, komputerów i internetu. Od wielu lat śledzi rozwój sprzętu i oprogramowania, testuje nowe rozwiązania i dzieli się wiedzą z czytelnikami. Zafascynowany wpływem technologii na codzienne życie, tworzy praktyczne poradniki i inspiruje do świadomego korzystania z cyfrowego świata.

Udostępnij:

Podobne Wpisy

Zobacz Także