Apple Watch może nauczyć się nowych ruchów dłoni w minutę. Naukowcy pokazali, jak to działa
Spis treści
Apple Watch już dziś rozpoznaje kilka gestów, ale badania zespołów z Northwestern University, Carnegie Mellon University i Google pokazują znacznie ciekawszy kierunek. System TransfHAR pozwala smartwatchowi nauczyć się nowej, powtarzalnej aktywności na podstawie krótkiej demonstracji. W teście z udziałem 10 osób osiągnął 90,4% zrównoważonej dokładności po zaledwie jednej minucie nagrania dla każdej klasy ruchu.
Smartwatch rozpoznaje to, co robimy ręką
TransfHAR korzysta z danych z inercyjnej jednostki pomiarowej, czyli zestawu akcelerometru i żyroskopu. Czujniki rejestrują przyspieszenie oraz obrót nadgarstka, a model uczenia maszynowego przypisuje wzorce do konkretnych czynności. Nie chodzi więc o analizę obrazu z kamery ani o odczytywanie samego ekranu zegarka, lecz o wnioskowanie z ruchu ręki.
Badacze najpierw wykorzystali ponad 2700 godzin publicznie dostępnych danych o ruchu, między innymi chodzeniu, siedzeniu i ćwiczeniach. Takie wstępne uczenie pozwala modelowi zbudować ogólne wyczucie ruchu, a dopiero potem dopasować go do bardziej szczegółowych aktywności użytkownika. W eksperymencie uczestnicy wybierali między innymi mieszanie kawy, rysowanie serca w powietrzu, nakładanie środka do dezynfekcji rąk, otwieranie butelki, wiązanie sznurówki i piłowanie paznokci.
Wystarczy kilkanaście sekund, choć minuta daje najlepszy wynik
Wyniki są interesujące także wtedy, gdy użytkownik nie chce poświęcać pełnej minuty na trening. Pięć krótkich przykładów na klasę dawało w badaniu 86,7% balanced accuracy, a pojedynczy klip trwający 2,56 sekundy pozwalał osiągnąć 75,2%. Po około 51 sekundach nagrania wynik rósł do 89,3%, natomiast pełna jednominutowa aktualizacja dawała średnio 90,4%.
To ważne rozróżnienie: mowa o kontrolowanym badaniu i o średniej z wielu aktywności, a nie o gwarantowanej skuteczności w każdej sytuacji. Ruchy o podobnym przebiegu mogą wyglądać dla zegarka niemal identycznie. Dlatego pisanie, przewijanie ekranu telefonu czy wcieranie kremu są trudniejsze do odróżnienia niż wyraźne, powtarzalne gesty.
Od gestu do skrótu, treningu i opieki nad pacjentem
Najbardziej praktyczny scenariusz jest prosty: użytkownik nagrywa wybraną czynność, nadaje jej nazwę, a aplikacja przypisuje do niej skrót. Ruch mieszania kawy mógłby uruchomić playlistę albo licznik kofeiny, a charakterystyczny wzorzec ćwiczenia rozpocząć rejestrowanie serii. To nadal wizja dla aplikacji korzystającej z takiego modelu, nie funkcja dostępna dziś w systemie watchOS.
Autorzy wskazują także na zastosowania poza automatyką. Zegarek mógłby pasywnie śledzić powtarzalne czynności w opiece nad osobami starszymi, wspierać ćwiczenia rehabilitacyjne albo pomagać analizować drżenie ręki. W każdym z tych przypadków potrzebne byłyby jednak osobne testy kliniczne, ocena prywatności i sprawdzenie wpływu ciągłego rozpoznawania na baterię.
Najciekawsze jest to, że TransfHAR nie wymaga specjalnych czujników zakładanych na dłoń. Wystarczają dane, które współczesny smartwatch i tak zbiera. Zanim podobne rozwiązanie trafi do gotowych produktów, trzeba jeszcze sprawdzić je na większej liczbie użytkowników, w mniej przewidywalnych warunkach i przy długotrwałym użyciu. Sam kierunek jest jednak bardzo obiecujący: zegarek przestaje być wyłącznie ekranem na nadgarstku, a zaczyna rozumieć kontekst ruchu użytkownika.
Źródła
Autor Artykułu
Marek Kasperski
Marek Kasperski - Marek Kasperski to programista–entuzjasta, który po godzinach zanurza się w świecie nowych technologii i sprzętu komputerowego. Na pcarena.pl łączy wiedzę developerską z pasją do PC, pokazując czytelnikom, jak wybrać odpowiednie podzespoły i zoptymalizować sprzęt pod własne projekty. Pisze z perspektywy praktyka, dzięki czemu jego artykuły są jednocześnie techniczne, przystępne i pełne realnych doświadczeń.