Rozpoznawanie gestów to technologia wykorzystująca sensory do odczytywania ruchów ręki i interpretacji ich jako poleceń. W przemyśle motoryzacyjnym ta funkcjonalność umożliwia kierowcy i pasażerom interakcję z pojazdem, zazwyczaj w celu bezdotykowego sterowania systemem informacyjno-rozrywkowym.
Firma Aptiv jako pierwsza na rynku opracowała technologię rozpoznawania gestów w samochodzie i wprowadziła ją do użytku w 2015 roku w BMW serii 7. Systemu używa się do sterowania funkcjami audio i przychodzącymi połączeniami.
Wraz z rozwojem tej technologii rozpoznawanie gestów zacznie wykraczać poza systemy informacyjno-rozrywkowe i pozwoli kierowcom sterować innymi systemami w pojeździe, takimi jak klimatyzacja czy kontrola zewnętrznych systemów inteligentnego domu. Przykładowo, w drodze do domu za pomocą prostego gestu ręki można będzie spojrzeć na obraz z kamery monitorującej otoczenie domu. Gesty będą mogły także aktywować funkcje systemu telematycznego, aby pojazd mógł dostarczyć informacje na temat obiektów w pobliżu samochodu wskazanych przez rękę kierowcy.
Jak to działa?
Rozpoznawanie gestów rozpoczyna się w sensorze optycznym skierowanym na obszar monitorowania w samochodzie, gdzie przechwytuje się klatka po klatce obraz ręki i rejestruje się ruch w przestrzeni trójwymiarowej. Zazwyczaj kamera jest zamontowana w module dachowym lub w innym punkcie obserwacyjnym, który rzadko jest zasłonięty.
Aby wyeliminować braki oświetlenia naturalnego, stosuje się podświetlenie światłem podczerwonym za pomocą diod LED lub laserów.
Obraz jest analizowany w czasie rzeczywistym przy pomocy komputerowych technik wizyjnych i uczenia maszynowego, czego efektem jest transformacja ruchów ręki na polecenia za pomocą zaprogramowanej biblioteki wzorców.
Polecenia generowane przez system rozpoznawania gestów stają się sygnałami sterującymi, podobnymi do przekręcenia pokrętła, naciśnięcia przycisku czy dotknięcia ekranu. Rozwój jakości sensorów i zwiększenie ich liczby w kabinie samochodu pozwoli na rozpoznawanie gestów także innych pasażerów pojazdu.
Jakie są typowe gesty?
Każdy producent OEM może opracowywać własne warianty, ale są już przyjęte pewne podstawowe gesty:
- Obrót jednym palcem w prawo oznacza zwiększenie głośności radia lub zbliżenie na mapie
- Obrót jednym palcem w lewo ma działanie przeciwne
- Gest wskazywania jednym lub dwoma palcami oznacza odebranie połączenia
- Machnięcie ręką oznacza odrzucenie połączenia
- W samochodzie BMW gest dwoma palcami, bez ruchu, służy do sterowania różnymi innymi funkcjami, na przykład może wyciszyć system audio.
Ruch szczypania kciukiem i palcem wskazującym może także służyć do manipulowania obrazem rozszerzonej rzeczywistości (AR) na wyświetlaczu pojazdu. W ten sposób kierowca może na przykład uzyskać obraz pojazdu w ciasnym miejscu parkingowym ze wszystkich stron.
Szerszy obraz
Wśród korzyści płynących z funkcji rozpoznawania gestów wyróżnić można: zwiększenie bezpieczeństwa — wykonywanie gestu w mniejszym stopniu odrywa uwagę kierowcy od drogi niż gdyby musiał się posługiwać dotykowymi elementami sterującymi — oraz wygodne sterowanie funkcjami pojazdu za pomocą prostych gestów zamiast potencjalnie skomplikowanych opcji menu.
Rozpoznawanie gestów to bardzo interesująca technologia, ale zarazem tylko jedna z części szerokiej platformy czujników wewnętrznych opartej na pracy kamer, która jest w stanie interpretować polecenia głosowe oraz ruchy oczu i ciała kierowcy. Dzięki niej pojazd może rozpoznawać kierowcę, dostosowywać ustawienia do jego preferencji, monitorować jego poziom skupienia i nastrój, przejmować kontrolę nad hamowaniem w sytuacji zagrożenia oraz włączać i wyłączać tryb jazdy autonomicznej.
