Sensor fusion w robotach sprzątających – jak LiDAR, kamera, ToF, IMU i AI współpracują?

Przez pięć poprzednich części tej serii rozbieraliśmy system na pojedyncze elementy.

Najpierw sprawdziliśmy, co naprawdę mierzy LiDAR. Później pokazaliśmy, jak SLAM próbuje z kolejnych pomiarów stworzyć mapę i określić położenie robota.

Przyjrzeliśmy się też temu, co dzieje się z LiDAR-em przy lustrach, szkle i ciemnych powierzchniach, uporządkowaliśmy LDS, dToF, 3D ToF i solid-state LiDAR, a na końcu porównaliśmy LiDAR z vSLAM i nawigacją opartą na kamerze.

Teraz można wreszcie złożyć te elementy z powrotem.

Bo współczesny robot coraz rzadziej próbuje orientować się w mieszkaniu za pomocą jednego sensora.

W specyfikacji jednego urządzenia możemy znaleźć jednocześnie:

• LiDAR,
• kamerę RGB,
• 3D ToF albo światło strukturalne,
• IMU,
• enkodery kół,
• czujniki krawędzi,
• czujniki zbliżeniowe,
• zderzak.

A obok tego wszystkiego producent dopisuje jeszcze:

AI Navigation.

Co właściwie dzieje się z tymi wszystkimi informacjami?

Tu pojawia się pojęcie sensor fusion.

Sensor fusion – co to właściwie znaczy?

Sensor fusion to łączenie informacji pochodzących z kilku sensorów w celu uzyskania bardziej użytecznej, dokładniejszej albo bardziej odpornej oceny sytuacji niż na podstawie pojedynczego źródła.

Nie musi przy tym oznaczać, że wszystkie surowe dane wpadają do jednego wielkiego algorytmu.

Fuzja może zachodzić na różnych poziomach systemu.

Możemy połączyć:

• pomiary potrzebne do określenia pozycji robota,
• cechy wykryte przez różne sensory,
• gotowe wyniki kilku niezależnych modułów percepcji.

W praktyce jeden robot może wykorzystywać kilka takich mechanizmów równocześnie.

Posiadanie wielu sensorów nie oznacza jeszcze sensor fusion

To pierwsze ważne rozróżnienie.

Robot może mieć LiDAR, kamerę i czujniki krawędzi, ale każdy z nich może wykonywać własne, praktycznie niezależne zadanie.

Przykładowo:

• LiDAR tworzy mapę,
• kamera rozpoznaje przedmiot,
• czujnik krawędzi zatrzymuje urządzenie przed schodami.

To już jest system wielosensorowy, ale nie wszystkie dane muszą być ze sobą bezpośrednio łączone.

O sensor fusion mówimy wtedy, gdy informacja pochodząca z jednego źródła wpływa na interpretację albo estymację tworzoną również na podstawie innych źródeł.

Ta różnica jest szczególnie istotna przy czytaniu materiałów producentów.

Samo zestawienie na stronie produktu:

„LiDAR + RGB + 3D Structured Light”

nie mówi jeszcze, w którym miejscu architektury dane są łączone ani jak dokładnie wygląda algorytm.

Dlaczego jeden sensor nie wystarcza?

Bo każdy sensor ma własny sposób patrzenia na świat.

I każdy ma własne słabości.

Właśnie dlatego ich połączenie jest tak interesujące.

Nie szukamy sensora bez wad. Próbujemy połączyć sensory, których wady są różne.

Współczesny robot sprzątający może jednocześnie korzystać z LiDAR-u, kamery RGB, sensora głębi, IMU i odometrii. Każdy z tych sensorów opisuje inne cechy otoczenia i ruchu urządzenia.

Najprostszy przykład: koła mówią, że robot jedzie. LiDAR twierdzi, że stoi

Wyobraźmy sobie robota jadącego po gładkiej podłodze.

Silniki obracają koła.

Enkodery rejestrują obrót.

Z odometrii wynika więc:

robot przesunął się o 20 centymetrów.

Ale jedno koło w tym czasie ślizgało się na mokrej powierzchni.

Fizyczne przesunięcie urządzenia wyniosło tylko 12 centymetrów.

Sam enkoder tego nie wie.

Teraz do gry wchodzi LiDAR.

Nowy skan ścian i mebli nie pasuje do pozycji przewidywanej wyłącznie z obrotu kół.

System może wykorzystać tę różnicę do skorygowania estymacji pozycji.

To właśnie istota fuzji: jedno źródło pomaga wykryć błąd drugiego.

Enkodery kół mogą sugerować większe przesunięcie robota, niż nastąpiło w rzeczywistości. Porównanie odometrii z geometrią odczytaną przez LiDAR pozwala skorygować ten błąd.

IMU może zareagować szybciej niż LiDAR

Każdy sensor pracuje również z inną charakterystyką czasową.

IMU może bardzo często raportować:

• obrót,
• przyspieszenie,
• nagłą zmianę ruchu.

LiDAR potrzebuje natomiast kolejnego pomiaru lub skanu, który trzeba jeszcze dopasować do wcześniejszych danych.

IMU świetnie nadaje się więc do krótkoterminowego śledzenia zmian ruchu.

Ma jednak problem:

niewielkie błędy pomiaru zaczynają się kumulować.

Dlatego w systemach robotycznych bardzo często spotykamy połączenie:

szybkiego, ale dryfującego źródła ruchu + wolniejszej informacji pozwalającej skorygować położenie.

Jak matematycznie połączyć dwie informacje, które nie są identyczne?

Najważniejsze słowo brzmi:

niepewność.

Robot nie powinien traktować każdego pomiaru jak absolutnej prawdy.

W klasycznych systemach estymacji można opisywać:

• aktualnie przewidywany stan robota,
• niepewność tego przewidywania,
• nowy pomiar,
• niepewność pomiaru.

Po pojawieniu się nowej obserwacji estymacja zostaje zaktualizowana.

Jedną z najbardziej znanych rodzin takich narzędzi są:

• Kalman Filter,
• Extended Kalman Filter – EKF,
• Unscented Kalman Filter – UKF.

W SLAM-ie wykorzystuje się również między innymi filtry cząsteczkowe oraz optymalizację grafową.

Nie oznacza to, że możemy bez dokumentacji przypisać konkretnemu Roborockowi czy Dreame konkretny filtr.

Są to przykłady metod powszechnie stosowanych w robotyce do estymacji i fuzji informacji.

Sensor fusion nie jest więc prostym głosowaniem

Częsty obraz sensor fusion wygląda mniej więcej tak:

kamera mówi A,
LiDAR mówi B,
IMU mówi A,
więc dwa głosy wygrywają i odpowiedzią jest A.

Rzeczywista estymacja może wyglądać zupełnie inaczej.

Jeżeli system uważa, że w danej chwili kamera pracuje w bardzo słabym oświetleniu i jej pomiar jest mało wiarygodny, jej wpływ może być ograniczony.

Jeżeli LiDAR otrzymuje serię niespójnych odbić od lustra, część obserwacji może zostać odrzucona jako odstająca.

Jeżeli koła zaczynają się ślizgać, sama odometria nie powinna dominować nad obserwacjami otoczenia.

Liczy się nie tylko to, co sensor zmierzył, ale również jak bardzo system ufa temu pomiarowi w danej sytuacji.

Jeden robot może mieć dwa zupełnie różne rodzaje sensor fusion

To bardzo ważne przy robotach sprzątających.

W uproszczeniu możemy rozdzielić dwa problemy:

Fuzja dla lokalizacji

Odpowiada na pytanie:

gdzie znajduje się robot i jak się porusza?

Może wykorzystywać:

• LiDAR,
• kamerę,
• IMU,
• enkodery kół.

Fuzja dla percepcji przeszkód

Odpowiada na pytanie:

co znajduje się przede mną i jak powinienem na to zareagować?

Tu szczególnie przydatne mogą być:

• kamera RGB,
• 3D ToF,
• światło strukturalne,
• inne sensory zbliżeniowe.

Te dwa procesy później spotykają się na wyższym poziomie.

Robot musi wiedzieć nie tylko:

„to prawdopodobnie przewód”,

ale również:

„przewód leży tutaj względem mojej pozycji i obecnej trasy”.

Przejdźmy przez konkretną sytuację

Wyobraźmy sobie coś znacznie bardziej realistycznego niż laboratoryjna biała ściana.

Robot jedzie przez salon.

Przed nim znajduje się:

• cienki przewód ładujący,
• czarna noga krzesła,
• obok duże szklane drzwi tarasowe.

To właściwie mały koszmar dla pojedynczego sensora.

Zobaczmy, co mogą wnieść różne źródła danych.

LiDAR: gdzie jestem i gdzie są duże granice pomieszczenia?

Główny LiDAR może dostarczać stabilnej geometrii:

• ściany,
• framugi,
• większych mebli,
• innych powierzchni przecinających płaszczyznę pomiarową.

Pomaga to robotowi utrzymywać pozycję na mapie.

Ale bardzo cienki przewód leżący płasko na podłodze może znajdować się poniżej poziomu klasycznego 2D LDS.

Szkło może z kolei wygenerować nietypowe dane, o czym szerzej pisaliśmy w analizie błędów LiDAR-u przy szkle i powierzchniach refleksyjnych.

Kamera RGB: to wygląda jak przewód

Kamera może zarejestrować:

• kolor,
• kontur,
• teksturę,
• otoczenie przedmiotu.

Jeżeli urządzenie korzysta z odpowiedniego modelu computer vision, może próbować sklasyfikować obiekt.

Nie otrzymujemy więc tylko:

„coś jest przed robotem”.

Możemy próbować dojść do:

„to prawdopodobnie przewód”.

A to informacja bardzo istotna przy planowaniu zachowania.

3D ToF lub światło strukturalne: jaki ten obiekt ma kształt?

Tu pojawia się informacja o głębokości.

Sensor przestrzenny może pomóc określić:

• jak daleko znajduje się przeszkoda,
• jak przebiega jej powierzchnia,
• jak jest wysoka,
• gdzie kończy się wolna przestrzeń.

To szczególnie cenne dla małych przeszkód znajdujących się blisko podłogi.

Kamera dostarcza bogatej informacji o wyglądzie, a sensor głębi może dostarczyć bardziej bezpośredniej informacji przestrzennej.

IMU i enkodery: gdzie robot będzie za chwilę?

W tym samym czasie robot cały czas się porusza.

Enkodery obserwują obrót kół.

IMU wykrywa obrót i zmiany ruchu korpusu.

Dzięki temu system może na bieżąco aktualizować przewidywaną pozycję urządzenia pomiędzy kolejnymi obserwacjami otoczenia.

To ważne, bo obraz z kamery, skan LiDAR-u i dane IMU nie muszą pojawiać się dokładnie w tej samej chwili.

W trudnym domowym scenariuszu robot może łączyć geometrię z LiDAR-u, obraz z kamery RGB oraz lokalną głębię z sensora 3D, aby lepiej ocenić położenie i charakter przeszkody.

I dopiero teraz pojawia się decyzja

Jeżeli system uzna, że:

• robot znajduje się w określonym miejscu mapy,
• 35 cm przed nim znajduje się mała przeszkoda,
• jej kształt odpowiada niewielkiemu obiektowi leżącemu na podłodze,
• obraz wskazuje z dużym prawdopodobieństwem na przewód,

moduł planowania może podjąć decyzję:

nie jedź prosto – wyznacz lokalne obejście.

To właśnie jest ogromna różnica pomiędzy:

„robot ma kamerę”

a:

„robot potrafi wykorzystać informacje z różnych sensorów do podjęcia sensownej decyzji”.

Powyższy przykład pokazuje zasadę działania wielosensorowego systemu. Nie opisuje wewnętrznej architektury konkretnego modelu komercyjnego.

Co jeżeli sensory się ze sobą nie zgadzają?

To nie jest sytuacja wyjątkowa.

Właściwie jest jednym z powodów, dla których sensor fusion w ogóle jest potrzebne.

Przykład:

enkodery: robot przejechał 30 cm.

IMU: wystąpił obrót.

LiDAR: geometria otoczenia wskazuje, że rzeczywista zmiana pozycji była mniejsza.

Możliwe wyjaśnienie:

poślizg koła.

Inny przykład:

kamera: widoczna przestrzeń przypomina przejście.

sensor głębi: w tym miejscu znajduje się powierzchnia bardzo blisko robota.

Możliwe wyjaśnienie:

szyba.

Jeszcze inna sytuacja:

kamera: bardzo słaby i zaszumiony obraz.

aktywny sensor odległości: stabilne dane.

System nie powinien w każdej z tych sytuacji zachowywać się identycznie.

Niepewność jest równie ważna jak sam pomiar

To jedna z rzeczy prawie całkowicie niewidocznych w materiałach marketingowych.

Dwa sensory mogą podać:

1,01 m

oraz:

1,08 m.

Nie wystarczy policzyć średniej i uznać, że prawda wynosi 1,045 m.

Trzeba wiedzieć między innymi:

• jak dokładne są oba pomiary,
• czy któryś sensor znajduje się właśnie w trudnych warunkach,
• czy obserwacja pasuje do wcześniejszych danych,
• czy nie jest wartością odstającą.

W probabilistycznych systemach lokalizacji właśnie temu służą modele niepewności.

Dobry sensor fusion nie polega więc na bezmyślnym dodaniu danych. Polega również na wiedzy, kiedy konkretnej informacji nie należy zbytnio ufać.

Early fusion, feature fusion i late fusion

W literaturze dotyczącej wielomodalnej percepcji często spotkamy podział na kilka poziomów fuzji.

Early fusion

Dane z różnych źródeł są łączone bardzo wcześnie, jeszcze przed rozbudowaną interpretacją.

Może to wymagać dokładnego dopasowania informacji w przestrzeni i czasie.

Feature fusion

Każda modalność najpierw przechodzi własne przetwarzanie.

Przykładowo kamera tworzy cechy wizualne, sensor głębi własną reprezentację geometrii, a dopiero później reprezentacje są ze sobą łączone.

Late fusion

Poszczególne systemy tworzą już własne wyniki lub decyzje, które są następnie zestawiane na późniejszym etapie.

Ten podział jest użytecznym modelem stosowanym w badaniach nad multimodalną percepcją. Nie oznacza, że każdy robot sprzątający można łatwo przypisać do jednej z tych kategorii.

Architektura komercyjnych urządzeń najczęściej pozostaje własnością producenta.

Loose coupling i tight coupling – jeszcze jeden ważny podział

W systemach lokalizacyjnych spotkamy również pojęcia:

• loosely coupled,
• tightly coupled.

W dużym uproszczeniu system loosely coupled może łączyć bardziej gotowe wyniki poszczególnych modułów.

Przykładowo:

moduł A oblicza własną pozycję,
moduł B oblicza własną pozycję,
a kolejna warstwa próbuje je połączyć.

W tightly coupled fusion dane lub obserwacje z wielu sensorów mogą być wspólnie uwzględniane wewnątrz jednego procesu estymacji.

Dobrym przykładem naukowym jest LIO-SAM, gdzie dane LiDAR i IMU są ściśle połączone w estymacji wykorzystującej graf czynników.

Znów: LIO-SAM jest przykładem z robotyki i nie oznacza, że konkretny robot sprzątający korzysta właśnie z tego systemu.

Żeby połączyć dane, sensory muszą wiedzieć, gdzie względem siebie się znajdują

Wyobraźmy sobie kamerę patrzącą na przewód.

W obrazie przewód znajduje się w konkretnym miejscu.

LiDAR albo sensor głębi również wykrywa strukturę w przestrzeni.

Ale komputer musi wiedzieć:

jak układ współrzędnych kamery jest położony względem układu sensora głębi i korpusu robota.

Potrzebna jest kalibracja.

Kalibracja ekstrynsyczna – kilka milimetrów i stopni może mieć znaczenie

Sensor zamontowany z przodu urządzenia znajduje się w innym punkcie niż LiDAR znajdujący się bliżej środka.

Ich osie optyczne również mogą być skierowane pod innymi kątami.

Aby połączyć dane, system potrzebuje transformacji opisującej:

• przesunięcie pomiędzy sensorami,
• obrót pomiędzy ich układami współrzędnych.

Jeżeli ta relacja jest błędna, punkt znajdujący się według LiDAR-u w jednym miejscu może zostać nałożony na niewłaściwy fragment obrazu.

Sensor fusion może być więc tak dobre, jak dobra jest kalibracja sensorów.

Jest jeszcze kalibracja czasu

Robot się porusza.

Dlatego nie wystarczy wiedzieć, gdzie znajdują się sensory względem siebie.

Trzeba również wiedzieć:

kiedy dokładnie powstał każdy pomiar.

Jeżeli obraz z kamery reprezentuje wcześniejsze położenie robota, a skan LiDAR-u późniejsze, bez prawidłowej synchronizacji punkty mogą do siebie nie pasować.

Im szybciej porusza się platforma lub zmienia kierunek, tym bardziej widoczny może być problem.

Dlatego współczesna literatura dotycząca LiDAR + camera + IMU traktuje kalibrację przestrzenną i czasową jako jeden z fundamentów skutecznej fuzji.

AI nie jest sensorem

W tym miejscu warto rozprawić się z kolejnym skrótem marketingowym.

AI nie „widzi”.

Sensor widzi – w znaczeniu technicznym rejestruje dane.

AI może natomiast pomagać je interpretować.

Kamera może dostarczyć obraz.

Model wizyjny może na jego podstawie próbować odpowiedzieć:

„to jest przewód”.

Sensor głębi może dostarczyć geometrię.

Algorytm może połączyć ją z cechami obrazu.

AI może więc być częścią systemu percepcji albo fuzji, ale:

AI i sensor fusion to nie są synonimy.

Sensor fusion działał długo przed obecnym boomem na AI

Kalman Filter powstał dziesiątki lat przed współczesnymi sieciami neuronowymi.

Filtry probabilistyczne, odometria, estymacja stanu i łączenie pomiarów z wielu czujników są fundamentami klasycznej robotyki.

Uczenie maszynowe otworzyło nowe możliwości szczególnie w:

• rozpoznawaniu przedmiotów,
• segmentacji obrazu,
• semantycznym rozumieniu sceny,
• łączeniu wielomodalnych reprezentacji.

Ale samo połączenie IMU z odometrią nie potrzebuje „AI” tylko dlatego, że korzysta z dwóch sensorów.

Roborock – StarSight pokazuje przejście do bogatszej percepcji 3D

Dobrym współczesnym przykładem jest Roborock Saros 20 wykorzystujący StarSight Autonomous System 2.0.

Roborock opisuje StarSight jako system oparty między innymi na:

• solid-state LiDAR,
• 3D Time-of-Flight,
• przestrzennej percepcji otoczenia.

W Saros 20 kamera RGB jest dodatkowo wykorzystywana przez funkcje rozpoznawania otoczenia i zabrudzeń.

Producent deklaruje także rozpoznawanie ponad 300 rodzajów przeszkód w ramach obecnej generacji StarSight.

To pokazuje zestawienie geometrii 3D i informacji wizualnej w jednym systemie robota, ale dokumentacja publiczna nie ujawnia pełnej wewnętrznej architektury fuzji ani algorytmów estymacji.

Dreame X50 Ultra – dToF nie pracuje sam

W Dreame X50 Ultra główna nawigacja wykorzystuje VersaLift DToF.

Jednocześnie producent wymienia system unikania przeszkód oparty na:

• kamerze AI RGB,
• 3D Structured Light.

Dreame deklaruje możliwość identyfikowania do 200 typów obiektów i wykorzystuje strukturę 3D do wykrywania między innymi przewodów i skarpet.

To bardzo dobrze pokazuje rozdzielenie zadań:

dToF pomaga w nawigacji i mapowaniu, natomiast RGB + informacja przestrzenna wspierają lokalną percepcję przeszkód.

Nie powinniśmy jednak bez dokumentacji producenta dopisywać, że wszystkie surowe dane trafiają do jednego wspólnego modelu AI.

ECOVACS T50 – producent wprost mówi o współpracy modułów

Jeszcze ciekawszy przykład daje ECOVACS.

Rodzina DEEBOT T50 wykorzystuje:

• zintegrowany dToF LiDAR,
• 3D Structured Light,
• kamerę RGB wspieraną przez AI.

W opisie AIVI 3D 3.0 producent wprost wskazuje, że moduł wizualny i moduł światła strukturalnego współpracują przy monitorowaniu granic wykrytych przeszkód.

ECOVACS wykorzystuje również model Vision-Language Model do warstwy rozpoznawania.

To znacznie ciekawsza informacja niż samo hasło:

„robot ma trzy sensory”.

Producent opisuje bowiem konkretną funkcję, w której różne modalności są wykorzystywane razem.

iRobot Max 705 – LiDAR + PrecisionVision AI

Równie ciekawa jest obecna strategia iRobot.

Przez lata zaawansowane Roomby były mocno kojarzone z vSLAM.

Współczesny Roomba Max 705 Combo wykorzystuje jednak jednocześnie:

• ClearView Pro LiDAR,
• PrecisionVision AI.

Według iRobot LiDAR odpowiada za tworzenie szczegółowej mapy, natomiast PrecisionVision wspiera nawigację wokół obiektów takich jak przewody, buty czy odchody zwierząt.

To kolejny przykład pokazujący główną zmianę na rynku:

nie trzeba już wybierać pomiędzy pomiarem geometrycznym a wizją komputerową.

Porównajmy te podejścia

Ta tabela nie opisuje wewnętrznych algorytmów sensor fusion tych urządzeń. Pokazuje jedynie funkcje i kombinacje sensorów potwierdzone w materiałach producentów.

Dlaczego producenci nie pokazują całej architektury?

Bo to właśnie tam znajduje się znaczna część technologicznej przewagi urządzenia.

Z publicznej specyfikacji możemy dowiedzieć się:

„RGB + 3D ToF + LiDAR”.

Ale zwykle nie dowiemy się dokładnie:

• jak często pobierane są dane,
• jak są synchronizowane,
• jaki model niepewności zastosowano,
• które obserwacje są odrzucane,
• jak działa ważenie poszczególnych sensorów,
• czy fuzja jest luźna czy ścisła,
• na jakim poziomie łączone są dane kamery i głębi,
• jak wygląda cały graf estymacji pozycji.

Dlatego trzeba zachować ostrożność w artykułach technicznych.

Z listy sensorów można opisać ich potencjalne role. Nie można na jej podstawie odtworzyć nieujawnionego algorytmu producenta.

Więcej sensorów nie oznacza automatycznie lepszego robota

To chyba najważniejsza rzecz z perspektywy kupującego.

Wyobraźmy sobie dwa roboty.

Robot A ma:

• LiDAR,
• dwie kamery,
• ToF,
• światło strukturalne,
• IMU.

Robot B ma prostszy zestaw sensorów.

Na papierze A wygląda bezdyskusyjnie lepiej.

Ale jeżeli jego:

• kalibracja jest słaba,
• algorytm źle odrzuca anomalie,
• kamera klasyfikuje zbyt wiele przedmiotów błędnie,
• planer reaguje zbyt zachowawczo,
• dane docierają z dużym opóźnieniem,

efekt użytkowy może być gorszy niż w prostszym, ale dobrze zestrojonym systemie.

Liczba sensorów jest parametrem sprzętu. Jakość ich współpracy jest cechą całego robota.

Sensor fusion może nawet pogorszyć wynik

To brzmi paradoksalnie, ale źle połączone dane nie muszą dawać lepszego rezultatu.

Jeżeli jeden sensor jest błędnie skalibrowany, może systematycznie przesuwać obserwacje.

Jeżeli pomiary nie są zsynchronizowane, robot może próbować łączyć dane dotyczące dwóch różnych chwil.

Jeżeli algorytm zbyt mocno ufa wadliwemu pomiarowi, zamiast skorygować błąd może go wprowadzić do całej estymacji.

Dlatego sensor fusion nie jest magiczną receptą:

więcej danych ≠ automatycznie lepsze dane.

Najważniejszego parametru nie znajdziemy w specyfikacji

Producenci mogą podać:

• liczbę sensorów,
• liczbę punktów ToF,
• kąt widzenia,
• liczbę rozpoznawanych obiektów,
• nazwę modelu AI.

Ale jeden z najważniejszych parametrów praktycznie nie ma prostej jednostki:

jak dobrze cały system został zintegrowany.

To właśnie integracja decyduje, czy robot:

• utrzyma pozycję po poślizgu koła,
• nie zgubi się po chwilowej utracie informacji z jednego sensora,
• odróżni prawdziwą przeszkodę od anomalii,
• zareaguje wystarczająco szybko,
• nie będzie omijał każdego cienia jak przeszkody,
• podjedzie wystarczająco blisko mebla, zamiast zostawiać szeroki pas brudu.

Takich rzeczy nie da się wiarygodnie ocenić wyłącznie na podstawie tabeli specyfikacji.

Dlaczego test realnego robota nadal jest potrzebny?

Specyfikacja może powiedzieć:

„kamera + 3D Structured Light”.

Ale dopiero zachowanie urządzenia pokaże:

• czy zauważa czarny przewód na ciemnej podłodze,
• czy rozpoznaje go również wieczorem,
• jak blisko omija przeszkodę,
• czy po jej przesunięciu aktualizuje trasę,
• czy nie zaczyna widzieć przeszkód tam, gdzie ich nie ma.

Sensor fusion jest więc jednym z tych obszarów, gdzie sama karta produktu mówi wyjątkowo mało o końcowym doświadczeniu użytkownika.

Czy sensor fusion rozwiąże problem luster i szkła?

Może pomóc, ale nie usuwa fizyki.

LiDAR może otrzymać nietypowe odbicie.

Kamera może zobaczyć bardzo przekonujący obraz w lustrze.

Sensor głębi również może mieć własne ograniczenia na powierzchni transparentnej.

Jeżeli jednak anomalie każdego sensora są inne, dodatkowe źródła informacji mogą pomóc wykryć niespójność.

To właśnie największa zaleta multimodalnego systemu:

różne sensory mogą popełniać różne błędy.

Nie oznacza to jednak, że robot wyposażony w kamerę, LiDAR i ToF automatycznie przestanie mieć problemy z każdą szklaną powierzchnią.

Czy sensor fusion poprawia pracę po ciemku?

Może zwiększyć odporność systemu.

Jeżeli zwykła kamera RGB traci użyteczne informacje z powodu bardzo słabego światła, aktywny LiDAR lub sensor głębi może nadal dostarczać danych przestrzennych.

Niektóre roboty wykorzystują również własne oświetlenie.

Ważna jest więc możliwość przejścia z sytuacji:

„jeden sensor zawiódł, więc robot nie wie, co robić”

do:

„jedno źródło stało się mniej wiarygodne, ale pozostałe nadal pozwalają pracować”.

Czy sensor fusion oznacza pełną redundancję?

Nie.

Redundancja i komplementarność to dwie różne rzeczy.

Dwa sensory mierzące podobną wielkość mogą zapewnić częściową redundancję.

Kamera RGB i IMU nie są natomiast wzajemnymi zamiennikami.

Dostarczają zupełnie różnych informacji.

Ich wartość wynika z komplementarności.

Dlatego awaria jednego sensora nadal może spowodować utratę funkcji, której żaden pozostały sensor nie potrafi w pełni zastąpić.

Co z prywatnością, gdy do fusion dochodzi kamera?

Sam sensor fusion nie oznacza, że obrazy są wysyłane do chmury.

Nie oznacza też automatycznie, że są zapisywane.

To zależy od architektury konkretnego urządzenia i polityki producenta.

Ale w porównaniu z robotem korzystającym wyłącznie z sensorów odległości pojawia się dodatkowy rodzaj danych:

klasyczny obraz wnętrza.

Dlatego przy urządzeniach wyposażonych w RGB nadal warto sprawdzić:

• gdzie odbywa się przetwarzanie obrazu,
• czy fotografie są przechowywane,
• czy mogą być przesyłane na serwery,
• czy funkcje obrazu można wyłączyć,
• jak producent zabezpiecza dane.

Jak czytać specyfikację nowoczesnego robota?

Zamiast liczyć sensory, zadawałbym producentowi lub recenzentowi konkretne pytania.

Co odpowiada za główną lokalizację?

LiDAR? Kamera? 3D ToF? Połączenie kilku źródeł?

Co odpowiada za małe przeszkody?

Kamera RGB, światło strukturalne, ToF czy inny sensor?

Co dzieje się przy słabym świetle?

Czy robot ma aktywne sensory lub własne oświetlenie?

Co się dzieje po schowaniu głównego LiDAR-u?

Jakie sensory pozostają aktywne i utrzymują nawigację?

Czy kamera rozpoznaje przedmioty, czy uczestniczy w lokalizacji?

To dwa zupełnie różne zadania.

Czy producent mówi o współpracy sensorów, czy jedynie wymienia ich obecność?

Ta różnica jest bardzo ważna.

Najbardziej zaawansowany robot nie musi mieć największej liczby sensorów

Po tej całej serii można dojść do dość przewrotnego wniosku.

Nie istnieje:

„najlepszy LiDAR”,

„najlepsza kamera”

ani:

„idealny zestaw pięciu sensorów”.

Sensor jest tylko źródłem informacji.

Najważniejsze jest to, czy system potrafi:

• poprawnie ją zinterpretować,
• oszacować jej wiarygodność,
• połączyć ją z innymi obserwacjami,
• odrzucić błędne dane,
• i w odpowiednim momencie zamienić wynik na właściwą decyzję.

Dobry robot nie jest tym, który ma najwięcej oczu. Jest tym, który najlepiej rozumie informacje dostarczane przez te, które posiada.

Od LiDAR-u do systemu percepcji – podsumowanie całej serii

Zaczęliśmy od prostego pytania:

„co to jest ten LiDAR?”

Okazało się, że odpowiedź prowadzi znacznie dalej.

LiDAR wykonuje pomiary, ale sam nie jest mapą.

SLAM próbuje określić pozycję i budować mapę, ale musi pracować na danych obarczonych błędami.

Lustra, szkło i materiały o różnych właściwościach optycznych mogą zmieniać wynik pomiaru.

LDS, dToF, 3D ToF i solid-state opisują różne cechy systemów, a nie jedną prostą linię rozwoju technologii.

Kamera widzi świat inaczej niż laser i dlatego porównanie LiDAR kontra vSLAM nie ma jednego zwycięzcy.

A współczesne roboty coraz częściej odpowiadają na te problemy nie poprzez szukanie jednego idealnego sensora, lecz przez łączenie kilku źródeł informacji.

I właśnie dlatego przy następnej premierze robota znacznie bardziej niż pytanie:

„czy ma LiDAR?”

interesowałoby mnie:

„jak cały jego system percepcji rozumie to, co dzieje się wokół?”

Najważniejsze wnioski

• Sensor fusion oznacza łączenie informacji z różnych sensorów, a nie samo posiadanie wielu czujników.
• LiDAR, kamera RGB, ToF, IMU i enkodery dostarczają różnego rodzaju danych i mają różne słabości.
• Jednym z największych atutów fuzji jest możliwość wykorzystania sensorów o komplementarnych błędach.
• Odometria może być korygowana obserwacją otoczenia, jeżeli koła zaczynają się ślizgać.
• IMU daje szybką informację o zmianie ruchu, ale jej błędy mogą narastać.
• Fuzja danych nie polega po prostu na głosowaniu sensorów – ważna jest również niepewność pomiarów.
• Sensor fusion może dotyczyć zarówno lokalizacji, jak i rozpoznawania przeszkód.
• Early, feature i late fusion opisują różne poziomy łączenia informacji.
• AI może uczestniczyć w sensor fusion, ale AI i sensor fusion nie są synonimami.
• Kalibracja przestrzenna i synchronizacja czasu są kluczowe dla poprawnego łączenia sensorów.
• Większa liczba sensorów nie gwarantuje lepszego zachowania robota.
• W komercyjnych robotach producenci zwykle nie ujawniają pełnej architektury fuzji danych.
• Coraz ważniejszym wyróżnikiem robota staje się jakość całego systemu percepcji, a nie nazwa pojedynczego sensora.

FAQ – sensor fusion w robotach sprzątających

Co to jest sensor fusion?

Sensor fusion to proces łączenia informacji z kilku sensorów w celu uzyskania bardziej użytecznej lub bardziej odpornej oceny sytuacji niż na podstawie pojedynczego źródła. W robocie mogą być łączone między innymi dane z LiDAR-u, kamery, IMU, odometrii i sensorów głębi.

Czy robot z LiDAR-em i kamerą zawsze korzysta z sensor fusion?

Nie. Sam fakt obecności kilku sensorów nie dowodzi, że ich dane są bezpośrednio łączone. Poszczególne sensory mogą również realizować niezależne funkcje. Do potwierdzenia konkretnej architektury potrzebna jest dokumentacja producenta.

Po co robotowi jednocześnie LiDAR i kamera?

LiDAR dostarcza przede wszystkim informacji o geometrii i odległości, natomiast kamera RGB zawiera bogatą informację o wyglądzie obiektów. Dzięki temu system może łączyć pomiar przestrzeni z analizą tego, co znajduje się przed robotem.

Po co robotowi IMU, skoro ma LiDAR?

IMU bardzo szybko rejestruje ruch obrotowy i przyspieszenia. Może wspierać śledzenie zmian położenia pomiędzy kolejnymi obserwacjami LiDAR-u. Sama IMU ma jednak tendencję do narastania błędów, dlatego korzystne jest jej łączenie z innymi źródłami.

Jak robot wykrywa poślizg kół?

Enkodery mogą wskazywać ruch wynikający z obrotu koła, który nie odpowiada rzeczywistemu przesunięciu robota. Porównanie odometrii z IMU, LiDAR-em lub inną obserwacją otoczenia może pozwolić systemowi zauważyć niespójność i skorygować estymację pozycji.

Czy AI i sensor fusion to to samo?

Nie. Sensor fusion jest ogólnym procesem łączenia informacji z wielu źródeł i może korzystać z klasycznych metod probabilistycznych. AI może być jednym z narzędzi wykorzystywanych np. do ekstrakcji cech, rozpoznawania obiektów lub łączenia wielomodalnych reprezentacji.

Czy więcej sensorów oznacza lepszego robota?

Nie. Znaczenie mają również jakość sensorów, ich kalibracja, synchronizacja, algorytmy estymacji i sposób podejmowania decyzji. Źle zintegrowany zestaw wielu sensorów może działać gorzej od prostszego, ale dobrze dopracowanego systemu.

Co to jest early fusion?

To określenie stosowane w systemach wielomodalnych, w których informacje z różnych sensorów są łączone na stosunkowo wczesnym etapie przetwarzania. Innymi podejściami są między innymi fuzja cech oraz late fusion, czyli łączenie późniejszych wyników lub decyzji.

Dlaczego sensory muszą być synchronizowane?

Ponieważ robot jest w ruchu. Jeżeli kamera i LiDAR dostarczą dane odnoszące się do różnych chwil, ta sama przeszkoda może znajdować się w innym miejscu względem urządzenia. Poprawna synchronizacja czasowa jest więc istotnym elementem systemów wielosensorowych.

Czy sensor fusion rozwiązuje problemy LiDAR-u z lustrem i szkłem?

Nie gwarantuje ich całkowitego usunięcia. Dodatkowe sensory mogą jednak dostarczyć informacji pozwalających wykryć niespójność lub ograniczyć wpływ błędnego pomiaru. Skuteczność zależy od konkretnej implementacji.

Jaki sensor jest najważniejszy w robocie sprzątającym?

Nie ma jednej odpowiedzi. Dla lokalizacji bardzo wartościowy może być LiDAR, dla rozpoznawania przedmiotów kamera RGB, a dla lokalnej geometrii sensor głębi. Współczesne konstrukcje coraz częściej wykorzystują różne sensory do różnych zadań i łączą ich informacje na wybranych poziomach systemu.