Zobaczyć to, co zakryte, zajrzeć przez ścianę? Przyda się w wielu biznesach, bezpieczeństwie i… inwigilacji

Widzenie w podczerwieni, radary, noktowizja – takie technologie już od dłuższego czasu pozwalają zobaczyć rzeczy, których nie dostrzega ludzkie oko. Jednak okazuje się, że można osiągnąć jeszcze więcej – zajrzeć np. za róg albo przez przeszkodę. Zastosowania takich urządzeń mogą być różnorodne – sprawdzanie paczek przez roboty w magazynie, kontrola bagaży czy obserwacja otoczenia przez autonomiczne samochody. Tego typu zdolności mają zyskać nawet smartfony czy okulary do rozszerzonej rzeczywistości. Jak każdy pożyteczny wynalazek, tak i ten może mieć jednak i złowrogie zastosowania. Nie będziemy mogli czuć się w naszych domach bezpiecznie.

AI i fale radiowe zaglądają za róg

Roboty uczą się widzieć, co jest za rogiem. Pozwala na to HoloRadar – wynalazek zespołu z University of Pennsylvania School of Engineering and Applied Science. Ponadto urządzenie działa nawet w ciemnościach, jest nieduże i mobilne.

Według naukowców będzie mogło znaleźć  zastosowanie nie tylko w robotach, ale także np. w autonomicznych samochodach. „Roboty i pojazdy autonomiczne muszą widzieć więcej niż tylko to, co znajduje się bezpośrednio przed nimi. Ta zdolność jest kluczowa, aby pomagać tym urządzeniom podejmować bezpieczniejsze decyzje w czasie rzeczywistym” – podkreśla prof. Mingmin Zhao, autor systemu.

System wykorzystuje analizowane przez sztuczną inteligencję fale radiowe. Jak wyjaśniają badacze, z pomocą tych fal, co do zasady trudno uzyskuje się obraz otoczenia, ponieważ mają dużą długość, a co za tym idzie, zapewniają niską rozdzielczość. Jednak w tym przypadku mają one ważną zaletę. „Ponieważ fale radiowe są znacznie większe niż drobne nierówności powierzchni ścian, powierzchnie te w praktyce stają się lustrami, które odbijają sygnały radiowe w przewidywalny sposób” – wyjaśnia Haowen Lai, jeden z naukowców.

W praktyce oznacza to, że ściany, podłogi czy sufity mogą odbijać sygnały radiowe za rogi, przenosząc do robota informacje o zakrytych przed nim przestrzeniach. HoloRadar wychwytuje te odbicia i rekonstruuje to, co znajduje się poza bezpośrednim polem widzenia. „To podobne do sytuacji, w której kierowcy czasem korzystają z luster ustawionych na skrzyżowaniach o ograniczonej widoczności. Ponieważ HoloRadar wykorzystuje fale radiowe, samo otoczenie staje się pełne luster, bez konieczności jego fizycznej modyfikacji” – dodaje ekspert.

Kluczowe zastosowanie AI

Badacze podkreślają, że kluczowe znaczenie ma zastosowana w wynalazku sztuczna inteligencja. Chodzi o to, że impuls radiowy może odbić się wielokrotnie od różnych powierzchni, zanim wróci do czujnika. Powstaje z tego powodu splątany zestaw odbić, który trudno rozszyfrować tradycyjnymi metodami analizy sygnałów. AI tworzy natomiast model, który potrafi rozróżnić bezpośrednie odbicia od pośrednich i dzięki temu ustala położenie ukrytych za rogiem obiektów.  

„W pewnym sensie wyzwanie przypomina wejście do pokoju pełnego luster. Widzimy wiele kopii tego samego obiektu odbitych w różnych miejscach, a najtrudniejsze jest ustalenie, gdzie rzeczy naprawdę się znajdują. Nasz system uczy się odwracać ten proces w sposób oparty na fizyce” – tłumaczy członek zespołu, Zitong Lan.

Badacze przetestowali swoje urządzenie w realnych warunkach – zamontowali je na jeżdżącym robocie, który poruszał się po wnętrzu budynku, w tym po ciasnych korytarzach. Wynalazek z powodzeniem wskazywał schowanych za rogiem ludzi. W dalszej kolejności eksperci zamierzają prowadzić eksperymenty na dworze, gdzie będą musieli sobie poradzić m.in. z większymi odległościami i zmieniającym się otoczeniem.

„To ważny krok w kierunku zapewnienia robotom pełniejszego rozumienia otoczenia. Naszym długoterminowym celem jest umożliwienie maszynom bezpiecznego i inteligentnego działania w dynamicznych, złożonych środowiskach, w których ludzie poruszają się każdego dnia” – podsumowuje prof. Zhao.

Klamka jak kamera

Tymczasem zespół z Massachusetts Institute of Technology zaproponował inne podejście. Naukowcy opracowali system, który pozwala inaczej zobaczyć to, co zakryte. Zagląda za przeszkody, wykorzystując błyszczące obiekty w roli „kamer”.

Porównują to do sytuacji, kiedy ktoś jedzie samochodem wąską miejską ulicą i odbicia w bocznych lusterkach czy nawet na błyszczącym lakierze zaparkowanych pojazdów pomaga mu dostrzec niewidoczne innym sposobem rzeczy – na przykład dziecko grające na chodniku w piłkę. Przypominają także filmy, w których np. w sądzie wykorzystano obraz z kamery, która zarejestrowała odbicie w czyichś okularach słonecznych. Przedstawiony przez badaczy system może wykorzystać różne powierzchnie i przedmioty – na przykład błyszczący kubek, klamkę czy przycisk do papieru.

„Pokazaliśmy, że dzięki tej metodzie każdą powierzchnię można przekształcić w czujnik – formuła ta zamienia obiekty w wirtualne piksele i wirtualne sensory. Można ją zastosować w wielu różnych dziedzinach” – mówi Kushagra Tiwary, współtwórca systemu.

Widać to, co zakryte dzięki AI

Także w przypadku tej technologii podstawową rolę odgrywa AI – przetwarza ona rejestrowane przez system odbicia w taki sposób, że tworzy obrazy, które byłyby widoczne tylko z perspektywy wykorzystywanego, odbijającego światło obiektu. Jak wyjaśniają badacze, urządzenie musi sobie radzić z różnorodnymi zniekształceniami, które zależą m.in. od kształtu obiektu oraz odbijanego obrazu. Ponadto wykorzystywany błyszczący przedmiot może mieć własny kolor i fakturę, które mieszają się z odbiciami.

Co więcej – podkreślają specjaliści – odbicia są dwuwymiarowymi projekcjami trójwymiarowego świata, co dodatkowo utrudnia ocenę głębi w odbitych scenach. „W prawdziwym życiu wykorzystanie takich odbić nie jest tak proste, jak naciśnięcie przycisku ‘wyostrz’. Wydobycie z nich użytecznych informacji jest dość trudne, ponieważ odbicia pokazują nam zniekształcony obraz świata” – podkreśla Akshat Dave, jeden z naukowców. AI zmienia jednak pole gry i pozwala na to, co dotąd nie było możliwe.

Zamknięte pudełka nie mają tajemnic

Z pomocą fal radiowych można też zajrzeć bezpośrednio przez niektóre przeszkody – np. ścianki opakowań. Pokazali to również specjaliści z Massachusetts Institute of Technology (MIT), wykorzystując sygnał podobny do tego, który działa w sieci WiF (fale radiowe). Jak wyjaśniają, fale o tej długości z łatwością przenikają przez wiele materiałów. System, nazwany mmNorm, zbiera fale odbite przez ukryte w pudełku przedmioty i rekonstruuje kształt powierzchni obiektu.

Badacze podkreślają, że potrafi on rozpoznawać wiele obiektów naraz – na przykład rozpoznałby widelec, nóż i łyżkę ukryte w tym samym pudełku. Dobrze radzi sobie także z pudełkami wykonanymi z różnych materiałów – na przykład z drewna, metalu, plastiku, gumy czy szkła, a nawet łączącymi w sobie wiele materiałów.

Zastosowanie tej technologii badacze widzą np. w magazynowych robotach sprawdzających zawartość paczek, automatach w fabrykach i zaawansowanych robotach domowych, które np. będą „widziały, co znajduje się w danej szafce czy szufladzie.

Inne potencjalne zastosowania to systemy bezpieczeństwa, chociażby na lotniskach. Wynalazek mógłby też np. znaleźć się w okularach do rozszerzonej rzeczywistości i pokazywać użytkownikom – np. pracownikom fabryki ukryte przed ich wzrokiem przedmioty. „Ta praca naprawdę oznacza zmianę paradygmatu w sposobie, w jaki myślimy o tych sygnałach i o procesie rekonstrukcji 3D. Cieszymy się, widząc, jak szeroki wpływ mogą mieć zdobyte tutaj odkrycia” – mówi współtwórczyni systemu Laura Dodds.

Otwarta droga do inwigilacji?

Nietrudno sobie jednak wyobrazić również inne, mniej wygodne dla wielu ludzi, zastosowania. To otwarta droga do inwigilacji i podglądania wszystkiego, co dotychczas było zakryte przed oczami innych. Z jednej strony – celem takiego działania może być chęć osiągnięcia większego bezpieczeństwa i unikania zagrożeń, jak np. w kontroli bagaży na lotniskach, z drugiej – podglądanie obywateli np. przez policję czy inne służby.

Niedawno naukowcy dodali do swojego rozwiązania system sztucznej inteligencji, która rekonstruuje niewidoczne dla urządzenia fragmenty oglądanych obiektów. Taki system (nazwany Wave-Former) w eksperymentach potrafił wygenerować wierne rekonstrukcje ok. 70 codziennych przedmiotów, takich jak puszki, pudełka, sztućce i owoce. W testach przedmioty były ukryte za kartonem, drewnem, płytą gipsowo-kartonową, plastikiem i tkaniną.

Ulepszony system pozwolił jeszcze na coś więcej – na rekonstrukcję wnętrz pomieszczeń, z wykorzystaniem odbicia fal od ludzi poruszających się po pokoju. Jak tłumaczą naukowcy, takie odbicia tworzą tzw. „sygnały-duchy, które zmieniają położenie wraz z ruchem człowieka. Choć zwykle odrzucało się jako szum, to zawierają one również informacje o układzie pomieszczenia.

Smartfon pokazuje to, czego nie widać

Możliwość zaglądania za przeszkody może niedługo zyskać każdy. Otóż niektóre modele wyposażone są w czujniki typu LIDAR (light detection and ranging). Działają one tak, że wysyłają impulsy światła i mierzą czas, po jakim sygnały te odbijają się od obiektu i wracają do urządzenia.

W smartfonach LIDAR wspiera funkcje rozszerzonej rzeczywistości i poprawia pomiar głębi. Oczywiście, światło nie przenika przez ściany, ani nie zakręca za rogi. Grupa z MIT stworzyła jednak algorytmy które przetwarzają bardzo słabe sygnały odbijane przez ściany i podłogi, następnie łączą dane zebrane pod różnymi kątami, aby odtworzyć kształt i ruch ukrytego obiektu.

Badacze z powodzeniem przetestowali swoje algorytmy z LIDAR-em kosztującym zaledwie 100 dolarów na ukrytych za ścianą manekinach. „Nasze wyniki to krok w stronę obrazowania NLOS (ang. non-line-of-sight – poza bezpośrednią linią widzenia) typu plug-and-play, w którym każdy może obrazować ukryte obiekty za pomocą gotowego, dostępnego na rynku sprzętu kosztującego mniej niż 100 dolarów i bez dodatkowej konfiguracji. Uważamy, że upowszechnienie takich możliwości przyspieszy konsumenckie zastosowania obrazowania NLOS” – piszą naukowcy w pracy opublikowanej w piśmie „Nature”.

Czytaj też: Ty też masz w kieszeni potężne narzędzie naukowe! Smartfon w dłoń i… zostajesz naukowcem!

Mgła i deszcz przestają być groźne

Na co dzień jednak przeciętny człowiek nie ma silnej potrzeby zaglądania za róg czy za ścianę. Dosyć często znajduje się jednak w innej sytuacji – gdy świat mocno przesłania mu mgła czy gęsty deszcz, co ma szczególne znaczenie podczas jazdy samochodem. W tym przypadku pomóc ma opracowany przez firmę Teradar system, który zagląda za zasłonę mgły czy deszczu z pomocą fal o częstotliwości terahercowej.

Według zapewnień firmy, urządzenie wykorzystujące serię terahercowych sensorów zapewnia rozdzielczość nawet dwadzieścia razy większą, niż dzisiejsze samochodowe radary. „Teradar zrealizował technologię widzenia terahercowego, oferując bezprecedensową rozdzielczość i zdolność rozpoznawania otoczenia na dużym dystansie, w każdych warunkach pogodowych.

Ten przełom zapewnia pojazdom percepcję potrzebną do przewidywania zagrożeń, unikania wypadków i ostatecznie ratowania życia” – stwierdza Matt Carey, współzałożyciel i dyrektor generalny Teradar. „Naszym ostatecznym celem jest całkowite wyeliminowanie wypadków samochodowych dzięki radykalnie lepszej percepcji. Tę wizję można jednak zrealizować tylko dzięki odpornym, wysokowydajnym sensorom, które da się łatwo integrować i skalować tak, aby mogły wspierać każdy typ pojazdu” – dodaje.

Czy liczbę wypadków da się zlikwidować do zera dzięki doskonałej percepcji – trudno powiedzieć. Na pewno można ją zmniejszyć. Podobnie, trudno dzisiaj stwierdzić, czy technologię zaglądania za przeszkody będzie mógł mieć wkrótce każdy w swoim smartfonie. Niemal pewne jest jednak, że dla różnego typu urządzeń wizyjnych coraz mniej pozostanie ukryte i będą one zaglądały w coraz to kolejne miejsca.

Czytaj też: Inteligentne okulary dla każdego – jak działają smart glasses?

Źródło zdjęcia: teradar system