SamuraiLabs. Internet i jego strażnicy

„Sieć (Internet) nie ma bowiem centrum, nie ma ośrodka, nikt nie kontroluje treści przez nią płynących i TO na pewno jest problem, który ulega wzmocnieniu w miarę rozprzestrzeniania się sieci”. To słowa Stanisława Lema, wybitnego pisarza, futurologa, według którego Internet niekoniecznie był zbawieniem ludzkości.

Coraz bardziej odczuwamy to na swojej skórze. Czasami tak trudno oddzielić prawdę od fałszu. A ten fałsz potrafi się błyskawicznie rozpowszechnić. Do tego nakłada się pewne poczucie anonimowości. No bo przecież w Internecie ten ktoś “może być kim chce”. Może atakować, “opluwać”, “obrzucać błotem”, znęcać się. A efektem tych “działań” może być nawet czyjaś śmierć. Stało się to już poważanym problem społecznym.

Gościem homodigital.pl jest człowiek, który współtworzy coś co może nazwać “sprzątaczem i strażnikiem” Internetu. O tym co robią i po co rozmawiam z Grzegorzem Rutkiewiczem z Samurai Labs. Osobą, która naprawia trochę ten świat, który sami codziennie psujemy.

Grzegorz, kim jesteś i co robisz? Czym zajmuje się firma?

Grzegorz Rutkiewicz: Jestem współzałożycielem i dyrektorem operacyjnym firmy Samurai Labs. W Samurai zajmujemy się wykrywaniem i zwalczaniem przemocy w Internecie polegającej na tym, że jedni użytkownicy Internetu w swoich komentarzach atakują innych. Poprzez nasze rozwiązanie chcemy doprowadzić do sytuacji, w której będzie to niemożliwe lub znacznie ograniczone. Naszym celem jest, aby Internet stał się miejscem, któremu wszyscy będziemy mogli bardziej ufać, szczególnie jako rodzice.

Skąd bierze się w nas ta agresywność w Internecie? Czasami jak patrzę na posty niektórych osób, które znam z tzw. “reala” to jestem zaskoczony ich przemianą. Tym ich innym “ja” w Internecie.

Myślę, że w wielu przypadkach jest to kwestia tego, że ludzie nie zdają sobie sprawy jak wielką krzywdę mogą zrobić drugiemu człowiekowi. Uważają, że to jest taki “fun”, że zabawimy się czyimś kosztem, trochę “dowalimy” i będzie fajnie, śmiesznie. Ale tak naprawdę poprzez takie działania mogą doprowadzić nawet do czyjejś samobójczej śmierci. Szczególnie dzieci nie zdają sobie sprawy z tego, co robią innym. 

Dzieci też bardziej są narażone na ten stres i na odczuwanie takich sytuacji. Więc co możemy zrobić? Tu są dwa czynniki – pierwszy, to jest wychowanie i uwaga rodziców, która teraz jest często ograniczona. A drugi, to to co może zrobić technologia. I to jest ta rzecz, nad którą skupia się Samurai. Mamy wizję, że technologia powinna pracować dla ludzi a nie przeciwko nim.

Spotkałem się z porównaniem smartfonu do rodzaju pistoletu, który możemy naładować czyimś zdjęciem czy słowami i “wystrzelić” przez Internet – w stronę danej osoby. Opublikowane słowa, zdjęcia za chwilę są wszędzie. Już dawno powiedziano, że rzecz raz zamieszczona w Internecie zostaje tam na zawsze, usunięcie tego jest bardzo trudne. Powiedziałeś, że wy jako Samurai zajmujecie się kwestiami dotyczącymi walki z tą cyberprzemocą. Czyli co dokładnie robicie?

Przede wszystkim zajmujemy analizą tekstu, czyli tego co tworzą wspomniane przez Ciebie słowa. W przyszłości będziemy też analizowali tekst, który powstał w wyniku przerobienia mowy na tekst. 

W tym momencie analizujemy tzw. “słowo pisane”, czyli tę sferę, gdzie ludzie w Internecie rozmawiają ze sobą pisząc. Analizujemy to jest pisane na forach, czatach, w social media, różnego rodzaju społecznościach i grupach. Na przykład na platformie Reddit, przeprowadziliśmy eksperyment na wybranych kanałach, gdzie nasz system w postaci bota, włączał się do rozmowy, aby ją tonować. Nie blokując żadnych treści, ale po prostu włączając się do rozmowy i komentując „hej, tak nie rób, robisz krzywdę drugiej osobie”. Naszym bardzo cennym doświadczeniem jest to, że ok. 70% użytkowników, którzy zostali tak upomniani w ten empatyczny sposób, nie wróciło do swoich zachowań. 

Wniosek jest taki, że technologia może wspierać edukację użytkowników upominając ich w określony sposób. Wiadomo, że jeżeli mamy sytuację, w której przemoc jest radykalna i to działanie będzie również bardziej radykalne. Wtedy powinniśmy zapobiec temu, aby wiadomość nie dotarła do odbiorcy – możemy ją zablokować. Dzięki analizie treści rozumiemy co zostało powiedziane i reagujemy w sposób autonomiczny, czyli bez zatwierdzenia takiej decyzji o usunięciu treści przez moderatora-człowieka.

Powiedziałeś o dwóch ciekawych rzeczach – edukacji i tonowaniu rozmowy. Do edukacji wrócę za chwilę. Teraz skupię na tonowaniu rozmowy. Zgadzam się, że to faktycznie może być skuteczne. Bo jest trochę tak, że gdy ja, jako rodzic wchodzę w grupę dzieci, które kłócą się, to mówię „no dobrze, ciszej, spokojniej” i one na chwilę są ciszej. Aczkolwiek często zdarza się, że są ciszej tak długo jak ja tam jestem. Ale w momencie, kiedy czują, widzą, że mnie nie ma, to z powrotem wybucha cała afera albo wręcz zmieniają sposób przekazywania tych złośliwości.

Ciekawe spostrzeżenie. Jednak sztuczna inteligencja, która tu jest reprezentacją nas, może być obecna przez cały czas, to po pierwsze. Jeżeli jesteśmy gdzieś już wprowadzeni w jakąś grupę, społeczność, nasza technologia tam jest działa. I nie ma takiej sytuacji, że ona wychodzi i zaczynają się harce, bo cały czas jest monitoring. 

Ta technologia może być skonfigurowana na różne sposoby. W zależności od reguł danej społeczności, może napominać lub blokować komunikat w zależności od jego stopnia przemocy. Również może pokazać “żółtą kartkę” lub może wręcz blokować użytkownika na jakiś czas, gdy wcześniejsze upomnienia nie przynoszą efektu. To wszystko da się ustawić w taki sposób, żeby dopasowując się do regulaminu danej społeczności, jak najskuteczniej taką właśnie rozmowę tonować. Po drugie, jeżeli mówimy o użytkownikach jako o dzieciach, to może podać tu przykład przedszkola. Tam przedszkolanka nadzoruje zachowanie dzieci. I kiedy widzi niewłaściwe zachowanie tłumaczy, że robią drugiemu krzywdę. Robi to w taki sposób, aby sytuacja już się nie powtórzyła. Tak działa właśnie nasze rozwiązanie. I widzę, że jest coraz skuteczniejsze, to pokazują nasze eksperymenty na prawdziwych, żywych forach z ludźmi.

Czyli właściwie można było przyjąć, że tonowanie rozmowy jest elementem edukacji, o której wcześniej wspomniałeś. W ten sposób uczymy danego uczestnika Internetu, osobę zachowującą się niewłaściwie lub wręcz agresywnie, żeby tego nie robiła. W ten sposób hamując emocje, wskazując użytkownikowi, że to konkretne zachowanie jest niewłaściwe. I teraz pytanie czy da się to przekuć na to, żeby miał tzw. informację zwrotną. Żeby dało się takiego użytkownika zidentyfikować i wysłać mu zestaw rzeczy, na które warto zwracać uwagę w komunikacji z innymi, albo wręcz aby czegoś nie robił. Czy może sięgam za daleko?

Oczywiście wszystko możliwe, ponieważ w danym forum użytkownicy są identyfikowani w jakiś ustalony sposób. Możesz do tego użytkownika dotrzeć, więc można też tworzyć takie wzorce śledzenia, zbierać historię wykroczeń i można mu wysłać za jakiś czas coś bardziej stanowczego albo zwrócić uwagę na regulamin. Kiedy to wszystko nie przyniesie efektu, to można taką osobę wykluczyć z danej społeczności. 

Mamy tonowanie rozmowy, mamy element edukacyjny wskazujący jakie zachowanie jest właściwe, jakie jest akceptowalne. Potem to, co tu powiedziałeś – możemy mu wysłać rodzaj upomnień typu żółta/czerwona kartka. Tylko czy to nie jest tak, że potem ktoś zmienia swoją tożsamość w sieci i tak naprawdę z innego adresu, pod inną osobowością zaczyna robić to samo? Czy nie jest też potrzebne pewne rozwiązanie dotyczące tego, żebyśmy nie ukrywali swojej tożsamości w Internecie? Żeby był taki cyfrowy paszport internetowy, który nas jednoznacznie identyfikuje? Może wtedy byłoby łatwiej zapobiegać tego typu przemocy?

Są takie pomysły, żeby użytkownik nie był anonimowy. Wydaje mi się, że to jest na razie w fazie pewnej idei. Takie rozwiązanie oznaczałoby, że aby użyć Internetu musiałbyś w jakiś sposób zidentyfikować się, że Ty to Ty. Nie wydaje mi się, że to może zostać wprowadzone szybko.

Do tego dla mnie jest to takie “mroczne” – ponieważ opiera się na zasadzie totalnej kontroli nad użytkownikami.  Jestem przekonany, że użytkownicy będą stawiać temu naturalny opór. No i druga rzecz, że jak już taki system zostałby wprowadzony to pewnie będą też tacy, którzy będą go w jakiś sposób go obchodzić. A pewnie ktoś jeszcze będzie zarabiał na dostarczaniu takich “obejść”. My jako Samurai Labs, skupiamy się na monitorowaniu i zapobieganiu bez konieczności poznania tożsamości. Przemoc natychmiastową możemy blokować niezależnie od tego czy śledzimy użytkownika, czy nie. A jeśli będzie to konieczne, to jestem przekonany, że są skuteczne metodą znalezienia danej osoby.

W jednym z artykułów dotyczącym Waszego rozwiązania przeczytałem, że to, co teraz robicie, na co stawiacie, to wyłapywanie w wypowiedziach intencji. Po to, żeby umieć rozróżnić tzw. agresję mocną od czegoś, co jest jeszcze na poziomie ironii i sarkazmu albo nieszkodliwego prześmiewania zdarzeń. Moim zdaniem to duże wyzwanie. Weźmy chociażby kultowy przykład z Polski, gdzie pisanie „kocham PKP” mogłoby być kojarzone, że to jest super firma, przyjazna klientom, a tak naprawdę jest to fraza naładowana dużą dawką takiego sarkazmu. A wręcz jest to negatywna ocena tej firmy.

I jak to wygląda z Waszej strony? Ludzie nie są w stanie wyłapać czasami takich niuansów. Uważasz, że tutaj sztuczna inteligencja sprawdzi się i będzie umiała wyłapać te elementy dotyczące emocji zawartych w wypowiedziach?

Wszystko, co da się wyłapać za pomocą umysłu ludzkiego z tekstu, mówię tutaj również o tonie głosu, sztuczna inteligencja też może wyłapać. Nasz system potrafi zrozumieć takie dość subtelne rzeczy jak na przykład szantaż, bo robi to na podstawie analizy gramatyki i kontekstu, nie samych słów kluczowych, jak robią to inne systemy i różne subtelności również są przez nas wykrywane.

Czyli tak naprawdę to jest analiza nie tylko frazy, która padła, ale analiza całej wypowiedzi i można powiedzieć otoczenia wypowiedzi, znalezienia w jakim kontekście się pojawiła ta konkretna wypowiedź, zwrot? Rozumiem, że jeśli pada „zabiję Cię”, co z reguły jest groźbą czy „zabiję się”, bo ktoś tak może zareagować na pewne zdarzenie czy wypowiedź, to wasz system to wyłapie? Wyłapie, bo “zrozumie”, że ktoś opowiada dowcip, albo jest to tzw. prank i w tym momencie to „zabiję Cię” jest wyrażeniem uznania?

Dokładnie tak to będzie działać.

Skupiliście się na języku angielskim. Ja rozumiem, angielski jest kluczem do pewnego sukcesu, bo łatwiej jest dotrzeć do dużej grupy potencjalnych użytkowników, którzy będą tym zainteresowani. 

Może Cię zaskoczę, ale wbrew pozorom angielski jest trudniejszy do zrozumienia dla komputerów niż polski. Dlatego, że ma dużo słów, które napisane wyglądają tak samo, natomiast mogą mieć inne znaczenie – czyli homofony. W polskim języku też masz odmianę i to samo słowo wygląda zupełnie inaczej w różnych funkcjach w zdaniu, ale z reguły jeden zapis to jeden “dźwięk”. Dzięki temu można łatwiej komputerowi powiedzieć co to zdanie oznacza na podstawie samych słów. W angielskim trzeba trochę więcej, dlatego zajęło nam to kilka lat. Stworzyliśmy silnik do rozumienia języka angielskiego na podstawie gramatyki i teraz używamy tej technologii i naszej wiedzy, żeby opracowywać  ten system do detekcji przemocy. Chciałem dodać, że to nasze podejście jest inne niż to, którego się powszechnie używa i rozumie jako sztuczną inteligencję. Ta różnica jest kluczowa, żeby robić automatycznie to, co robimy.

Powiedziałeś ciekawą rzecz, która mnie zaskoczyła. Mając kontakt z różnymi ludźmi, którzy tworzą różne voiceboty, chatboty, gdzie jest tzw. przetwarzanie języka naturalnego, twierdzili, że angielski jest znacznie prosty, bo ma bardziej “sztywną konstrukcję” niż polski. W języku polskim możemy zmieniać dosyć swobodnie szyk zdania i będzie nadal poprawne i zrozumiałe. Angielski jest taki, że wszystko ma swoje ustalone miejsce, a jak ktoś mówi inaczej to brzmi jak np. Yoda z Gwiezdnych Wojen. A Ty mówisz, że angielski jest trudniejszy.

Tak, jest trudniejszy. Jest trudniejszy do rozumienia precyzyjnego dla komputerów,ale  łatwiejszy do tego, żeby generować tekst. My już dawno robiliśmy boty, które rozumiały język polski. Gdzieś na początku XXI wieku. I rzeczywiście z polskim trzeba się było strasznie namęczyć, żeby zrobić bota opartego na bardzo skomplikowanej metodzie słów kluczowych. Natomiast z rozumieniem gramatyki jest odwrotnie. Tu trzeba się mocno namęczyć dla angielskiego,żeby teraz było prościej, robiąc systemy oparte o taką technologię, natomiast polski byłoby prościej zrobić, żeby nie używać słów kluczowych.Oprócz angielskiego robimy rozwiązania dla polskiego, bo chcieliśmy też wejść do polskich szkół i chronić polskie dzieci. Mamy w tej chwili system obsługujący dwa języki.

Widziałem, że przymierzacie się do języka hiszpańskiego i są plany z mandaryńskim. O ile z hiszpańskim w moim odczuciu to raczej nie powinno być duże wyzwanie po angielskim i polskim to pytanie co z mandaryńskim? Mam kolegę, który lata spędził w Chinach i ja od niego tego mandaryńskiego próbuję się nauczyć, ale te niuanse w poszczególnych dźwiękach są dla mnie niezłym wyzwaniem. Rozumiem, że teraz skupiacie się tylko na samym słowie pisanym. I co? To będzie prostsze?

Nie. Mandaryński nie będzie prostszy. Szacujemy, że tak jak nowy język europejski typu hiszpański zajmie nam jakieś 3 miesiące, żeby zrobić, to taki mandaryński zajmie nam z rok.

Wróćmy do cyberprzemocy. Przeglądaliście pewnie już terabajty tekstów, ataków całe mnóstwo, gromadzicie te informacje, bo wasz system będzie tak dobry, jak jakość i ilość danych, które będą zgromadzone. Masz za sobą lata doświadczeń. Wracam do pytania z początku rozmowy,  dlaczego tak łatwo zostać złym w Internecie? Właściwie może się okazać, że człowiek, którego spotykasz na ulicy i jest miły, uprzejmy, pomaga starszym ludziom, ustępuje miejsca w komunikacji, potem siada przed telefonem, komputerem i okazuje się, że dzieje się coś, czego byśmy się nie spodziewali. Taki syndrom dr Jekyll’a i mr Hyde’a.

To dobre pytanie. Wydaje mi się, że pierwszą rzeczą jest poczucie anonimowości, na które już zwróciliśmy uwagę. Że ludzie pod swoim nazwiskiem nie robią takich rzeczy, które robią pod jakimś nickiem. Kiedy obsmarowują sąsiada na dzielnicowym portalu lokalnej społeczności to nie wiadomo kto to zrobił. Gdyby tam było widoczne jego nazwisko to pewnie by tak nie napisał lub w ogóle się nie wypowiadał. Mówię “poczucie”, bo oczywiście gdyby trzeba było takiego człowieka znaleźć to wystarczy zaangażować technologię. I z reguły się go znajdzie – aczkolwiek wymaga to pewnych zasobów i czasu. Tylko po pierwsze nikt tego nie robi w stosunku do jakichś “zwykłych” trolli. Po drugie ludzie też sobie z tego nie zdają sprawy, że można ich wytropić, więc takie poczucie anonimowość pozwala im wypuścić te ich demony. Dlaczego to robią? Może mają ochotę poczuć się lepiej, bo komuś coś powiedzą, może z zawiści, może dla podniesienia swojej wartości. Jak poczytasz lokalny portal z wydarzeniami, zobaczysz co się wyrabia w komentarzach, to po stylu pisania i sposobie w jaki komentują możesz zrobić listę osób, które się wyładowują czasami pod kilkoma nickami. Tak właśnie nasuwa mi się pewna analogia. Są ludzie na co dzień spokojni, ale jak tylko wsiadają do samochodu to stają agresywni na drodze. Wysiadają i są znowu normalni. Może na innych tak działa “wchodzenie do internetu”?

Z tego co mówisz by wynikało, że otoczenie, w którym się znajdujemy nas warunkuje. Na co dzień jestem miłym Arkiem, a jak wsiadam do auta to staję się kimś agresywnym, wymuszam pierwszeństwo na drodze, prawie rozjeżdżam ludzi. I podobnie może być, że kiedy siadam przed komputerem, to jest moja furtka do innego świata, który daje mi anonimowość i “moc”. I teraz będę „jechał” po wszystkich, bo mam władzę. 

Całe szczęście nie każdy tak robi. Natomiast są takie osoby, które odnajdują w tym jakieś spełnienie takich potrzeb. I je trzeba “wyłapywać”.

Wracając do tematu dotyczącego tonowania rozmów. Rozumiem, że nadzorowanie tych rozmów, tonowanie to może będzie taki element monitorowania zachowanie i pokazywania żółtej kartki, która komuś powie „aha, jesteś jednak obserwowany, zachowuj się lepiej”. Takiego przekazu “nie do końca jesteś anonimowy”. 

Jak najbardziej. Może jeszcze nie wiemy kim jesteś, ale wiemy, że twoje zachowanie jest niewłaściwie. Przemyśl to. Zmień.

Gdzie te Wasze rozwiązania można spotkać? Gry, czaty wybranych społeczności? Jakie są efekty?

Jesteśmy na etapie pozyskiwania pierwszych globalnych klientów. Naszym celem jest ochrona ponad 10 milionów osób jeszcze do końca 2021 roku. Nasze dotychczasowe wdrożenia są całkiem różne od siebie i można powiedzieć, że jest to też forma nauki dla nas. Jak wspomniałem, pracowaliśmy na platformie Reddit, gdzie prowadziliśmy bota, który włączał się do rozmowy. 

Zrealizowaliśmy wdrożenie dla HateLab, Uniwersytet Cardiff, gdzie dla brytyjskiej policji wykrywaliśmy przemoc względem Polaków związaną z Brexitem. Przed Brexitem były bardzo nakręcone nastroje antyimigranckie i brytyjska policja chciała zrobić eksperyment i obserwować Twitter powiązany z geolokalizacją tych postów, aby móc lokalizować i monitorować fizycznie te miejsca, gdzie było dużo hejtu. Bo przemoc z Internetu odzwierciedla się w świecie rzeczywistym.  Jest takie połączenie tego świata internetowego matrixu i rzeczywistego świata. 

Mamy też wdrożenie dla organizacji, która szkoli antyhejterów. My pomagamy znaleźć przykłady hejtu w Internecie, natomiast ta organizacja szkoli ludzi, jak mogą w Internecie ten hejt tonować. Mamy w testowaniu sporo różnych ciekawych użyć naszej technologii a niedługo będą pierwsze masowe wdrożenia dla klientów na świecie.

A skąd w ogóle pomysł na to, co robicie? Z czego to się wzięło? Kogoś z Was coś takiego spotkało? Mieliście na co dzień do czynienia z taką cyberprzemocą? Bo z reguły za czymś takim często stoi ktoś, kogo coś takie dotknęło lub był świadkiem takiego zdarzenia. I teraz ma misję, aby pomóc innym. 

W naszym przypadku jest trochę inaczej. Jak wspomniałem zajmujemy się sztuczną inteligencją od początku XXI wieku. Wcześniej były to systemy symboliczne, chatboty w Internecie – na przykład zrobiliśmy chatbota dla PKP Intecity (wspomniałeś “kocham pkp” 😊). Swego czasu, wiele osób może pamiętać Rafała – bota, z którym można było porozmawiać na różne zabawne tematy. Na YouTube można znaleźć jakieś filmiki, które bardzo polecam.  

Tak więc zaczęliśmy od tego, że robiliśmy boty, potem zrobiliśmy system do analizy e-maili i automatycznego odpowiadania. Następny był system do e-learningu i oceny pracowników oparty o sztuczną inteligencję. W pewnym momencie użyliśmy tej technologii do zrobienia dwóch kluczowych dla nas systemów. Jeden wykrywał pedofilów na czatach, a drugi system wykrywał hejt na forach. I to były takie pionierskie projekty, dla których … nie znaleźliśmy komercyjnych klientów. Pamiętam, że jak kiedyś proponowaliśmy dużemu portalowi tonowanie hejtu w komentarzach dowiedzieliśmy się, że zaogniona dyskusja jest dobra, bo jest więcej wyświetleń – tak więc jeszcze nie był czas na nasze rozwiązanie. Jeszcze wtedy przemoc nikomu nie przeszkadzała tak bardzo. 

Później zaczęliśmy analizować komentarze użytkowników na różnych grupach dyskusyjnych dotyczących produktów. I stworzyliśmy system uczący się z tych komentarzy, który odpowiadał na pytania, które można było zadać o dany produkt. Tak następowała ewolucja naszej sztucznej inteligencji. Potem zrobiliśmy system rozumienia języka angielskiego. 

Mając te wszystkie doświadczenia stwierdziliśmy w 2017 roku, że ta technologia jest idealna do tego, żeby wykrywać przemoc, cybernękanie, przemoc rówieśniczą, szantaż itd. Zrobiliśmy jeden eksperyment i okazało się, że tak właśnie jest. I tu nie byliśmy za wcześnie, byliśmy na czas, bo fala tej przemocy nadchodziła. Była coraz większa i to już nie było zjawisko “zaognionej dyskusji”.  To się robiło coraz bardziej głośne i skupiliśmy się tylko na tym. A to, co się zaczęło dziać w związku z pandemią koronawirusa, czyli zamknięcie ludzi w domu i edukacja zdalna to tylko utwierdziło nas w przekonaniu, że robimy to dobrze. W dobrym czasie i że to jest bardzo potrzebne. Doszły też nowe pola, które musimy obserwować, takie jak samobójstwa. Ludzie zamknięci w domach, mający problemy ekonomiczne częściej myślą o samobójstwie, co pokazują statystyki. 

Mówisz o samobójstwie, to poważna sprawa. Da się to wykryć z czyjejś aktywności? W jaki sposób  wyłapujecie, że ja jestem potencjalnym samobójcą?

Jeżeli masz myśli samobójcze, to wysyłasz sygnały w jakiejś społeczności lokalnej, piszesz specyficzne teksty, które może same nie miałby znaczenia. Ale jeśli piszesz ich kilka, doda się je znaczeniowo, to są właśnie sygnały, które wysyłasz. Mówisz o sposobie, bezsensie życia itd. Wiadomo, nie każdy tak zrobi, ale jesteśmy w stanie wykryć, że dany użytkownik ma takie intencje. Jeżeli zareagujemy odpowiednio wcześniej to można kogoś uratować.

Rozumiem, że to, że dążymy do samobójstwa to jest jedno, ale z drugiej strony też często sami wysyłamy mnóstwo sygnałów nie wprost, licząc, że ktoś nas zrozumie i w ostatniej chwili złapie nas za rękę nim skoczymy z mostu lub rzucimy się pod samochód.

To jest właśnie wołanie pomoc. I my to chcemy robić coraz lepiej. I skuteczniej.

Wróćmy do wątku pedofili. Mam nastoletnią córkę i trochę się obawiam takich zachowań. Dobrze się dzieje, bo są one coraz bardziej piętnowane. Moim zdaniem to trzeba mocno piętnować i to jedno z gorszych rodzajów zła. W jaki sposób teraz działa to wykrywanie, w jaki sposób zapobiegacie? Jak można z tego zrobić takiego “strażnika” w Internecie?

“Strażnik” działa na forum czy czacie, czy gdzieś, gdzie są dzieci. Wiemy, jaki jest kontekst, tutaj powinny być rozmowy dzieci i mamy modele takich rozmów. Jeżeli coś odbiega od takiego modelu, to system zaczyna się bardziej przyglądać takiemu zachowania użytkownika forum. I po pewnym czasie mamy już potwierdzenie, że nie jest rozmowa dziecka z dzieckiem, tylko jest to rozmowa dorosłego, który wstępnie udaje dziecko, żeby zdobyć zaufanie. A kiedy już je ma to zaczyna zadawać różne dziwne pytania np. gdzie mieszkasz? Albo czy rodzice są w domu? Może prosić o przesłanie zdjęć. Kiedy mamy taką sytuację, nasz “strażnik” może ten kontakt zakończyć, możemy też kogoś poinformować, że to się dzieje. 

Kiedy robiliśmy pierwszy raz taki system, to było w 2010 roku, to było dużo takich chat room’ów na platformach internetowych, typu nastolatki, 9-11 lat itd. I w ramach naszych eksperymentów wchodziliśmy tam, zakładaliśmy profil Ania11 czy coś w tym rodzaju i to było niesamowite, za chwilę byliśmy oblegani przez strasznych ludzi, którzy udając dzieci wypytywali nas czy mieliśmy już chłopaka itd., Nie chcę tutaj zagłębiać się w tej straszny temat. To było nagminne.

Prawdziwe dziecko wchodzące w taki świat może być w totalnym szoku i wydaje mi się, że byłoby dobrze nie dopuścić do wystąpienia takiej sytuacji. Należy też wprowadzić rozwiązanie, które spowoduje wykluczenie osób, które mają ochotę takie komunikaty wysyłać. W tym sensie, że jeżeli ktoś zaczyna tak rozmawiać, jest blokowany. Może sobie założyć następny profil i jak tylko napisze pierwszy z takich tekstów od razu jest zablokowany itd. Oczywiście po drugiej czy trzeciej próbie tak osoba może się zorientować co się dzieje, ale wtedy już możemy mieć, które pozwolą na identyfikację i lokalizację takich osób.

Czyli wracamy znowu do tematu edukacji, bo warto też by było te dzieci w jakiś sposób uczulić na pewne zachowania, które mogą być naganne, niewłaściwe, które mogą ich dotknąć. Mam do Ciebie pytanie natury ogólnej. Kto powinien się tą edukacją zająć? Jak powinna ona wyglądać? Mamy dzisiaj zderzenie rzeczywistości – dzieci “urodziły się” z tymi urządzeniami, są biegłe technologicznie, wręcz uczą rodziców, uczą dziadków, ale z drugiej strony są bezbronne, bo nie mają całego tego pancerza albo tych systemów ostrzegania, że ten ktoś może być zły, że ma złe zamiary.

Myślę, że to nie jest jedno centrum kompetencyjne, tylko jest to kilka obszarów. A ten najważniejszy obszar jest w domu. Każde takie sytuacja, która wzbudza niepokój dziecka lub rodziców, powinna być omawiana, jeżeli cokolwiek się wydarzy. Warto też rozmawiać prewencyjnie. Druga rzecz, że szkoła, wydaje mi się, nie nadąża za postępem technologicznym i nie podnosi takiego tematu. Wkrótce sam to sprawdzę, bo mam 6-letnią córkę, która pójdzie do pierwszej klasy. Ale raczej spodziewam się edukacji takiej jaką ja miałem, a nie takiej edukacji z przyszłości, w której żyjemy.

Chyba masz rację, bo moja córka jest znacznie starsza niż Twoja i ja pamiętam, że przez dwa lata na informatyce to przede wszystkim uczyła się Painta. Głównym zadaniem było robienie rysunków. Brakowało zajęć, które mogłyby coś wnieść, czyli praca z “chmurą”, współdzielenie dokumentów. Teraz mają zajęcia w VII klasie z programowania. Ale brakuje takich zajęć, pogadanek ze strony nauczycieli co jest niewłaściwego w Internecie i że nauczyciele już mogliby to tonować. Miałem kiedyś okazję być na lekcji u mojego syna, gdzie mówiłem o zagrożeniach związanych z Internetem i to było gdzieś na początku XXI wieku. Pamiętam też te dzieci i ich „hehe, o czym Pan mówi” oraz śmieszki. Dopiero musiałem złapać z nimi klimat, pociągnąć jakieś tematy, które są dla nich interesujące. I dopiero potem im pokazać co się może wydarzyć w Internecie poprzez to, że publikują informacje o sobie, albo wrzucają rzeczy, które im się wydają śmieszne, ale są krzywdzące dla kogoś. Jeśli szkoła nie będzie nadążać to więcej pracy będzie dla Was. Z jednej strony dla was to szansa, ale z drugiej strony to przerażająca wizja przyszłości.

Myślę, że zrobimy wszystko co w naszej mocy, żeby ta przyszłość nie była przerażająca. Już to robimy teraz. Mamy przewagę nad systemem, który działa teraz jako system moderacji Internetu, bo teraz opiera się o ludzi. Oni są wyposażeni w narzędzia sztucznej inteligencji, ale one są niedoskonałe i nie mogą być użyte autonomicznie, żeby działały same, ponieważ robią za dużo błędów. Wszystkie takie zgłoszenia idą do ludzi, moderatorów i którzy muszą je ocenić , czy to jest dobry tekst, czy się nadaje do puszczenia dalej, czy nie. To wszystko się dzieje za późno i tak naprawdę krzywda już została wyrządzona. Jak już się usunie komentarz po czasie to odbiorca jest skrzywdzony. Dla nas ważne jest, aby system działał samodzielnie i żeby się zwielokrotnił w Internecie. I czuwał nad bezpieczeństwem dzieci cały czas i nie dopuszczał do tego, żeby ten zły komentarz się pojawił. Jednocześnie możemy edukować i napastnika, żeby tak nie robił. I wspierać ofiarę, jeżeli została zaatakowana i coś się dzieje wokół niej. Możemy odciąć napastnika od ofiary. A ofierze wysłać tekst opisujący co się stało, co zrobić, a napastnikowi możemy podziękować i nie dopuścić do dalszej dyskusji. Najważniejsze jest to, że nasz system się skaluje. Nieważne, ile jest tych rozmów, ilu jest rozmawiających, możemy być wszędzie na raz, to może być niemożliwe do osiągnięcia moderatorami-ludźmi, którzy mają ograniczone możliwości, jest ich ograniczona liczba i nie są w stanie wszystkiego oglądać w czasie rzeczywistym.

Powiedziałeś napastnik i ofiara. Czyli jest szansa na to, że wystawianie temu napastnikowi informacji „słuchaj, jesteś obserwowany. Wiemy, co robisz”, to duża szansa na to, że zaprzestanie tej działalności. Chociaż zakładam, że będzie próbował robić to w bardziej wysublimowany, subtelny sposób. Ale to są specyficzne przypadki. Zakładam, że 80% odpuści wiedząc, że jest obserwowana. Fajne będzie rozwiązanie, kiedy już na poziomie pisania złośliwego komentarza/posta ktoś naciśnie „publikuj”, a tu w locie nastąpi odczytanie intencji wypowiedzi i ona się w ogóle nie pojawi, ona zniknie. Aczkolwiek boję się, że to jest wtedy fajne narzędzie do cenzury. Czyli efektem ubocznym Waszych rozwiązań może być cenzura wypowiedzi. 

No i temat ofiary. Fajnie by było, żeby ludzie, którzy są właśnie dotykani taką agresją umieli o tym powiedzieć, umieli to zgłosić. Często ci ludzie wstydzą się tego, że zostali ofiarami. Traktują, że to z ich winy, że to oni coś zrobili. Powiedziałeś fajną rzecz, że kiedy zidentyfikujecie, że np. Arek jest celem ataku to podeślecie mu zestaw informacji „zrób to, to i to. Tutaj pomoże Ci ktoś, ten Cię wyciągnie, tu Ci ktoś doda otuchy, a ktoś jeszcze pozwoli Ci wyjść z tego całego bagna, w które wpadłeś”. To są fajne rzeczy i co robicie to będzie w ogóle świetnie.

Dokładnie tak. To jest też sposób, w jaki możemy również pomagać osobom zidentyfikowanym jako potencjalni samobójcy. Możemy im powiedzieć, że nie są sami i podać numer na infolinię kryzysową, gdzie mogą uzyskać profesjonalna pomoc od ludzi, którzy zajmują się rozmawianiem z takimi osobami. Od ludzi już w tym momencie. To, co my robimy w takiej sytuacji to jest zidentyfikowanie tego bardzo szybko i wszędzie na raz.

Grzegorz, powiedziałeś, że wasz system działa w obszarze “zapobieganie samobójstwom, wykrywanie pedofilów”. Czy da się też to rozwiązanie zastosować do zapobieganie handlu ludźmi? Ostatnio oglądałem w telewizji program, gdzie pokazywano w jaki sposób dziewczęta trafiają do domów publicznych. A trafiają, bo szukają pracy, lepszego życia. Czy da się tutaj też jakoś monitorować, żeby wyłapywać te ogłoszenia, te treści, te konwersacje, które mogą prowadzić do tego typu zdarzeń?

Musielibyśmy się temu przyjrzeć, przeanalizować język i sposób w jaki ta rozmowa się odbywa. Jeżeli tylko na poziomie tekstu konwersacji, gramatyki da się zidentyfikować takie sytuacje to tak, damy radę. Mamy w planach różnego rodzaju działania związane z cyber safety, które jeszcze możemy wdrożyć. Możemy mówić o wykrywaniu agitacji terrorystycznej. 

Natomiast jeszcze chciałem nawiązać do wątku o cenzurze, który poruszyłeś. Cenzura dotyczy punktu widzenia, czyli jeżeli ktoś ma inny punkt widzenia niż aprobowany to cenzura polega na tym, że się go wycina, nie może wyrazić swojej opinii, bo jest sprzeczna z aprobowanym schematem. To, co robimy, jeśli chodzi o moderowanie dyskusji, my nie wybieramy strony w rozmowie, my przez monitorowanie rekomendujemy odpowiedni sposób rozmowy. Ma być ona poprawna, bez przemocy. Ludzie mają się nie atakować. Przez analogię można powiedzieć, że w przypadku kontrdemonstracji służby porządkowe oddzielają te dwie strony od siebie, żeby każda ze stron wyrażała swoje poglądy w sposób cywilizowany i żeby nie dochodziło do rękoczynów. Natomiast jeżeli służby porządkowe zajmują się tłamszeniem kontrdemonstracji w stosunku do demonstracji – to to jest cenzura.

Dobry i celny ten przykład. To uzmysławia wasze działanie jako takiej dobrej służby porządkowej, która pozwala wymieniać się poglądami, czasami “mocniej” dyskutować. Jak mówisz, w tych grupach, które między sobą dyskutują są często tzw. zadymiarze. Im chodzi o zadymę po jednej i po drugiej stronie. Zawsze się znajdzie ktoś, kto będzie dążył do tego fizycznego spięcia i zrobienia koło tego afery. Widzę wasze rozwiązanie jako wyłapujące te punkty zapalne. Wyłapujące tych ludzi, którzy przynieśli ten “ogień”. Którzy mają chęć zrobienie komuś krzywdy. Nie “przyszli” żeby porozmawiać, dyskutować, tylko ich celem jest napaść. Napaść fizyczna jak powiedziałeś, a tu ta napaść jest w pewien sposób fizyczna, bo te ślady w Internecie, gdy “opluwamy, obgadujemy” czyjeś zdjęcia to fizycznie przekłada się na tę osobę. Jest w pewien sposób “bita”. 

Słowa też ranią.

Masz kontakt ze złymi treściami. Czasami musicie zajrzeć, żeby to wyskalować, sprawdzić czy Wasze rozwiązanie robi dobrze albo je lekko podkarmić, by działało jeszcze lepiej. Jak to na Ciebie wpływa albo na ludzi, którzy z tym pracują? Bo przecież to jest taka praca w szambie.

Tak można to określić. Jako grzebanie w „nieczystościach Internetu”. Ja mam mniej kontaktu, ze względu na to co robię w firmie. Natomiast mam wspaniały zespół, który niestety musi z takimi treściami obcować, żeby się uczyć. Na każdego co innego wpływa negatywnie. Wiem, że dużo problemów było z treściami od samobójców i nasi ludzie to odczuli. Ale szybko zapewniliśmy profesjonalną pomoc, gdzie mogli się zwrócić do psychologa i rozpracowaliśmy to. Także są teraz troszkę bardziej odporni na to. 

To jest też dobre pytanie i dobry temat, dlatego należy zwróć uwagę, że na świecie pracują tysiące moderatorów treści internetowych. Są to ludzie, którzy zajmują się oglądaniem filmów, zdjęć, ale też czytaniem tekstów. I ponieważ muszą robić to, co robią, bo sztuczna inteligencja dopiero nadchodzi, oni też bardzo cierpią. Cierpią na takie choroby jak depresje, czy PTSD (zespół stresu pourazowego) z racji wykonywanej pracy. Popadają w nałogi, uzależnienie od lekarstw, środków odurzających. I to są też ludzie, którym możemy pomóc, bo nie będą musieli wykonywać tej strasznej pracy. Przynajmniej nie w takiej ilości, jaką robią teraz. A i tak mają świadomość, że są trochę za późno, bo oglądają treść, która już była opublikowana. A my pracujemy nad rozwiązaniami, które nie będą dopuszczać do tej publikacji.

Grzegorz, czego życzysz użytkownikom Internetu?

Życzę, żeby byli bezpieczniejsi. Żebyśmy do nich dotarli jak najszybciej. Żeby nasza technologia, sposób myślenia o prewencji stał się pewnego rodzaju standardem w Internecie, ponieważ Internet ewoluuje, elektronika ewoluuje, sposób, w jaki człowiek wchodzi w interakcje i musimy myśleć o wszystkich aspektach tego takich, jak przestrzeganie reguł, wymuszanie tych reguł i bezpieczeństwo, które musi z tym wiązać. 

Może trochę wizją czarną dla Grzegorza będzie życzenie, żeby takich akcji, o których rozmawialiśmy, pedofilów i samobójczych było mniej w Internecie. Bo wtedy Grzegorz straci pracę. Albo może przestroi ten swój system do czegoś jeszcze innego, bo wydaje mi się, że tak to wygląda.

Grzegorz, bardzo dziękuję Ci za tę rozmowę. Trzymam kciuki, żeby Wasze rozwiązanie przyniosło jak najwięcej pozytywnych efektów.

Także dziękuję, uważam, że jeżeli uratujemy choć jedną osobę to już warto.