Jak mierzyć kompetencje algorytmiczne?

We współczesnej gospodarce kompetencje algorytmiczne są (a przynajmniej powinny być) jednymi z najbardziej pożądanych przez firmy cech wśród pracowników. Skala zastosowań algorytmów w cyfrowym świecie dynamicznie się zwiększa, podobnie jak poziom wiedzy, który trzeba mieć, by uchodzić w tej kwestii za kompetentnego. Jak mierzyć kompetencje algorytmiczne? Z jakich narzędzi można skorzystać i jakie są ich ograniczenia?

Czytasz trzecią część cyklu poświęconego badaniu kluczowych na współczesnym rynku pracy kompetencji algorytmicznych. Z poprzednich artykułów dowiesz się, czym są te umiejętności i jak pozwalają się bronić przed władzą algorytmów, a także tego, czy polscy studenci mają wysokie kompetencje algorytmiczne?

Co to znaczy mierzyć?

Żeby zbadać poziom kompetencji algorytmicznych, musimy dysponować narzędziem, które pozwoli go zmierzyć. Jego skonstruowanie nie jest łatwym zadaniem. Wyjaśnienie, dlaczego tak jest, wymaga choćby pobieżnego omówienia problemu pomiaru jako takiego.

Przyjąć możemy, że pomiar polega na przypisaniu badanemu elementowi rzeczywistości jakiejś wielkości liczbowej (w przypadku badania ilościowego), bądź jakiejś cechy (w przypadku badania jakościowego). Filozof i metodolog nauk Abraham Kaplan wprowadził trzy kategorie bytów, które mierzą uczeni: takie, które są bezpośrednio obserwowalne; takie, które są obserwowalne pośrednio (za pośrednictwem jakiegoś wskaźnika); oraz konstrukty, czyli twory teoretyczne, które nie istnieją w sposób obiektywny, tak jak istnieje otaczająca nas rzeczywistość fizyczna.

Pojęcie kompetencji algorytmicznych jest właśnie takim konstruktem. Do kategorii konstruktów zalicza się mnóstwo fenomenów, których badanie jest przedmiotem nauk społecznych, jak na przykład: religijność, klasa społeczna, zaufanie, liberalizm czy tolerancja.

Są to pewne wytwory mentalne, niemające realnego desygnatu w otaczającym nas świecie. Nie odpowiadają jakiemuś obiektywnemu aspektowi tego świata, jak większość pojęć określających stany, zjawiska czy rzeczy, których poznaniem zajmują się nauki przyrodnicze. Ich znaczenie nie jest stałe, niezmienne, podzielane przez wszystkich; jest ono wynikiem arbitralnych uzgodnień. Inny sens tolerancja miała sto lat temu, a inny współcześnie; także dziś inaczej to pojęcie rozumieć będzie osoba o poglądach zdecydowanie lewicowych, a inaczej – orędownik radykalnej prawicy. 

Konceptualizacja i operacjonalizacja, czyli co i jak?

Badanie konstruktu poprzedzić musi jego konceptualizacja i operacjonalizacja. Pierwszy z tych terminów oznacza opracowanie precyzyjnej definicji interesującego nas konstruktu; może on składać się z dowolnej liczby aspektów (wymiarów), na przykład dwoma wymiarami tolerancji mogą być: tolerancja wobec osób o innej niż nasza orientacji seksualnej i tolerancja wobec przedstawicieli innych ras czy też etniczności.

Z kolei operacjonalizacja informuje nas, jakie działania należy przeprowadzić, by dokonać pomiaru. Dzięki niej wiemy, jak empirycznie uchwycić skonceptualizowane wcześniej pojęcie. Zwykle do realizacji tego celu potrzebujemy wskaźników. Stanowią one znaki obecności lub nieobecności danego konstruktu bądź znaki poziomu jego natężenia. Wskaźnikiem w fizyce będzie na przykład odczyt urządzenia pomiarowego, natomiast w naukach społecznych może nim być odpowiedź na pytanie w kwestionariuszu ankiety albo zaobserwowanie określonej aktywności badanych osób.

Żeby odpowiedzieć na pytanie, jak mierzyć kompetencje algorytmiczne, musimy najpierw ustalić, co tak naprawdę będzie mierzone, czyli skonceptualizować interesujący nas konstrukt. Następnie opracować sposób na to, jak będą one badane (a więc dokonać operacjonalizacji). Badania oparte na różnych konceptualizacjach i operacjonalizacjach – w oczywisty sposób – dadzą odmienne wyniki.

Konceptualizacja kompetencji algorytmicznych

Najbardziej kompleksową, najpełniejszą konceptualizację kompetencji algorytmicznych przedstawiła Leyla Dogruel w artykule „What is Algorithm Literacy? A Conceptualization and Challenges Regarding its Empirical Measurement” z 2021 roku. W jej ujęciu interesujący nas konstrukt składa się z czterech wymiarów: dwóch poznawczych oraz dwóch behawioralnych.

Świadomość na temat algorytmów i wiedza o algorytmach (poznawczy)

Świadomość na temat algorytmów oznacza możliwość zidentyfikowania obszarów, aplikacji i urządzeń, w których algorytmy są wykorzystywane. Natomiast wiedza dotyczy rozumienia rodzajów, funkcji i zakresów działania algorytmów.

Zdolność do ich krytycznej oceny (poznawczy)

Krytyczna ocena to zdawanie sobie sprawy z konsekwencji korzystania z systemów opartych na algorytmach i zdolność do rozpoznania związanych z nimi ryzyk i zagrożeń.

Sposoby radzenia sobie z algorytmami (behawioralny)

Stopień, w jakim osoba jest w stanie kompetentnie korzystać z systemów opartych na algorytmach.

Zdolność projektowania i tworzenia algorytmów (behawioralny)

Jak sama nazwa sugeruje – chodzi o umiejętności modyfikacji, a także samodzielnego tworzenia algorytmów.

Jak mierzyć kompetencje algorytmiczne? Przegląd narzędzi

Jak wspominałem w poprzednim artykule, prezentującym wyniki badania kompetencji algorytmicznych polskich studentów wybranych kierunków społecznych i humanistycznych, dysponujemy tylko jednym zwalidowanym (to znaczy mającym naukowo potwierdzoną trafność i rzetelność) narzędziem do pomiaru kompetencji algorytmicznych – Algorithm Literacy Scale for Internet Users

Opracowane zostało ono przez wspomnianą Lelyę Dogruel wraz ze współpracownikami w 2022 r. Autorzy bazowali na zaprezentowanej powyżej konceptualizacji. Zoperacjonalizowany został jednak tylko jeden z czterech wymiarów kompetencji algorytmicznych – świadomość na temat algorytmów i wiedza o algorytmach. Ich analizy potwierdziły, że pozostałe wymiary (zdolność do krytycznej oceny algorytmów, sposoby radzenia sobie z algorytmami, zdolność projektowania i tworzenia algorytmów) są z nim skorelowane. Narzędzie składa się z kwestionariusza zawierającego dwadzieścia dwa pytania.

Innym (również zwalidowanym) narzędziem, koncentrującym się jednak jedynie na pewnym wycinku kompetencji algorytmicznych, jest opublikowane w 2021 roku Algorithmic Media Content Awareness (AMCA). Oparte jest na kwestionariuszu składającym się z trzynastu pytań, podzielonych na cztery kategorie:

• filtrowanie treści (bada świadomość tego, że algorytmy dopasowują treści do użytkowników),
• automatyczne podejmowanie decyzji (bada świadomość tego, że algorytmy automatycznie decydują w zakresie dostarczania użytkownikowi treści),
• interakcja z algorytmem (bada świadomość tego, że działanie użytkownika wpływa na dostarczane treści)
• świadomość konsekwencji etycznych.

Respondenci oceniają swój poziom świadomości na pięciostopniowej skali.

Warto także odnotować propozycję Esztera Hargittaia z 2020 roku. Postuluje on, by badać umiejętności algorytmiczne za pomocą wywiadów jakościowych. Takie podejście utrudnia jednak standaryzację wyników. 

W piśmiennictwie znajdziemy również, mniej lub bardziej metodologicznie dopracowane (i niezwalidowane naukowo), konceptualizacje oraz operacjonalizacje konstruktów, które można uznać za składowe kompetencji algorytmicznych, jak na przykład świadomość personalizacji wyników wyszukiwania czy profilowania przekazów w mediach społecznościowych.

Czy dostępne narzędzia są wystarczające?

Z metodologicznego punktu widzenia najwartościowsze są te narzędzia, które przeszły proces walidacji, a więc Algorithm Literacy Scale for Internet Users oraz Algorithmic Media Content Awareness (AMCA). Nie są one pozbawione wad.

Po pierwsze oba kwestionariusze odnoszą się wyłącznie do algorytmów funkcjonujących w internecie. Jednakże algorytmy, jak wskazywałem w pierwszej części cyklu, są dziś wszechobecne, zarządzają coraz większą liczbą obszarów życia indywidualnego i społecznego. Stąd narzędzie do badania kompetencji algorytmicznych nie powinno ograniczać się do interakcji z algoryTmami internetowymi.

Po drugie zarówno Algorithm Literacy Scale for Internet Users, jak i Algorithmic Media Content Awareness mierzą tylko wymiar poznawczy (a właściwie jedną z jego składowych) kompetencji algorytmicznych. Co więcej, w przypadku AMCA respondenci jedynie deklarują poziom świadomości. Ich odpowiedzi nie są poddane żadnemu zobiektywizowanemu sprawdzianowi, dlatego stosowanie takiego narzędzia do badań porównawczych jest dyskusyjne.

Po trzecie przeprowadzone przeze mnie i Magdalenę Krawczyk badanie, omówione w drugiej części cyklu, wykazało, że niektóre z pytań wykorzystanych w kwestionariuszu Algorithm Literacy Scale for Internet Users są niejasne, respondenci nie rozumieją właściwie ich sensu.

Jak mierzyć kompetencje algorytmiczne? Propozycje

Jak w takim razie skonstruować – jeśli nie optymalne, to przynajmniej dostatecznie dobre – narzędzie do badania kompetencji algorytmicznych? Trzeba zacząć od dobrej konceptualizacji konstruktu, który powinien być ujęty szeroko, tak by zawierać wymiar teoretyczny i praktyczny oraz techniczny i społeczny. Ten ostatni jest mniej oczywisty, ale osoba legitymująca się wysokimi kompetencjami algorytmicznymi powinna rozumieć także społeczne źródła i konsekwencje funkcjonowania algorytmów.

Algorytmy często reprodukują istniejące w kulturze uprzedzenia albo generują nowe. Dlatego kompletny konstrukt kompetencji algorytmicznych powinien obejmować znajomość sił społecznych, które za tymi algorytmami stoją.

Jak sądzę, właściwym punktem wyjścia do stworzenia kompleksowego narzędzia, byłoby:

1. wyodrębnienie konkretnych obszarów życia, w które ingerują algorytmy (może to być na przykład: rynek, polityka, praca, edukacja, związki międzyludzkie, zdrowie);
2. opracowanie dla każdego z nich zestawu kompetencji: poznawczych (dotyczących wiedzy i świadomości na temat algorytmów), krytycznych (dotyczących konsekwencji działania algorytmu i jego społeczno-kulturowego uwikłania) oraz praktycznych (dotyczących umiejętności korzystania z opartych na algorytmach systemów)
3. na ostatnim etapie zaproponowanie wskaźników dla każdej kompetencji (w formie pytania bądź praktycznego zadania).

To zaledwie wstępny pomysł na to, jak mierzyć kompetencje algorytmiczne. Uważam jednak, że wart jest dopracowania i rozwinięcia.

Źródło zdjęcia: Matt Ridley/Unsplash