Regulacje wykorzystania GenAI w SGH – przyciasny gorset czy sposób na wzrost efektywności? (WYWIAD)

Maciej Danielewicz, HomoDigital: Szkoła Główna Handlowa w Warszawie wprowadziła od semestru letniego 2024 r. zasady wykorzystania sztucznej inteligencji przy przygotowywaniu prac pisemnych. Dotyczą one prac licencjackich, magisterskich i doktorskich. Czy moglibyśmy je porównać do zapisów np. Prawa autorskiego czy Prawa prasowego? Chodzi w sumie o podobne zasady postępowania – cytowanie źródeł, z których się korzysta, oznaczanie cytatów, zakaz kopiowania cudzych przemyśleń i wniosków jako własnych, zakaz plagiatu…

Prof. Tymoteusz Doligalski: Na samym początku warto zaznaczyć, że prace studentów SGH, podobnie jak i innych uczelni, powinny być wynikiem analizy i kreatywności autora. I to niezależnie od tego, czy i w jakim stopniu korzysta on ze sztucznej inteligencji. To podstawowa zasada, która obowiązywała na długo przed wprowadzeniem na rynek narzędzi generatywnej AI.

Natomiast – czy nasze zapisy są podobne do Prawa autorskiego czy Prawa prasowego? Są podobieństwa i różnice. Prace powinny wynikać z pogłębionej refleksji studenta. Narzędzia, które może stosować, wykorzystujące AI lub automatyzację, mogą być dla niego wsparciem, jednak nie mogą być substytutem dla jego własnej pracy wymagającej poważnego przemyślenia i wyciągnięcia samodzielnych wniosków. To byłoby podobnie, jak w tych zapisach, które dotyczą np. twórców czy dziennikarzy.

Ale – moim zdaniem – więcej jest różnic. Kiedy przystępowaliśmy do stworzenia reguł w ramach komisji powołanej przez rektora SGH, myśleliśmy, że będą one dotyczyły głównie pisania. Czyli że przedmiotem regulacji będzie samo pisanie, proza pracy. Kiedy weszliśmy w szczegóły, to okazało się, że tych obszarów jest więcej.

Zarządzenie rektora SGH ws. wykorzystania GenAI w SGH w pracach dyplomowych nie koncentruje się jedynie na pisaniu. Czyli wykorzystywanie GenAI należy rozumieć znacznie szerzej?

Okazało się, że jest dużo więcej obszarów, które wymagają uregulowania. Wyróżniliśmy ich w sumie dziesięć. Pisanie jest jednym z nich. Te obszary pokazują zarówno złożoność procesu twórczego, jak i wskazują na zróżnicowanie prac tworzonych w SGH. Są nimi: ideacja, pozyskiwanie wiedzy i przegląd literatury, pisanie, operacje na tekście, tworzenie grafik, programowanie, analiza danych, modelowanie ekonomiczne i matematyczne, sztuczna inteligencja jako przedmiot badań oraz raportowanie wykorzystania sztucznej inteligencji. Wyróżnione przez nas obszary stosowania reguł mieszczą się zatem w szerokim spektrum: od stworzenia ogólnej koncepcji pracy do szczegółowych działań związanych z samym tekstem lub danymi.

Czy w trakcie konsultacji pojawiły się kontrowersje co do jakichś konkretnych rozwiązań, opór przeciw niektórym zapisom?

Kierunki zarządcze zazwyczaj przyjmowały reguły bez zgłaszania zasadniczych zmian. Natomiast najwięcej kontrowersji dotyczyło właśnie kierunków ilościowych. Na tych kierunkach często stosowanymi metodami jest modelowanie, programowanie oraz analiza danych. Na niektórych kierunkach np. tworzenie kodu komputerowego z wykorzystaniem sztucznej inteligencji jest dozwolone, podczas gdy na innych wzbudza to już wątpliwości.

Co jest w takim razie dopuszczalne, a co nie?

Niedopuszczalne jest na pewno wykorzystanie sztucznej inteligencji do generowania treści, która zostanie w pracy wykorzystana jako autorski wywód. Nieważne, czy to będzie cała rozprawa, rozdział, czy tylko kilka akapitów. Nawet przy założeniu, że autor dokona zmian.

Te najważniejsze warstwy pracy – narracyjne, strukturalne, z wnioskami i konkluzją – powinny być efektem pogłębionej refleksji autora. Muszą być po prostu samodzielne i wynikać z kreatywności i przemyśleń studenta.

Do czego zatem student może używać narzędzi sztucznej inteligencji?

AI może być wykorzystywana do zautomatyzowania czynności, które muszą być wykonane, ale nie wymagają od studenta pogłębionej refleksji. Są nimi: wyszukiwanie artykułów, formatowanie przypisów i bibliografii, korekta językowa czy też tworzenie rysunków lub wykresów.

Miał Pan doświadczenia z pracy ze studentami w zakresie wykorzystania GenAI do tego typu nowych tematów?

W semestrze letnim w ubiegłym roku poprosiłem studentów o analizę modelu biznesu określonej firmy internetowej. I – w formie eksperymentu – pozwoliłem na wykorzystanie w pracach narzędzia ChatGPT, z jednoczesnym poleceniem, żeby te wygenerowane treści były odpowiednio oznaczone. Na ponad 50 zespołów, tylko jeden zadeklarował wykorzystania sztucznej inteligencji. Co więcej, ten zespół był jednym z najsłabszych w całej grupie. Po prostu sztuczna inteligencja na tym etapie rozwoju nie przydaje się do analizy konkretnego przypadku. W szczególności według ściśle określonych reguł, które niekoniecznie są odzwierciedlone w materiałach dostępnych w internecie, czyli treściach, na których GenAI się uczy.

Co innego, gdyby istotą zaliczenia było np. opisanie skutków globalizacji lub trendów konsumenckich. W przypadku tego typu esejów tekst wygenerowany przez sztuczną inteligencję mógłby zawierać sensowne myśli, niemniej nie byłby on autorskim tekstem studenta.

To może tematyka prac dyplomowych powinna zostać tak zmodyfikowana, żeby uniknąć łatwego wykorzystania ChatGPT? Czyli np. z tematów dotyczących spraw już wielokrotnie opisywanych powinna przesunąć się w kierunku najnowszych wydarzeń i analizy konkretnych przypadków?

Dyskusja na ten temat trwa, zarówno w SGH, jak i w innych uczelniach. Czy nie należy przejść bardziej do prac o charakterze projektowym, które będą analizą konkretnego przypadku, w szczególności takiego przypadku, który nie jest opisany w internecie? Jednocześnie w mniejszym stopniu byłaby wykorzystywana forma rozprawki czy eseju na jakiś ogólny temat. Są jednakże opinie, że w niektórych obszarach nauk społecznych esej i rozprawka to adekwatna forma wypowiedzi i nie zawsze można ją zastąpić pracą projektową.

Co więc można zrobić w przypadku esejów, żebyśmy mieli absolutną pewność, że są napisane autorsko i samodzielnie, z pogłębionymi wnioskami?

Z pomocą przychodzi… oczywiście sztuczna inteligencja. Ta sama, której działania są przedmiotem regulacji, ale stosowana w narzędziach antyplagiatowych. Od niedawna mamy narzędzie do wykrywania plagiatów opracowane z wykorzystaniem GenAI. Jest to JSA, czyli Jednolity System Antyplagiatowy. (Tekst o systemie JSA – w HomoDigital)

Do tej pory system działał w ten sposób, że porównywał treści w pracy z innymi treściami dyplomowymi wgranymi do tego system oraz z treściami w internecie. Ostatnio został on wyposażony w dodatkową funkcję dotyczącą generatywnej sztucznej inteligencji, która analizuje tekst ze względu na jego właściwości, np. nietypową dla człowieka regularność tego tekstu.

Na tej podstawie JSA określa, że tekst został stworzony przez GenAI. Prawdopodobnie przez długi czas będziemy mieli jeszcze dyskusję nt. systemów zabezpieczeń czy metod omijania tego, natomiast już ta podstawowa funkcja jest dostępna.

Czy to znaczy, że promotorzy dostali do rąk wygodne obiektywne narzędzie, które może całkowicie zastąpić ich ludzkie, intuicyjne obserwacje?

My jako promotorzy współpracujemy na co dzień ze studentami, znamy ich sposoby wypowiedzi i jesteśmy wyczuleni na pewne działania. Mamy doświadczenie i na podstawie naszej dydaktycznej praktyki raczej będziemy wiedzieć, że w pracy coś jest nie tak. Że np. jakiś fragment tekstu nie pasuje, bo jest napisany w zupełnie w innym stylu niż pozostała część pracy.

Czyli jak w dobrym systemie zabezpieczeń, np. informatycznych, mają Państwo podwójne blokady. GenAI reprezentowany przez JSA z jednej strony, a z drugiej – sprawne oko i wyczucie promotora.

Podam kolejny przykład. Mój znajomy tłumacz mówi, że wykrywa teksty przetłumaczone przez Google Translator z tego względu, że mają one pewną właściwość. Są poprawne, sztampowe, ale brakuje im pewnej finezji. On te teksty rozpoznaje. Myślę, że w pracach dyplomowych jest podobnie.

System JSA pobiera teksty z ChatGPT i sprawdza pod kątem regularności tekstu. Co się stanie, jeśli autor pracy zmieni długość zdań, poprzestawia szyk wyrazów itp., żeby utracić regularność i typowość? Czy system to wykryje? Tego nie wiemy. Ale tutaj mamy zawsze jeszcze oko promotora oraz recenzenta.

Czy reguły będą aktualizowane? Czy może już wręcz widzą Państwo potrzebę aktualizacji niektórych zapisów? Zmiany w narzędziach AI zachodzą tak szybko…

Zespół do spraw opracowania zasad wykorzystania sztucznej inteligencji przygotowywaniu prac pisemnych jest powołany na dłuższy okres. Prace mają mieć charakter ciągły. Do naszych zadań należy monitorowanie trendów, konsultowanie zmian ze społecznością SGH, i oczywiście – jeśli to będzie konieczne – aktualizacja zasad.

Co do drugiej część Pana pytania, pod koniec naszych prac nad regulacjami pojawiły się nowe narzędzia oparte na modelach AI. Chodzi np. o dwa narzędzia: FunSearch i AlphaGeometry. Te dwa narzędzia ułatwiają rozwiązywanie określonych problemów matematycznych.

(oba narzędzia wyszły z Google DeepMind i wykorzystują duże modele językowe. Naukowcy badają tam, czy duże modele językowe, na których opierają się nowoczesne chatboty, takie jak ChatGPT czy Gemini, mogą zrobić coś więcej niż tylko wyselekcjonować i na nowo zorganizować informacje zdobyte podczas uczenia na dostępnych danych. Czyli – czy są w stanie być kreatywne i łączyć dotychczasową wiedzę z odkrywczymi eksperymentami. FunSearch to narzędzie wyszukiwania w przestrzeni i rozwiązywania problemów matematycznych i geometrycznych, a AlphaGeometry to narzędzie wykorzystujące symbole i reguły logiczne do wyciągania samodzielnych wniosków – przyp. HomoDigital).

My bezpośrednio tego typu zapisu dotyczącego konkretnych usług nie umieściliśmy w naszym dokumencie końcowym. One i tak na razie nie są dostępne dla ogółu użytkowników. Geometria nie jest też działem matematyki, który jest szerzej wykorzystywany w naukach ekonomicznych.

Założenie jest takie, że jako zespół analizujemy trendy, sprawdzamy, co nowego się pojawia i niewykluczone, że będziemy aktualizowali zasady, jeśli będą powszechnie dostępne nowe usługi potencjalnie przydatne w naukach ekonomicznych.

Czy prace nad regulacjami były jakimś oddolnym procesem, wynikały z potrzeb społeczności akademickiej czy zostały zainicjowane odgórnie? I co było punktem wyjścia do obecnych reguł uczelni? Jakieś inspiracje?

Inicjatywa wyszła od rektora SGH. Struktura zasad została stworzona w naszym zespole. Pracowaliśmy, analizując polityki przyjęte przez inne uczelnie. My zdecydowaliśmy się przyjąć zapisy dużo bardziej szczegółowe, niż ma większość uczelni. Korzystaliśmy z doświadczeń uczelni o różnych profilach, nie tylko ekonomicznych. Inspirację dla struktury zasad dał nam austriacki badacz Anton Korinek i jego artykuł opublikowany w 2023 r pt. Language models and cognitive automation for economic research.

Zasady te były przedmiotem konsultacji m.in. z radami programowymi odpowiedzialnymi za poszczególne kierunki. W radach są również przedstawiciele studentów. Ostatecznie podmiotów wypowiadających swoje opinie było więcej, niż początkowo założyliśmy. I dostaliśmy wiele uwag. Uznaliśmy, że lepiej spojrzeć z różnych perspektyw i uwagi rzeczywiście reprezentowały bardzo różne punkty widzenia.

Komisja uwzględniła te oddolne uwagi?

Odbiór naszych zasad był pozytywny. Dzięki otrzymanym opiniom skorygowaliśmy zapisy. Dodaliśmy np. sekcję tworzenia grafik i sztucznej inteligencji jako przedmiotu badań. Została dodana też raportowania wykorzystania sztucznej inteligencji w pracy.

Regulacje dotyczą zasadniczo prac pisemnych. Ale są przecież w procesie dydaktycznym także prezentacje multimedialne, wypowiedzi ustne. Czy tu trzeba jakoś regulować korzystanie z GenAI?

Sam regulamin studiów pozostał niezmienny. A w tym regulaminie jest kilkakrotnie powtórzony zapis o samodzielności pracy studenckiej. To powinno wystarczyć w tym przypadku.

Jak będzie wyglądała sama procedura stosowania reguł? Będzie jakaś uczelniana komisja czy raczej sprawdzanie pozostanie w gestii jednostek dydaktycznych?

Tutaj niewiele się zmieni. Promotor przyjmuje pracę, czyta, analizuje. Po przyjęciu przez promotora praca jest poddawana analizie przez JSA. Potem jest formalnie przyjmowana przez promotora, oceniana i kierowana do recenzji. Recenzent również ocenia pracę. Ocena pracy jest wypadkową ocen promotora i recenzenta.

Czy się stanie, gdy w tej procedurze pojawi się sygnał o niepoprawnym wykorzystaniu GenAI? Znajdzie to wyraz w ocenie? Jest przewidziane jakieś stopniowanie nadużyć? Oddzielna recenzja z wykorzystania AI?

Nie, to nie będzie oddzielna recenzja. Praca jest akceptowana albo nieakceptowana. To decyzja promotora i recenzenta.

A w jakim stopniu będzie możliwe niepoprawne wykorzystanie GenAI? Np. w 70% wykorzystania – pracę odrzucamy, a np. w 30% – przyjmujemy?

Jest kilka kryteriów, które praca musi spełnić, żeby była przyjęta. Jeśli te kryteria są niespełnione, wtedy promotor bierze na siebie odpowiedzialność. Czyli np. uznaje, że jakiś parametr wyniósł tyle a tyle, ale jest to uzasadnione w pracy.

Co do sprawdzania to bierze się pod uwagę różne parametry. Np. czy ciągi słów w konkretnej kolejności nie powtarzają się w internecie. Weźmy taki przykład: osoby prowadzące działalność gospodarczą. Wiadomo, że to się będzie powtarzało, bo taki jest ciąg słów będący spójnym określeniem prawnym. I nawet powinno się to powtórzyć. W przypadku prac, które odwołują się do ustaw, wiadomo, że tych ciągów wyrazów, które się powtarzają, będzie więcej.

Student dobrze oczytany w literaturze przedmiotu samoczynnie i bezwiednie może replikować sformułowania używane przez innych autorów. I nie będzie tego robił w złej wierze, tylko sądząc, że przez to wykazuje się wiedzą…

To są oczywiście problemy, ale chyba najlepiej rozstrzygnie je promotor na etapie przygotowania prac i wstępnej oceny.

Plagiaty i ściąganie – te zjawiska nie są nowe, nie narodziły się wraz z wprowadzeniem na rynek narzędzia ChatGPT i innych chatbotów. Studenci korzystali z książek, artykułów – czasem przepisywali fragmenty…

W mojej opinii wykrycie plagiatu aktualnie jest dużo prostsze niż w latach 90., czyli przed popularyzacją internetu z tego względu, że są dostępne systemy antyplagiatowe, które porównują prace z tym, co jest w otwartym internecie. Ale również porównują z innymi pracami, które zostały w ciągu tych kilkunastu lat wgrane do tego systemu.

Jeżeli mamy studenta, który w nieuzasadniony sposób wykorzystał treści z książki z lat 70. czy 90., jest duże prawdopodobieństwo, że inny student też powoływał się na te publikacje. W ten sposób przez podobieństwo treści do innej pracy licencjackiej lub magisterskiej taki plagiat może zostać zasygnalizowany.

Czyli zakładamy, że wszystkie treści potrzebne do znalezienia plagiatu są w internecie?

Nie. Zakładamy, że jeśli są treści, które nie zostały zdigitalizowane, to je prawdopodobnie ktoś inny w swojej pracy wgranej do systemu antyplagiatowego jakoś już wykorzystał. Być może je cytował? A więc ciąg wyrazów może być taki sam.

Studentów SGH jest ok. 10 tysięcy. Tematy prac muszą się powtarzać, bo liczba potencjalnych problemów jest jednak ograniczona? Powtarzać się muszą też pewne treści…

Tak, prace dyplomowe ze swojej natury są w pewnych względach do siebie podobne. W przypadku popularnych tematów takich jak strategia marketingu, wstęp oraz część wprowadzająca mogą mieć podobny wydźwięk. Może być jakaś podobna struktura. Natomiast nie tego typu cechy bierze pod uwagę JSA.

A co, jeśli student nie zgodzi się z zarzutem plagiatu? Jakaś procedura odwoławcza?

Wówczas może odwołać się do dziekana, a jeżeli to nie przyniesienie oczekiwanego przez niego skutku, do rektora.

Czy regulacje powstały dlatego, że został na uczelni zdiagnozowany jakiś problem plagiatów? I sytuacja wymagała regulacji?

Nie mieliśmy palącego problemu z plagiatami czy też wykorzystania GenAI. Raczej byliśmy przekonani, że warto ten obszar doprecyzować zarówno w kontekście etyki wykorzystania tych narzędzi, jak i efektywności samego procesu.

To nie jest tak, że my jako pracownicy uczelni chcemy, żeby to był kaganiec czy przyciasny gorset. Pragniemy, żeby nasi studenci wiedzieli, jak mogą skutecznie i efektywnie wykorzystywać te narzędzia sztucznej inteligencji, które są dostępne, przydatne i popularne, a ich możliwości będą się na pewno dynamicznie rozwijać.

Proszę spojrzeć na to z innej perspektywy. Co mogą robić studenci, z jakich narzędzi mogą korzystać, aby zwiększyć swoją produktywność, jakie czynności mogą zautomatyzować? Pokazujemy to, co mogą robić, a także to, czego robić nie mogą.

Czyli nie jest to tylko bicz na potencjalnego plagiatora, tylko też wskazówka, jak pracować naukowo, jak organizować sobie warsztat badawczy? Żeby np. w przyszłości efektywniej pracować naukowo, badawczo, ale i w praktyce biznesu, który bardzo często wymaga kompleksowej analizy danych, samodzielnego wnioskowania, sprawnej komunikacji.

Tak właśnie. Nasze regulacje służyć mają również wypracowaniu kompetencji pisania tekstów, tworzenia opracowań czy też analizy danych. Kompetencji, które można potem wykorzystać w późniejszej pracy zawodowej.

Dr hab. Tymoteusz Doligalski, prof. SGH – pracownik badawczo-dydaktyczny w Zakładzie e-Biznesu Instytutu Informatyki i Gospodarki Cyfrowej SGH. Zajmuje się badaniem funkcjonowania firm internetowych, w szczególności platform, z perspektywy modeli biznesu oraz zarządzania relacjami z klientami. Jest koordynatorem programów dydaktycznych dotyczących e-biznesu i marketingu internetowego. Był opiekunem zespołów studenckich będących laureatami konkursów z zakresu wykorzystania wyszukiwarek internetowych w marketingu (1. miejsce na świecie w latach 2012, 2014 i 2022). Wyniki badań publikuje na blogu: doligalski.net.

Czytaj też: Bo licencjat był napisany przez ChatGPT? Nie chce tego UW i reguluje użycie AI

Źródło zdjęcia: Tymoteusz Doligalski