Ta sama prośba sformułowana odrobinę inaczej i model językowy odpowiada zupełnie inaczej. Według zespołu projektu QuantPi to najczęstszy problem, który wychodzi w testach generatywnej sztucznej inteligencji. Badacze opracowali platformę, która sama tworzy testy, wyłapuje niestabilność i stronniczość, a wyniki zamienia w dokumentację dla audytorów. Sprawdzili ją także na systemie polecającym kandydatów do pracy — a na końcu możesz sprawdzić, jak bardzo ufasz odpowiedziom AI.
Generatywna sztuczna inteligencja coraz częściej pomaga w ocenie kandydatów do pracy, w obsłudze klienta i we wspieraniu decyzji biznesowych. Jej największym atutem jest szybkość. Ma jednak słabość, którą łatwo przeoczyć: potrafi zareagować zupełnie inaczej na drobną zmianę w sformułowaniu pytania, w języku albo w kontekście. Dla firm oznacza to podwójne zadanie. Muszą takie anomalie wykrywać, a do tego mieć dokumentację, która potwierdza, że ryzyko zostało przetestowane i jest pod kontrolą.
Tym problemem zajął się zespół projektu QuantPi, wspieranego przez Europejską Radę ds. Innowacji. Powstała platforma do zarządzania ryzykiem generatywnej sztucznej inteligencji, której sercem jest technologia PiCrystal. Narzędzie automatycznie tworzy zestawy testów, sprawdza zachowanie modelu i przekształca wyniki w dokumentację gotową do audytu, powiązaną z wymaganiami unijnego rozporządzenia o sztucznej inteligencji. Platforma bada systemy pod trzema kątami: niestabilności wyników, stronniczości oraz dostępności materiału dowodowego, który da się przedstawić podczas audytu.
Co najczęściej wychodzi w takich testach? Lukas Bieringer, dyrektor ds. polityki i dotacji w QuantPi, odpowiada bez owijania w bawełnę: „Jest to zazwyczaj niespójne lub niestabilne zachowanie przy realistycznej zmienności danych wejściowych – ta sama klasa zapytania (promptu) daje zasadniczo różne wyniki w zależności od sformułowania, użytego języka lub kontekstu”.
W praktyce wygląda to tak, że system może gładko przejść prosty test porównawczy, a potem zawieść w kontakcie z prawdziwymi użytkownikami, którzy formułują zapytania po swojemu. Dopiero wtedy wychodzą na jaw uprzedzenia i nierówności między grupami, których w średnich wynikach w ogóle nie widać.
Zespół sprawdził to na konkretnym przypadku. Ocenie poddano system rekomendacji kandydatów oparty na dużym modelu językowym, a partnerami były platforma rekrutacyjna Stepstone i laboratorium TÜV AI.Lab. Wniosek ma znaczenie dla każdego, czyje CV może trafić do takiego systemu. Testy narzędzi AI wykorzystywanych przy zatrudnianiu wymagają dużych, reprezentatywnych zbiorów danych. Tylko one pozwalają na analizy przekrojowe, które uwzględniają nakładające się cechy różnych grup. Uśrednianie wyników działa tu jak zasłona: ukrywa istotne różnice w tym, jak system radzi sobie z poszczególnymi segmentami.
Drugim pomysłem QuantPi jest oddzielenie warstwy dowodowej od warstwy prezentacji. Wynika to z prostej obserwacji: różne osoby w firmie potrzebują innych informacji o tym samym systemie.
Żeby te widoki nie rozjechały się ze sobą, obowiązuje jedna reguła. „Kluczowa zasada projektowa mówi: wszystkie prezentowane widoki muszą być oparte na tym samym statystycznym zbiorze dowodowym, tak aby każde stwierdzenie formułowane na poziomie zarządu mogło być w pełni powiązane z konkretnym wynikiem testowym” – wyjaśnia Bieringer.
Automatyzacja nie oznacza, że ocena przez człowieka staje się zbędna. To ludzie określają, do czego system ma służyć, wybierają definicje sprawiedliwości czy bezpieczeństwa, ustalają progi akceptacji i decydują o wdrożeniu, opóźnieniu albo wycofaniu narzędzia. Podział ról jest jasny: platforma mierzy ryzyko, a odpowiedzialni ludzie rozstrzygają, jaki jego poziom można zaakceptować.
Raz wykonany test nie wystarcza też na zawsze. Monitorowanie uruchamia się za każdym razem, gdy zmienia się sytuacja: po aktualizacji modelu, zmianie promptu czy indeksu wyszukiwania. Ponownej oceny wymagają również dryf danych i zmiany przepisów, bo każda z tych rzeczy może unieważnić wcześniejsze wyniki.
Według Bieringera dla wielu firm największą przeszkodą nie jest już świadomość obowiązujących reguł. „To, z czym sobie nie radzą, to przedstawienie technicznych dowodów zgodności, które sprawdzą się przed jednostką notyfikowaną lub audytorem – szczególnie w przypadku systemów generatywnych, gdzie tradycyjne raporty porównawcze są niewystarczające i brakuje zharmonizowanych norm” – mówi. Platforma QuantPi ma wypełniać właśnie tę lukę, zamieniając testy techniczne w dowody, z których różne zespoły mogą korzystać przed wdrożeniem i po nim.
Generatywna AI bywa kapryśna: to samo pytanie zadane innymi słowami potrafi dać zupełnie inną odpowiedź, a średnie wyniki testów mogą ukrywać nierówne traktowanie poszczególnych grup. Projekt QuantPi pokazuje, że rzetelna ocena takich systemów wymaga automatycznych, powtarzalnych testów, reprezentatywnych danych i jednego, wspólnego zbioru dowodów dla wszystkich, od analityka po zarząd. Ostatnie słowo w sprawie tego, jakie ryzyko jest do przyjęcia, wciąż należy jednak do ludzi.
5 pytań · minuta
poleca:
