Sztuczna inteligencja coraz mocniej wpływa na kluczowe sektory gospodarki, a jej rozwój niesie ze sobą zarówno ogromne możliwości, jak i istotne zagrożenia. Unia Europejska, chcąc zapewnić bezpieczeństwo i przejrzystość działania systemów AI, wprowadza AI Act – pierwsze kompleksowe przepisy regulujące ich funkcjonowanie.
Jakie obowiązki będą mieli dostawcy AI wysokiego ryzyka? Jakie wymogi muszą spełnić, aby legalnie działać na rynku UE? Na te i inne pytania odpowiada IPSO LEGAL – w ramach projektu Miesiąc Partnera Klastra.
Wprowadzenie
Sztuczna inteligencja (AI) staje się coraz bardziej powszechna w różnych dziedzinach życia – od medycyny, przez finansowe aplikacje scoringowe, po systemy rekrutacyjne. Rosnące znaczenie AI idzie w parze z potrzebą zapewnienia jej bezpiecznego i etycznego wykorzystania. Unia Europejska, dostrzegając zarówno ogromny potencjał, jak i zagrożenia związane z AI, przygotowała przełomowe rozporządzenie nazywane potocznie AI Act (Akt o Sztucznej Inteligencji). Jego celem jest ustanowienie wspólnych zasad dla rozwoju i użycia systemów AI na terenie UE, według podejścia opartego na ryzyku. Oznacza to, że obowiązki nakładane na podmioty tworzące i wdrażające AI zależą od tego, jak duże ryzyko wiąże się z danym zastosowaniem sztucznej inteligencji.
Wymogi AI Act wobec dostawców systemów AI wysokiego ryzyka
AI Act nakłada na dostawców systemów AI wysokiego ryzyka (czyli podmioty, które opracowują i wprowadzają takie systemy na rynek pod własną nazwą lub marką) szereg obowiązków. Obowiązki te mają zapewnienić, że systemy te będą bezpieczne, przejrzyste i zgodne z prawem przez cały cykl ich życia. Poniżej przedstawiono najważniejsze wymogi wynikające z AI Act i wyjaśniamy, co one oznaczają w praktyce:
Identyfikacja dostawcy – dane producenta
Każdy system AI zakwalifikowany jako wysokiego ryzyka musi umożliwiać identyfikację swojego dostawcy. Oznacza to, że w samym systemie AI (np. w interfejsie użytkownika) lub – jeśli nie jest to możliwe – na jego opakowaniu bądź w dołączonej dokumentacji, muszą zostać podane informacje identyfikujące dostawcę. Wymagane dane to przede wszystkim nazwa dostawcy (lub imię i nazwisko, jeśli dostawcą jest osobą fizyczną), zarejestrowana nazwa handlowa lub znak towarowy oraz adres kontaktowy (np. siedziba firmy, adres e-mail do kontaktu).
Ten wymóg przypomina zasady znane z innych regulacji dotyczących produktów wprowadzanych na rynek UE – podobnie jak na wyrobach medycznych znajdziemy dane producenta, tak też w przypadku systemu AI wysokiego ryzyka użytkownik oraz organy nadzoru muszą łatwo ustalić, kto odpowiada za dane rozwiązanie. Jasna identyfikacja dostawcy sprzyja przejrzystości i umożliwia szybki kontakt w razie wystąpienia problemów lub potrzeby uzyskania dodatkowych informacji o systemie.
Oznakowanie CE i deklaracja zgodności UE
Zanim system AI wysokiego ryzyka trafi na rynek, dostawca ma obowiązek przeprowadzić ocenę zgodności swojego produktu z wymaganiami AI Act. Jeśli wyniki tej oceny są pozytywne (tzn. system spełnia wszystkie obowiązujące wymogi), kolejnym krokiem jest przygotowanie deklaracji zgodności UE oraz nadanie systemowi oznaczenia CE.
Deklaracja zgodności UE to pisemne oświadczenie dostawcy, w którym stwierdza on na swoją odpowiedzialność, że dany system AI jest zgodny z przepisami rozporządzenia AI Act (a także innych mających zastosowanie przepisów, jeżeli dotyczy). Dokument ten musi zostać sporządzony dla każdego systemu AI wysokiego ryzyka indywidualnie i przechowywany (oraz udostępniany organom nadzorczym na żądanie) przez co najmniej 10 lat od wprowadzenia systemu do obrotu.
Oznakowanie CE z kolei to symbol, który musi być umieszczony na produkcie (lub jego opakowaniu, bądź w interfejsie cyfrowym), aby wskazać, że produkt ten jest zgodny z wymaganiami UE. W kontekście AI Act oznakowanie CE pełni taką samą funkcję jak w przypadku innych produktów podlegających unijnym regulacjom – jest oficjalnym potwierdzeniem, że produkt przeszedł procedurę oceny zgodności i spełnia wymagania bezpieczeństwa. Dla dostawcy AI oznacza to konieczność dopełnienia formalności podobnych jak np. w branży wyrobów medycznych: po pozytywnym zakończeniu oceny zgodności należy umieścić na systemie symbol CE. Należy jednak pamiętać, że umieszczenie znaku CE bez rzeczywistego spełnienia wymogów jest poważnym naruszeniem prawa i może skutkować surowymi sankcjami.
Dokumentacja techniczna i rejestry zdarzeń (logi)
Sam fakt, że system AI działa zgodnie z założeniami, nie wystarczy – dostawca musi to jeszcze udokumentować. AI Act wymaga opracowania szczegółowej dokumentacji technicznej dla każdego systemu AI wysokiego ryzyka. Taka dokumentacja powinna zawierać opis systemu, jego przeznaczenie, zastosowane algorytmy i techniki, a także informacje o podjętych środkach w celu zapewnienia zgodności z wymogami (np. opis procesu zarządzania ryzykiem, wyniki testów bezpieczeństwa i dokładności, wdrożone mechanizmy nadzoru człowieka nad działaniem AI, środki zapewniające prywatność itp.). Celem dokumentacji jest umożliwienie organom nadzorczym zrozumienia, jak system został zaprojektowany i dlaczego można uznać go za zgodny z prawem. Dokumentacja techniczna musi być aktualizowana w razie wprowadzania zmian do systemu i powinna być przechowywana przez co najmniej 10 lat od momentu wprowadzenia AI na rynek.
Drugim ważnym elementem jest prowadzenie rejestrów zdarzeń (logów) generowanych automatycznie podczas działania systemu AI. Dostawca musi zapewnić, że system wysokiego ryzyka posiada funkcjonalność zapisywania istotnych zdarzeń, operacji lub decyzji podejmowanych przez AI, w sposób umożliwiający późniejszą analizę. Takie logi mogą obejmować np. historię decyzji podejmowanych przez algorytm, informacje o wykrytych błędach, próbach nieautoryzowanego dostępu czy innych istotnych incydentach. Wymóg ten służy zapewnieniu rozliczalności działania AI – w razie potrzeby (np. błędnej decyzji diagnostycznej) organy lub audytorzy mogą prześledzić, co działo się wewnątrz „czarnej skrzynki” AI. AI Act wskazuje, że rejestry zdarzeń powinny być przechowywane przez odpowiedni okres (minimalnie 6 miesięcy od ich wygenerowania, choć w praktyce wiele sektorów będzie wymagać dłuższego przechowywania danych, zwłaszcza gdy mogą one posłużyć jako dowód w ewentualnych sporach). Dostawca powinien zatem zadbać o mechanizmy gromadzenia, bezpiecznego przechowywania i ochrony tych logów (również z uwzględnieniem przepisów o ochronie danych osobowych, jeśli logi zawierają takie dane).
Rejestracja systemu w bazie danych UE
Unia Europejska planuje utworzenie centralnej bazy danych zawierającej informacje o systemach AI wysokiego ryzyka wprowadzonych do obrotu. Zgodnie z AI Act, dostawcy będą zobowiązani dokonać rejestracji swoich systemów AI wysokiego ryzyka (oraz własnych danych jako podmiotu) w takiej oficjalnej bazie przed wprowadzeniem systemu na rynek. Rejestracja ma na celu ułatwienie nadzoru nad nowymi technologiami – organy regulacyjne będą dysponować aktualną informacją, jakie systemy i przez kogo zostały wprowadzone do obrotu w UE. Prawdopodobnie część informacji z tej bazy będzie też dostępna publicznie, co zwiększy transparentność wobec obywateli i użytkowników (podobny mechanizm istnieje już np. dla wyrobów medycznych w systemie EUDAMED).
Dla dostawcy AI obowiązek rejestracji oznacza konieczność przekazania określonych informacji do bazy – zapewne będą to dane podobne do tych z deklaracji zgodności: identyfikacja dostawcy, nazwa i typ systemu, jego przeznaczenie, a być może również streszczenie ocen ryzyka czy kluczowych funkcji bezpieczeństwa. Procedura rejestracji będzie prawdopodobnie elektroniczna, za pośrednictwem portalu prowadzonego przez Komisję Europejską lub wyznaczoną agencję. Należy pamiętać, że brak rejestracji, jeśli jest wymagana, uniemożliwi legalne wprowadzenie systemu na rynek – jest to więc krok, o którym nie można zapomnieć na finiszu prac nad systemem.
Działania naprawcze w razie nieprawidłowego działania AI
Nawet przy najlepszych staraniach może się zdarzyć, że po wprowadzeniu systemu AI do użytku wyjdą na jaw pewne nieprawidłowości – np. nieprzewidziane błędy, luki bezpieczeństwa czy zachowania AI niezgodne z założeniami (tzw. „niezamierzone konsekwencje”). AI Act wymaga od dostawców szybkiej reakcji w takich sytuacjach poprzez podjęcie odpowiednich działań naprawczych.
Jeśli dostawca stwierdzi lub zostanie poinformowany, że jego system AI wysokiego ryzyka nie spełnia wymagań AI Act (np. z powodu nowo odkrytej wady, która wpływa na bezpieczeństwo lub dokładność wyników), powinien niezwłocznie podjąć kroki w celu przywrócenia zgodności. Takie kroki mogą obejmować:
- naprawę lub aktualizację systemu (np. wprowadzenie poprawki oprogramowania usuwającej błąd),
- tymczasowe zawieszenie działania systemu u użytkowników do czasu poprawy,
- a w skrajnych przypadkach wycofanie systemu z rynku lub zaprzestanie jego udostępniania.
Co istotne, obowiązki dostawcy obejmują również poinformowanie właściwych organów nadzoru oraz dystrybutorów i użytkowników o stwierdzonych niezgodnościach i podjętych działaniach. Taki obowiązek informacyjny jest analogiczny do procedur znanych z innych sektorów (np. producentów sprzętu medycznego zgłaszających tzw. incydent medyczny). Celem jest zminimalizowanie ryzyka wyrządzenia szkód przez wadliwy system AI – lepiej czasowo wyłączyć lub wycofać produkt, niż narażać ludzi na konsekwencje jego błędów. Dla dostawcy oznacza to konieczność monitorowania działania swoich systemów także po ich wdrożeniu (tzw. post-market monitoring) i utrzymywania planów awaryjnych na wypadek wykrycia problemów.
Wykazanie zgodności na żądanie organu nadzorczego
Spełnienie wymogów AI Act to jedno, ale dostawca musi być również gotów wykazać tę zgodność przed organami nadzorczymi. W praktyce oznacza to obowiązek współpracy z organami nadzoru rynku (np. krajowymi urzędami odpowiedzialnymi za nadzór nad produktami cyfrowymi lub specjalnie powołanymi organami ds. AI). Jeśli taki organ zwróci się do dostawcy z prośbą o udostępnienie informacji czy dokumentów związanych z systemem AI, dostawca musi je przekazać i wykazać, że jego system spełnia wymagania.
Może to obejmować przedłożenie wspomnianej wcześniej dokumentacji technicznej, rejestrów zdarzeń, kopii deklaracji zgodności UE, wyników przeprowadzonych testów, a nawet udostępnienie do wglądu samego systemu AI czy jego komponentów (np. modelu algorytmicznego) w zakresie potrzebnym do oceny. Dostawca powinien być przygotowany na taką ewentualność – oznacza to konieczność stałego kontrolowania dokumentacji i jej ciągłej aktualizacji, a także wyznaczenia wewnętrznych procedur obsługi zapytań od organów (np. określenia, kto w firmie odpowiada za kontakt z urzędem, jak szybko i w jakiej formie informacje powinny być dostarczane). Brak współpracy z organami może skutkować nałożeniem kar, a w skrajnym razie nawet wycofaniem produktu z rynku decyzją nadzorcy, dlatego przejrzystość i gotowość do wykazania zgodności leży w interesie dostawcy.
System zarządzania jakością (testowanie, walidacja, poprawa błędów, szkolenia)
Jednym z kluczowych fundamentów zapewnienia zgodności jest wdrożenie systemu zarządzania jakością (Quality Management System, QMS). AI Act wprost wymaga, aby dostawcy systemów wysokiego ryzyka posiadali sformalizowany system zarządzania jakością obejmujący cały cykl życia produktu – od etapu projektowania, przez rozwój, testy i walidację, wdrożenie, aż po monitorowanie działania już u użytkownika.
Taki system zarządzania jakością powinien zawierać udokumentowane polityki, procedury i instrukcje regulujące pracę zespołów tworzących AI. W praktyce chodzi o to, by tworzenie AI odbywało się według określonych standardów i dobrych praktyk, a nie na żywioł. Elementy, które w szczególności powinny zostać ujęte w ramach QMS to m.in.:
- Procedury testowania i walidacji – przed wprowadzeniem systemu na rynek należy gruntownie przetestować jego działanie w różnych warunkach i scenariuszach (w tym sytuacje skrajne czy nieprzewidziane) oraz zweryfikować, czy wyniki są zgodne z założeniami (walidacja). Procedury powinny określać, jak testy są planowane, przeprowadzane i dokumentowane, aby niczego nie pominąć.
- Mechanizmy identyfikacji i eliminacji błędów – w ramach procesu jakości musi istnieć sposób na zbieranie informacji o wykrytych błędach lub niepożądanych rezultatach działania AI (np. przypadki uprzedzeń algorytmu, fałszywe alarmy itp.) oraz proces ich analizy i poprawy. Innymi słowy, dostawca powinien uczyć się na błędach systemu i ciągle go ulepszać, by minimalizować ryzyko w przyszłości.
- Zarządzanie ryzykiem – system zarządzania jakością ściśle łączy się z zarządzaniem ryzykiem. Dostawca powinien zidentyfikować potencjalne zagrożenia wynikające z działania systemu (np. możliwość dyskryminacji określonej grupy użytkowników, ryzyko awarii zagrażającej życiu, podatność na ataki hakerskie) i wdrożyć środki zaradcze jeszcze na etapie projektowania. Proces zarządzania ryzykiem powinien być ciągły i aktualizowany zawsze, gdy pojawiają się nowe informacje o działaniu AI.
- Szkolenia użytkowników końcowych – nawet najlepsza AI może stać się niebezpieczna, jeśli zostanie niewłaściwie użyta. Dlatego częścią systemu jakości jest zapewnienie odpowiednich instrukcji i szkoleń dla użytkowników końcowych lub integratorów systemu. Dostawca powinien dostarczyć jasną instrukcję obsługi, opisującą m.in. przeznaczenie systemu, jego ograniczenia, sposób interpretacji wyników oraz wszelkie środki ostrożności, jakie użytkownik powinien zachować. Może to także oznaczać organizację szkoleń lub przygotowanie materiałów edukacyjnych dla klientów, zwłaszcza gdy system jest złożony lub krytyczny dla bezpieczeństwa.
Wdrożenie systemu zarządzania jakością często wymaga pewnej zmiany kultury organizacyjnej u dostawcy – wprowadzenia formalnych procedur tam, gdzie wcześniej panowała większa swoboda twórcza. Jednak jest to inwestycja, która się opłaca: uporządkowany proces pracy nad systemami AI nie tylko ułatwia spełnienie wymogów regulacyjnych, ale też zwykle skutkuje stworzeniem lepszego, bardziej dopracowanego produktu.
Podsumowanie: korzyści z zgodności z AI Act
Wdrożenie wszystkich opisanych wymogów AI Act z pewnością wymaga wysiłku, ale niesie ze sobą także istotne korzyści – nie tylko w kontekście uniknięcia kar:
- Po pierwsze, dostosowanie się do nowych regulacji przyczyni się do zwiększenia bezpieczeństwa i jakości systemów AI. Dzięki rygorystycznym testom, kontrolom i mechanizmom nadzoru, ryzyko, że AI popełni poważny błąd wyrządzający szkodę, znacznie się obniża. To oznacza ochronę użytkowników i reputacji firmy dostarczającej takie systemy.
- Po drugie, zgodność z AI Act zbuduje zaufanie wśród klientów i partnerów biznesowych. W świecie, gdzie coraz więcej mówi się o etyce AI i zagrożeniach związanych z algorytmami podejmującymi ważne decyzje, posiadanie swoistej „pieczątki” zgodności (w formie oznakowania CE i deklaracji) będzie sygnałem, że firma poważnie traktuje kwestie bezpieczeństwa i odpowiedzialności. Może to stanowić przewagę konkurencyjną – klienci chętniej wybiorą system, który przeszedł formalną ocenę zgodności, niż eksperymentalne rozwiązanie które nie gwarantuje jakości.
- Po trzecie, spełnienie wymogów AI Act ułatwi ekspansję rynkową. Regulacja ta prawdopodobnie stanie się światowym punktem odniesienia (podobnie jak RODO wpłynęło globalnie na standardy ochrony danych). Firma, która już dostosuje się do unijnych przepisów, będzie lepiej przygotowana na podobne wymogi w innych krajach czy regionach, które mogą pójść śladem UE. Ponadto, zgodność z AI Act będzie warunkiem koniecznym, by w ogóle sprzedawać swój produkt w Unii Europejskiej. Wypełnienie obowiązków prawnych to zatem przepustka do korzystania z możliwości tego rynku bez obaw o nagłe zakazy czy blokady.
- Po czwarte, wprowadzając procesy jakości i zarządzania ryzykiem, firma może odkryć, że usprawnia to jej działalność operacyjną. Lepsza dokumentacja i jasno zdefiniowane procedury przekładają się na bardziej uporządkowany rozwój produktu, mniejszą liczbę błędów i bardziej efektywną pracę zespołów. Zamiast gasić pożary, można skupić się na doskonaleniu funkcjonalności. W efekcie końcowym produkty stają się bardziej dopracowane, a firma buduje cenne know-how w zakresie bezpiecznego wdrażania nowych technologii.
Podsumowując, choć AI Act nakłada na dostawców AI wysokiego ryzyka liczne obowiązki, ich realizacja może przynieść korzyści zarówno społeczeństwu (bezpieczniejsze i bardziej etyczne systemy AI), jak i samym dostawcom (lepsza jakość produktów, zaufanie klientów, dostęp do rynku, uniknięcie kar). Warto już teraz zacząć przygotowania do spełnienia tych wymogów. Im wcześniej firmy podejmą działania dostosowawcze, tym bardziej płynne i bezproblemowe będzie dla nich funkcjonowanie w nowej, uregulowanej rzeczywistości AI.
Masz wątpliwości, czy Twój system AI spełnia wymagania AI Act? Zastanawiasz się, jak skutecznie wdrożyć procedury zgodne z nowymi przepisami? Kancelaria IPSO LEGAL specjalizuje się w doradztwie prawnym dla branży lifescience. Wsparcie obejmuje m.in.:
- doradztwo w zakresie odpowiedzialności prawnej za AI
- opracowanie polityki compliance i dokumentacji związanej z systemami AI
- weryfikację regulaminów i polityk wewnętrznych
- wdrożenie systemów zarządzania jakością,
- doradztwo w zakresie działań naprawczych i post-market monitoring.
Jak możesz się skontaktować z IPSO LEGAL? Wyślij wiadomość na: office@ipsolegal.pl lub odwiedź stronę: www.ipsolegal.pl.
Po więcej informacji odwiedź profil IPSO LEGAL na Platformie Współpracy LSOS.
Materiały do powyższego artykułu zostały dostarczone przez firmę IPSO LEGAL.