Sztuczna inteligencja coraz śmielej wkracza do medycyny, wspierając diagnostykę i leczenie, ale wraz z jej rozwojem pojawiają się nowe regulacje. AI Act nakłada na podmioty korzystające z systemów AI wysokiego ryzyka szereg wymagań dotyczących bezpieczeństwa, przejrzystości i nadzoru. Co to oznacza w praktyce dla placówek medycznych, firm farmaceutycznych i badaczy? Sprawdź, jak dostosować się do nowych przepisów i uniknąć potencjalnych zagrożeń w ramach projektu Miesiąc Partnera Klastra, którego partnerem w marcu jest IPSO LEGAL.
Akt w sprawie sztucznej inteligencji (AI Act) wprowadza rygorystyczne wymogi dla systemów uznanych za wysokiego ryzyka, nie po to by je zakazać, lecz by zapewnić ich bezpieczne i zgodne z prawem użycie. W sektorze medycznym i Life Science wiele rozwiązań AI kwalifikuje się jako wysokiego ryzyka ze względu na potencjalny wpływ na zdrowie i życie pacjentów. Oznacza to, że podmioty wdrażające takie systemy (np. szpitale, kliniki, firmy farmaceutyczne) muszą spełnić szereg obowiązków w zakresie przejrzystości, nadzoru, jakości danych, monitorowania oraz rejestracji tych rozwiązań. I Act nakłada m.in. następujące kluczowe obowiązki:
Przejrzystość i informowanie o użyciu systemu
Zapewnienie przejrzystości polega na informowaniu osób, których dotyczy działanie systemu AI, że mają do czynienia z algorytmem. Zgodnie z AI Act użytkownicy końcowi powinni wiedzieć, że decyzje lub rekomendacje otrzymują od systemu AI, a nie wyłącznie od człowieka. W kontekście medycznym oznacza to np. obowiązek poinformowania personelu (lekarzy, diagnostów) oraz – w miarę potrzeby – pacjentów, że w procesie diagnozy lub leczenia wykorzystywany jest system sztucznej inteligencji. Pracodawcy stosujący AI muszą uprzedzić swoich pracowników o wykorzystywaniu wobec nich systemu AI wysokiego ryzyka jeszcze przed jego wdrożeniem. Ponadto w pewnych zastosowaniach (np. rekrutacja pracowników czy ocena zdolności kredytowej) prawo wprost wymaga informowania osoby, której dotyczy decyzja, o użyciu AI – co wpisuje się w zasadę transparentności.
Nadzór człowieka nad systemem AI
AI Act jednoznacznie wymaga zapewnienia nadzoru ze strony człowieka nad działaniem systemów AI wysokiego ryzyka. Podmiot wdrażający musi wyznaczyć konkretne osoby odpowiedzialne za nadzorowanie systemu, posiadające niezbędne kompetencje, przeszkolenie i uprawnienia. Nie wystarczy więc formalne przypisanie roli – nadzorujący powinni rozumieć sposób działania algorytmu oraz mieć realne możliwości interwencji w jego pracę. Celem jest to, aby człowiek mógł zweryfikować decyzje podejmowane przez AI i w razie potrzeby skorygować lub zablokować działania systemu, zanim spowodują one szkodę. W praktyce medycznej oznacza to np. że lekarz lub inny specjalista monitoruje rekomendacje wydawane przez algorytm diagnostyczny i ma decydujący głos przy stawianiu diagnozy czy wyborze terapii. Systemy AI muszą być zaprojektowane tak, aby umożliwić taką interwencję człowieka w każdym momencie użytkowania.
Odpowiednie dane wejściowe i zarządzanie danymi
Kluczowe znaczenie ma jakość i adekwatność danych wykorzystywanych przez system AI. Obowiązkiem podmiotu stosującego jest zapewnienie odpowiednich danych wejściowych, co oznacza, że jeśli ma kontrolę nad danymi zasilającymi system, muszą one być istotne, poprawne i wystarczająco reprezentatywne dla zamierzonego celu. Innymi słowy, dane używane do trenowania czy zasilania modelu AI w praktyce klinicznej powinny odzwierciedlać rzeczywistą populację pacjentów i warunki zastosowania, aby unikać uprzedzeń i błędów.
Na przykład, jeśli szpital korzysta z algorytmu do analizy zdjęć rentgenowskich płuc, dane (obrazy) wprowadzane do systemu powinny obejmować różnorodne przypadki i być dobrej jakości, tak aby algorytm nie pomijał istotnych wariantów chorób lub nie dawał fałszywych wyników dla określonych grup pacjentów. Zarządzanie danymi obejmuje też dbałość o ich aktualność – system AI powinien otrzymywać aktualne dane medyczne, by jego predykcje czy diagnozy nie opierały się na nieaktualnych informacjach. Wymóg odpowiednich danych wejściowych jest spójny z innymi regulacjami (np. wymogami RODO dotyczącymi prawidłowości danych) i ma zagwarantować wiarygodność oraz sprawiedliwość decyzji podejmowanych przez AI.
Monitorowanie działania i reagowanie na incydenty
Podmioty korzystające z AI muszą aktywnie monitorować działanie systemu w trakcie jego użytkowania. Oznacza to bieżące obserwowanie wyników generowanych przez AI oraz kontrolowanie, czy system funkcjonuje zgodnie z oczekiwaniami i w granicach określonych w instrukcji dostarczonej przez producenta. AI Act wymaga, by użytkownik postępował zgodnie z instrukcją użytkowania systemu oraz na jej podstawie prowadził nadzór nad działaniem algorytmu. Jeśli podczas eksploatacji ujawni się jakiekolwiek ryzyko dla zdrowia, bezpieczeństwa lub praw osób (np. system zacznie popełniać nietypowe błędy diagnostyczne), należy niezwłocznie powiadomić dostawcę lub dystrybutora systemu oraz organy nadzoru rynku. Co więcej, aż do wyjaśnienia sytuacji i usunięcia zagrożenia, używanie takiego systemu powinno zostać zawieszone.
W przypadku wystąpienia poważnego incydentu (np. sytuacji, w której działanie AI przyczyniło się do poważnej szkody zdrowotnej pacjenta), podmiot stosujący ma obowiązek natychmiastowego poinformowania o tym zdarzeniu najpierw dostawcy, a następnie (jeśli dotyczy) importera lub dystrybutora oraz właściwych organów nadzorczych. Taki system raportowania incydentów przypomina mechanizmy znane z regulacji wyrobów medycznych – ma na celu szybkie wychwycenie i zaradzenie ewentualnym awariom lub niepożądanym działaniom AI. Dodatkowo podmiot musi przechowywać logi (rejestry zdarzeń) generowane automatycznie przez system AI przez co najmniej sześć miesięcy (a często dłużej, zależnie od charakteru danych). Logi te mogą być analizowane w razie dochodzenia przyczyn błędów lub kontroli ze strony organów nadzoru.
Rejestracja systemu i zgodność z regulacjami
Aby system AI wysokiego ryzyka mógł być legalnie zastosowany, musi on przejść procedury oceny zgodności i zostać formalnie zgłoszony w rejestrze UE przeznaczonym dla takich systemów. Dostawcy wysokiego ryzyka AI mają obowiązek rejestracji swoich systemów w unijnej bazie (zgodnie z art. 71 AI Act), co zwiększa transparentność na poziomie całego rynku. Podmioty publiczne (np. publiczne szpitale) jako użytkownicy dodatkowo muszą upewnić się, że dany system figuruje w tym rejestrze – jeśli nie, nie powinny go stosować i powinny poinformować dostawcę o brakującej rejestracji.
Warunek rejestracji zapewnia, że na rynek nie trafią niezweryfikowane algorytmy „znikąd” – każdy legalnie używany system AI wysokiego ryzyka ma udokumentowane spełnienie wymagań AI Act i jest zarejestrowany przez właściwe organy. Ponadto podmioty wdrażające AI muszą przestrzegać innych przepisów, w szczególności dotyczących ochrony danych osobowych. Gdy system AI przetwarza dane osobowe (co w medycynie jest normą), wdrożenie go może wymagać dokonania oceny skutków dla ochrony danych (DPIA) zgodnie z art. 35 RODO. AI Act wprost przypomina, że informacje uzyskane od dostawcy (dotyczące m.in. sposobu działania systemu – zob. art. 13 AI Act) należy wykorzystać przy sporządzaniu takiej oceny ryzyka prywatności.
Praktyczne przykłady wdrożeń AI w sektorze medycyny i Life Science
W sektorze ochrony zdrowia sztuczna inteligencja znajduje już szerokie zastosowania – od diagnostyki, przez prowadzenie badań, aż po opiekę nad pacjentem i zarządzanie placówkami medycznymi. Poniżej omówiono wybrane przykłady wdrożeń AI w medycynie i Life Science, wraz z korzyściami, jakie przynoszą, oraz odniesieniem do wymogów AI Act, które zapewniają bezpieczne korzystanie z tych technologii.
System AI może w kilka sekund przeanalizować zdjęcie RTG klatki piersiowej pod kątem zmian nowotworowych lub wykryć w skanie MRI bardzo małe ogniska stwardnienia rozsianego. W praktyce klinicznej już dziś stosuje się algorytmy wspomagające radiologów w wykrywaniu złamań na zdjęciach czy zmian guzowatych w płucach. W dziedzinie patologii cyfrowej, AI pomaga przejrzeć preparaty tkankowe – np. w histopatologii algorytmy lokalizują komórki nowotworowe na skanach preparatów, co pozwala patologom skupić się na najbardziej podejrzanych obszarach. Nadzór człowieka jest tu absolutnie kluczowy: ostateczną diagnozę zawsze stawia lekarz, który weryfikuje podpowiedzi AI i może odrzucić błędne sugestie. Wymogi AI Act dotyczące jakości danych i nadzoru sprawiają, że takie systemy muszą być trenowane na reprezentatywnych danych klinicznych oraz kontrolowane przez specjalistów medycznych podczas użytkowania. Dzięki temu AI w diagnostyce pełni rolę asystenta, który przyspiesza i ułatwia pracę lekarza, ale jej nie automatyzuje całkowicie bez kontroli. W efekcie pacjent otrzymuje diagnozę szybciej i z większą pewnością, a jednocześnie z zachowaniem standardów bezpieczeństwa.
Kolejnym przykładem jest wykorzystanie AI do symulacji przebiegu badania klinicznego na podstawie wcześniejszych danych – pozwala to zidentyfikować potencjalne problemy (np. toksyczność leku w określonej subpopulacji) zanim nastąpi realna rekrutacja pacjentów. AI Act nie hamuje takich innowacji, ale wymaga, by systemy używane w badaniach medycznych były należycie walidowane i monitorowane. Jeśli algorytm przewiduje skuteczność leku, jego twórcy i użytkownicy muszą zapewnić, że opiera się on na wiarygodnych danych (zgodnie z wymogiem adekwatnych danych wejściowych) oraz że wyniki są weryfikowane przez naukowców i klinicystów (nadzór człowieka). W przypadku personalizacji terapii, decyzje terapeutyczne proponowane przez AI muszą podlegać ocenie lekarza prowadzącego, który bierze odpowiedzialność za ostateczny wybór leczenia – co jest zgodne z zasadą, że kluczowe decyzje nie mogą być pozostawione wyłącznie algorytmowi.
Sztuczna inteligencja wspomaga nie tylko bezpośrednią diagnostykę czy leczenie, ale także procesy organizacyjne w ochronie zdrowia. Duże placówki medyczne, takie jak szpitale, korzystają z AI do analizowania przepływu pacjentów, planowania zasobów oraz poprawy efektywności usług. Przykładowo, algorytmy prognozujące oparte na AI mogą przewidywać liczbę pacjentów oczekujących na izbie przyjęć czy na oddziale w danym okresie, uwzględniając sezonowość czy lokalne zdarzenia. Na tej podstawie zarząd szpitala może lepiej zaplanować obsadę personelu i dostępność łóżek, aby sprostać zapotrzebowaniu (np. zwiększyć liczbę lekarzy dyżurnych w trakcie spodziewanego wzrostu zachorowań na grypę). W logistyce szpitalnej AI pomaga zarządzać zaopatrzeniem: na podstawie danych o zużyciu materiałów medycznych i leków potrafi prognozować zapotrzebowanie i automatycznie składać zamówienia, zanim braki wpłyną na opiekę nad pacjentem. Automatyzacja zadań administracyjnych dzięki AI przekłada się na zwiększenie efektywności i uwolnienie czasu personelu na działania bardziej złożone i bezpośrednio związane z pacjentem
Bezpieczeństwo i odpowiedzialne innowacje – rola AI Act w sektorze zdrowia
Przedstawione przykłady dowodzą, że sztuczna inteligencja w medycynie oferuje ogromne możliwości usprawnienia diagnostyki, terapii i organizacji opieki. AI Act stawia jednak warunek, że odbywa się to pod ścisłą kontrolą i zgodnie z przepisami. Takie podejście regulacyjne sprzyja budowaniu zaufania: lekarze, pacjenci i decydenci mogą korzystać z dobrodziejstw AI, mając pewność, że za jej działaniem stoją mechanizmy zapewniające bezpieczeństwo, rzetelność i poszanowanie praw
Chcesz dowiedzieć się więcej o zgodnym z prawem wdrażaniu AI w sektorze medycznym i Life Science? Zastanawiasz się, jak skutecznie wdrożyć procedury zgodne z nowymi przepisami? Kancelaria IPSO LEGAL specjalizuje się w doradztwie prawnym dla branży lifescience. Wsparcie obejmuje m.in.:
- doradztwo w zakresie odpowiedzialności prawnej za AI
- opracowanie polityki compliance i dokumentacji związanej z systemami AI
- weryfikację regulaminów i polityk wewnętrznych
- wdrożenie systemów zarządzania jakością,
- doradztwo w zakresie działań naprawczych i post-market monitoring.
Jak możesz się skontaktować z IPSO LEGAL? Wyślij wiadomość na: office@ipsolegal.pl lub odwiedź stronę: www.ipsolegal.pl.
Po więcej informacji odwiedź profil IPSO LEGAL na Platformie Współpracy LSOS.
Materiały do powyższego artykułu zostały dostarczone przez firmę IPSO LEGAL.