Sztuczna inteligencja wspiera ocenę immunoterapii w NDRP – wyniki projektu I3LUNG

Międzynarodowe badanie I³LUNG obejmujące 2396 dorosłych pacjentów z niedrobnokomórkowym rakiem płuca wykazało, że modele sztucznej inteligencji wykorzystujące rutynowe dane kliniczne i wyniki badań krwi mogą przewidywać wyniki immunoterapii trafniej niż pojedyncze biomarkery, takie jak ekspresja PD-L1, ECOG PS, NLR czy LDH. W badaniu użyteczności klinicznej wsparcie wyjaśnialnej sztucznej inteligencji zwiększyło czułość lekarzy w identyfikowaniu pacjentów osiągających kontrolę choroby z 0,72 do 0,87. Autorzy podkreślają jednak, że wyniki pochodzą z fazy retrospektywnej, a wydajność modeli spadła w walidacji zewnętrznej. Prospektywna walidacja systemu trwa.

I3LUNG: duże międzynarodowe badanie AI w niedrobnokomórkowym raku płuca

W czasopiśmie Nature Medicine opublikowano wyniki retrospektywnej fazy projektu I³LUNG (NCT05537922), poświęconego wykorzystaniu sztucznej inteligencji do wspomagania decyzji dotyczących immunoterapii u chorych na niedrobnokomórkowego raka płuca (NDRP; ang. non-small cell lung cancer, NSCLC). Pierwszą autorką publikacji jest Arsela Prelaj z Fondazione IRCCS Istituto Nazionale dei Tumori di Milano i Politecnico di Milano, natomiast wśród głównych autorów projektu znalazła się również Marina Chiara Garassino z University of Chicago.

Badanie objęło retrospektywne dane 2396 osób w wieku co najmniej 18 lat, z histologicznie potwierdzonym NDRP w stadium IIIC-IVB według 8. edycji klasyfikacji TNM. Chorzy otrzymywali leczenie oparte na immunoterapii między wrześniem 2012 a październikiem 2023 roku.

Dane pochodziły z sześciu ośrodków w sześciu krajach: Istituto Nazionale dei Tumori we Włoszech, LungenClinic Grosshansdorf w Niemczech, Metropolitan Hospital w Grecji, Shaare Zedek Medical Center w Izraelu, Vall d’Hebron Institute of Oncology w Hiszpanii oraz University of Chicago w Stanach Zjednoczonych.

Pacjentów podzielono na trzy kohorty. C1 obejmowała osoby z chorobą w stadium III otrzymujące immunoterapię podtrzymującą po chemioradioterapii prowadzonej z intencją radykalną. C2 obejmowała chorych z zaawansowanym lub przerzutowym NDRP leczonych immunoterapią w pierwszej linii, samodzielnie lub w skojarzeniu z chemioterapią albo innymi lekami. C3 obejmowała pacjentów otrzymujących immunoterapię w drugiej lub kolejnych liniach leczenia.

Główne analizy predykcyjne przeprowadzono w połączonych kohortach C2 i C3, obejmujących łącznie 2075 chorych – 1437 w C2 i 638 w C3. Oceniano m.in. przeżycie całkowite, przeżycie po 6 miesiącach (OS6), przeżycie po 24 miesiącach (OS24) oraz kontrolę choroby (DCR, disease control rate). W analizach DCR za chorych z kontrolą choroby uznawano osoby z odpowiedzią całkowitą, częściową lub stabilizacją choroby, w odróżnieniu od pacjentów z progresją.

Dane kliniczne, krew, TK, patologia cyfrowa i genomika

Jedną z najważniejszych cech projektu I³LUNG była próba integracji kilku odmiennych typów informacji. Badacze wykorzystywali dane kliniczne i wyniki badań krwi, tomografię komputerową, obrazy preparatów histopatologicznych w postaci cyfrowej oraz dane genomowe.

Podstawowy zestaw danych klinicznych i laboratoryjnych wykorzystany do trenowania głównych modeli obejmował dziewięć cech wybranych przez ekspertów w zakresie raka płuca: płeć, stan sprawności ECOG, status palenia tytoniu, ekspresję PD-L1, obecność przerzutów do kości, wątroby i mózgu, stosunek liczby neutrofili do limfocytów (NLR) oraz aktywność dehydrogenazy mleczanowej (LDH).

Badacze oceniali dwa główne podejścia do integracji danych. Pierwszym było klasyczne uczenie maszynowe z wczesną integracją danych – machine learning early fusion (MLEF). Drugim było podejście deep learning intermediate fusion (DLIF), zaprojektowane w taki sposób, aby lepiej radzić sobie z sytuacją, w której nie wszystkie typy danych są dostępne dla każdego pacjenta.

To rozróżnienie ma istotne znaczenie praktyczne. Model MLEF wymagał kompletnego zestawu wykorzystywanych modalności, dlatego wraz z dodawaniem kolejnych źródeł danych liczba pacjentów dostępnych do danej analizy malała. Spośród 2075 chorych w kohortach C2 i C3 pełne dane ze wszystkich czterech głównych modalności były dostępne jedynie dla 339 pacjentów. U 400 osób dostępne były jednocześnie dane kliniczno-laboratoryjne, radiologiczne i z patologii cyfrowej.

Modele poddano nie tylko ocenie zdolności predykcyjnej. Zespół przeprowadził również analizy wyjaśnialności modelu, wykorzystując m.in. SHAP (SHapley Additive exPlanations), analizy sprawiedliwości działania algorytmów oraz odrębne badanie ich użyteczności klinicznej z udziałem lekarzy.

Rutynowe dane kliniczne i laboratoryjne konkurowały z bardziej złożonymi modelami

Jednym z najistotniejszych wyników I³LUNG jest obserwacja, że modele wykorzystujące wyłącznie relatywnie łatwo dostępne dane kliniczne i laboratoryjne osiągały stabilną zdolność dyskryminacyjną w niezależnym zbiorze testowym i przewyższały pojedyncze, klasyczne biomarkery.

W połączonej kohorcie C2+C3 model oparty na danych klinicznych i krwi osiągnął w zbiorze TEST AUC 0,74 dla przewidywania przeżycia 24-miesięcznego, 0,69 dla przeżycia 6-miesięcznego oraz 0,71 dla DCR. W części analiz podgrupowych wartość AUC w zbiorze testowym dochodziła do 0,77.

Porównanie z pojedynczymi parametrami klinicznymi było korzystne dla modeli AI. Przykładowo, w analizie OS24 w niezależnym zbiorze TEST AUC modelu MLEF wykorzystującego dane kliniczne i laboratoryjne wynosiło około 0,74, podczas gdy dla samego PD-L1 było to 0,53, dla ECOG PS 0,62, dla LDH 0,58, a dla NLR 0,66. Także w przypadku OS6 i DCR modele AI osiągały lepsze wartości AUC niż wymienione pojedyncze biomarkery. Autorzy wykazali również przewagę nad złożonym wskaźnikiem Lung Immune Prognostic Index (LIPI).

Wyniki te nie oznaczają jednak, że wydajność pozostawała jednakowa niezależnie od ośrodka i populacji. W zewnętrznej walidacji przeprowadzonej na danych z University of Chicago AUC wynosiło 0,60 dla OS24, 0,64 dla OS6 i 0,55 dla DCR w odpowiednich modelach kliniczno-laboratoryjnych. W całej zewnętrznej walidacji wartości AUC dla ocenianych modeli mieściły się zasadniczo w zakresie 0,55-0,72.

Spadek wydajności w geograficznie odrębnej kohorcie jest szczególnie istotnym wynikiem z punktu widzenia przyszłego wdrożenia. Pokazuje, że nawet model osiągający korzystne wyniki w zbiorze treningowym i testowym może wymagać ponownej kalibracji i walidacji w nowej populacji, w której struktura chorych, strategie terapeutyczne i rozkład wyników klinicznych są odmienne.

Co model uznawał za ważne?

Analiza wyjaśnialności była w dużej mierze zgodna ze znanymi klinicznymi czynnikami prognostycznymi. ECOG PS powyżej 0 oraz obecność przerzutów do kości, wątroby lub mózgu należały do cech związanych z mniej korzystnym przewidywaniem przeżycia 24-miesięcznego. Znaczenie dla prognozowania przeżycia miał również NLR, natomiast zwiększone LDH wpływało m.in. na klasyfikowanie pacjentów jako osób z mniejszym prawdopodobieństwem uzyskania kontroli choroby.

Nie należy jednak automatycznie utożsamiać zdolności modelu do prognozowania wyniku u pacjentów leczonych immunoterapią z wykazaniem czysto predykcyjnego biomarkera korzyści z konkretnej terapii. Retrospekcyjny model może wykorzystywać zarówno czynniki związane z odpowiedzią na leczenie, jak i silne czynniki prognostyczne opisujące ogólne ryzyko kliniczne chorego.

Lekarz wspomagany przez wyjaśnialną AI

Badacze nie ograniczyli się do obliczenia parametrów technicznych modeli. W osobnej części projektu oceniono, czy narzędzie może zmieniać trafność rzeczywistych ocen dokonywanych przez lekarzy.

W badaniu użyteczności klinicznej uczestniczyło 20 lekarzy – 10 onkologów specjalizujących się w raku płuca oraz 10 lekarzy niebędących ekspertami w tej dziedzinie, w tym lekarze w trakcie specjalizacji i onkolodzy ogólni. Analizowali oni 100 rzeczywistych przypadków NDRP, przy czym każdy przypadek oceniał zarówno ekspert, jak i lekarz bez specjalizacji w raku płuca. Łącznie uzyskano 200 ocen.

W pierwszej fazie lekarze dysponowali danymi klinicznymi, a także materiałem obrazowym i patologicznym, jeśli był dostępny. Następnie dokonywali ponownej oceny po przedstawieniu wyniku modelu oraz informacji wyjaśniających, które cechy wpłynęły na jego predykcję.

W przypadku przewidywania kontroli choroby zastosowanie wyjaśnialnej sztucznej inteligencji zwiększyło czułość wszystkich lekarzy z 0,72 do 0,87 (p=0,0011). Jednocześnie dokładność wzrosła z 0,57 do 0,65 (p=0,0431), natomiast swoistość uległa niewielkiemu zmniejszeniu.

Korzyść obserwowano zarówno wśród ekspertów, jak i pozostałych lekarzy. U specjalistów w zakresie raka płuca czułość wzrosła z 0,68 do 0,83, natomiast w grupie nieeksperckiej z 0,77 do 0,90. Zgodność ocen ekspertów i lekarzy niebędących ekspertami zwiększyła się z poziomu niewielkiego do umiarkowanego – współczynnik kappa wzrósł z 0,11 do 0,48.

W przewidywaniu przeżycia efekt był mniej spektakularny, ale również widoczny. Odsetek ocen zgodnych z rzeczywistym przedziałem przeżycia zwiększył się z 16,5% do 22,5%. Zgodność między ekspertami a lekarzami bez specjalizacji w raku płuca wzrosła w tej części analizy z κ=0,14 do κ=0,34.

Wyniki wskazują więc, że potencjalną funkcją systemu nie jest zastąpienie decyzji lekarza, lecz dostarczenie dodatkowej, ustrukturyzowanej informacji prognostycznej wraz z możliwością prześledzenia czynników wpływających na ocenę algorytmu. Właśnie komponent wyjaśnialności może mieć zasadnicze znaczenie w medycznych systemach wspomagania decyzji.

AUC 0,88 wymaga właściwej interpretacji

Komunikat prasowy poświęcony badaniu zwraca szczególną uwagę na model multimodalny osiągający AUC 0,88 po połączeniu danych klinicznych i laboratoryjnych z obrazowaniem i patologią cyfrową. Pełna publikacja pozwala jednak znacznie precyzyjniej interpretować ten wynik.

Wartość AUC 0,88 uzyskano w określonej analizie dotyczącej pacjentów leczonych w pierwszej linii oraz przewidywania przeżycia 24-miesięcznego, podczas walidacji krzyżowej modelu integrującego dane kliniczno-laboratoryjne, patologię cyfrową i cechy wyodrębnione z obrazowania TK. W tej analizie wynik był wyraźnie wyższy od modelu wykorzystującego wyłącznie odpowiadające mu dane kliniczne i laboratoryjne.

Autorzy publikacji podkreślają jednak, że poprawa związana z integracją wielu modalności nie została konsekwentnie odtworzona w niezależnym zbiorze TEST ani w zewnętrznej walidacji EXVAL. Tym samym nie można na obecnym etapie stwierdzić, że rutynowe dołączanie TK, patologii cyfrowej i genomiki do danych klinicznych zapewnia stabilną, generalizowalną przewagę predykcyjną.

To szczególnie istotne, ponieważ komplet wszystkich typów danych posiadało tylko 339 spośród 2075 pacjentów należących do głównych kohort C2 i C3. Analizy wymagające kompletnych danych mogą więc być podatne na efekt selekcji – pacjenci posiadający pełną dokumentację multimodalną nie muszą reprezentować całej populacji chorych spotykanej w praktyce klinicznej.

Model nie jest jeszcze narzędziem do rutynowego podejmowania decyzji terapeutycznych

Wyniki I³LUNG są istotne przede wszystkim jako dowód, że duże, wieloośrodkowe zbiory rzeczywistych danych klinicznych mogą zostać wykorzystane do stworzenia wyjaśnialnych systemów wspomagających ocenę rokowania i wyników immunoterapii. Jednocześnie sama publikacja zawiera szereg zastrzeżeń, które ograniczają możliwość bezpośredniego przeniesienia wyników do codziennej praktyki.

Z perspektywy wdrożenia szczególnie ważny jest właśnie spadek wydajności części modeli w zewnętrznej populacji. Algorytm przeznaczony do wspomagania decyzji onkologicznych musi zachowywać odpowiednią kalibrację i zdolność dyskryminacyjną w różnych systemach ochrony zdrowia, grupach pacjentów i strategiach terapeutycznych. Wysoka wartość AUC uzyskana w pojedynczej analizie wewnętrznej nie jest wystarczającym dowodem gotowości do zastosowania klinicznego.

Trwa prospektywna walidacja ponad 2000 kolejnych pacjentów

I³LUNG nie zakończył się na analizie retrospektywnej. Według autorów trwa prospektywna, wieloośrodkowa walidacja systemu obejmująca ponad 2000 kolejnych pacjentów. Planowana ścieżka wdrożeniowa obejmuje również dalszą ocenę użyteczności modelu multimodalnego oraz pragmatyczne randomizowane badanie mające dostarczyć danych potrzebnych do oceny klinicznej i regulacyjnej systemu.

Prospektywna faza będzie szczególnie ważna dla odpowiedzi na pytanie, czy zastosowanie modelu poprawia nie tylko statystyczną trafność przewidywań, lecz również rzeczywiste decyzje terapeutyczne i wyniki leczenia. W przypadku narzędzia wspomagającego dobór immunoterapii właśnie taki poziom walidacji powinien poprzedzać szerokie zastosowanie w praktyce.

Znaczenie dla onkologii płuca

I³LUNG wskazuje jednocześnie na interesującą prawidłowość: bardzo złożone dane nie zawsze muszą być konieczne, aby uzyskać użyteczną predykcję. Modele korzystające z dziewięciu stosunkowo rutynowych cech klinicznych i laboratoryjnych osiągały w niezależnym zbiorze testowym wyniki lepsze niż pojedyncze biomarkery, a jednocześnie są potencjalnie znacznie łatwiejsze do zastosowania niż system wymagający kompletnej genomiki, cyfrowej patologii i odpowiednio przetworzonych badań obrazowych.

Może mieć to szczególne znaczenie poza wysoko wyspecjalizowanymi ośrodkami onkologii płuca. W badaniu użyteczności relatywnie duże korzyści ze wsparcia XAI obserwowano również u lekarzy niebędących ekspertami w leczeniu raka płuca. Nie oznacza to jednak możliwości zastąpienia konsultacji specjalistycznej przez algorytm. Bardziej prawdopodobnym kierunkiem rozwoju jest wykorzystanie takich systemów jako dodatkowego elementu wielowymiarowej oceny chorego.

Badanie pokazuje również, dlaczego przyszła ocena medycznej sztucznej inteligencji nie może ograniczać się do pojedynczej wartości AUC. Konieczne są niezależna i zewnętrzna walidacja, analiza kalibracji, ocena sprawiedliwości działania w różnych grupach, badania współpracy człowiek-algorytm oraz ostatecznie prospektywne wykazanie, że zastosowanie systemu poprawia proces decyzyjny lub wyniki leczenia.