Natjecanje se odvija u dva kruga, pri čemu će u prvom krugu natjecateljima biti dostupni javni podaci i pristup Internetu, a u drugom krugu se očekuje rad na hrvatskim podacima unutar sigurnog računalnog okruženja (vidi poglavlje Sigurno računalno okruženje). Prvi krug nije eliminacijski tj. svi timovi imaju pravo pristupa drugom krugu, a konačni pobjednik određuje se na kraju 2. kruga natjecanja. 

Tema natjecanja je riješiti dva prediktivna problema: 1.) na temelju mamografskih snimaka utvrditi potrebu za daljnjom medicinskom obradom te 2.) na mamografskim slikama detektirati i lokalizirati suspektne lezije (vidi poglavlje Labele za 2. zadatak). Dodatno, od timova se očekuje da interpretiraju predložena rješenja, razviju prototip korisničkog sučelja nužnog za korištenje rješenja u kliničkoj praksi i opišu potencijal za komercijalizaciju inovacije.

KRUGOVI NATJECANJA

Razvoj rješenja se odvija na udaljenom računalu, pri čemu se u oba kruga natjecanja timovi spajaju na isto radno okruženje. Razlika između prvog i drugog

Prvi krug natjecanja traje od 5. 2. 2025. – 28. 2 .2025. U prvom krugu natjecatelji postavljaju svoje radno okruženje na udaljenom računalu, pri čemu im je omogućen pristup Internetu i na raspolaganju im je javno dostupan podatkovni set.  Natjecatelji imaju slobodu u radnom okruženju postavljati alate i pakete po vlastitom izboru, imajući na umu licencna ograničenja. Nakon završetka prvog kruga natjecanja organizirat će se Meetup koji će predstaviti način bodovanja natjecatelja, a Drugi krug natjecanja počinje nakon Meetupa i traje do- 24. 3. 2025. U drugom krugu će biti onemogućeni pristup Internetu s udaljenog računala i prijenos podataka između lokalnog i udaljenog računala. Natjecatelji rade u sigurnom računalnom okruženju i na raspolaganju im je anonimiziran skup hrvatskih podataka.

ZADACI NATJECANJA I NJIHOVA RELATIVNA TEŽINA PRI BODOVANJU

Na kraju drugog kruga natjecanja, konačni poredak timova utvrdit će se bodovanjem ovih zadataka:

1. Predviđanje potrebe za daljnjom medicinskom obradom (“prediktivni zadatak”) – do 30 bodova
2. Detekcija i lokalizacija suspektnih lezija – do 30 bodova
3. Interpretacija ponuđenih rješenja – do 20 bodova
4. Prototip korisničkog sučelja i potencijal za komercijalizaciju inovacije – do 20 bodova

Ocjene za Zadatke 1 i 2 temeljiti će se isključivo na prediktivnim metrikama rješenja (vidi poglavlje Evaluacija zadataka), dok će Zadatke 3 i 4 ocjenjivati stručno Povjerenstvo za ocjenu rješenja.

Prvi krug AI4Health.Cro inovacijskog natjecanja 2025

Prvi krug namijenjen je za upoznavanje s računalnim okruženjem, te inicijalni razvoj modela za problem klasifikacije i lokalizacije lezija na mamografskim slikama. Korisnici se spajaju s RDP (remote desktop protocol) klijentom: korisnici Windows operativnog sustava mogu koristiti Remote Desktop Connection. Dok Linux korisnici mogu koristiti Remote Desktop. U okruženju korisnika mogu se isključivo koristiti open-source softveri i javne biblioteke.

Podaci i definicija prediktivnih problema

Put do podataka nalazi se u “data_path.txt” datoteci. Mamografske slike koje se nalaze u trening skupu su: Cranio-Cauda (CC) pogled – snimanje se izvodi odozgo prema dolje; Medio-Lateral Oblique (MLO) pogled – snimanje se izvodi pod kutom od cca 45°. Ovi se pogledi snimaju za lijevu i desnu dojku. Slike su dane u originalnoj veličini u .jpeg formatu H x W varijabilni. Javni skup podataka za prvi krug natjecanja sadrži oko 17000, dok lokalni (hrvatski izvor podataka) skup podataka za drugi krug natjecanja sadrži oko 35000. Skup podataka za prvi krug natjecanja je kreiran iz dostupnih podataka za istraživanje, te je stratifikacijski podijeljen na trening i test skup (cca 80% / 20%). Klasifikacijske ciljne labele su agregirana BI-RADS očitanja mamografskih slika jednog slučaja.

BI-RADS® (Breast Imaging Reporting and Data System)

BI-RADS® (Breast Imaging Reporting and Data System) je standardizirani sustav koji omogućuje dosljednu interpretaciju i izvještavanje nalaza snimanja dojke, uključujući mamografiju, ultrazvuk (UZV) i magnetsku rezonanciju (MRI). Razvio ga je American College of Radiology (ACR) kako bi poboljšao komunikaciju između radiologa i kliničara, te olakšao odluke o daljnjoj dijagnostici i liječenju.

Struktura BI-RADS sustava

BI-RADS sustav definira:

1. Terminologiju – standardizirani opisi lezija (npr. oblik, rubovi, gustoća).
2. Organizaciju nalaza – jasna struktura izvještaja kako bi se osigurala konzistentnost.
3. Sustav kategorizacije – razvrstavanje nalaza u BI-RADS kategorije kako bi se odredio klinički značaj i potreba za daljnjom obradom.

BI-RADS kategorije

Kategorija	Opis	Preporučeno djelovanje
0	Nezaključan nalaz – potrebne dodatne pretrage	Daljnja dijagnostika
1	Negativan nalaz – nema znakova raka dojke	Rutinski probir
2	Benigni nalaz – npr. ciste, fibroadenomi	Rutinski probir
3	Vjerojatno benigno (<2% rizika za malignost)	Potreban uzv ili kontrolno mamografsko snimanje za 6 mjeseci
4	Suspektni (2-95% rizika za malignost)	Odmah potreba daljnja citološka ili patohistološka obrada kako bi se dokazala priroda prikazane promjene
5	Vrlo suspektno (>95% rizika za malignost)	Odmah potrebno upućivanje kirurgu
6	Dokazan rak dojke (patološki potvrđen)	Daljnje onkološko liječenje

Podatci za 1. zadatak klasifikacije grupiranih BI-RADS 

Problem predviđanja klasifikacije lezija na mamografskim slikama predstavljen je kao višeklasni problem s 4 klase. Labele svakog pojedinog medicinskog slučaja, 4 slike pacijentice s pojedinog snimanja, temelje se na BI-RADS klasifikaciji radiološkog nalaza. Gdje su klase koje zahtijevamo da natjecatelji predvide pomoću klasifikatora:

• C0 =>  {BI-RADS=0} Uključuje nalaze koji zahtijevaju dodatnu dijagnostičku metodu
• C1 => {BI-RADS=1, BI-RADS=2} Uključuje Uključuje nalaze koje nemaju lezije ili imaju
                    benigne lezije te nije potrebno raditi dodatne pretrage, 
• C2 => {BI-RADS=3} Uključuje nalaze koji imaju lezije, ali ih potrebno pratiti, provjeriti
                    ponavljanjem pretrage,
• C3 => {BI-RADS=4, BI-RADS=5} Uključuje nalaze koji se šalju na biopsiju

Labele za 2. zadatak – lokalizacija lezije (do 30 bodova) 

Za definiranje BI-RADS klasifikacije, radiolozi očitavaju mamografski nalaz i prema BI-RADS atlasu opisuju lezije koje uočavaju na slikama, te dodjeljuju BI-RADS score. Osjetljivost postupka otkrivanja raka radiološkim postupkom je oko 75 % (individualno) odnosno > 80% (>=2 radiologa)​. Lezije koje se nalaze u podatkovnom skupu su suspektne lezije:

1. Masa
2. Suspektna kalcifikacija
3. Fokalna asimetrija
4. Arhitekturalna distorzija 
5. Suspektni limfni čvor 
6. Ostalo – (asimetrije, globalne asimetrije, retrakcija kože, retrakcija bradavice, zadebljanje kože)

Multi-label semantička segmentacija prepoznavanje suspektnih lezija. Gold standard anotacije su pravokutnici. Ukupno anotiranih podataka ~ 5000 (javni podaci).          

Evaluacija zadataka

Natjecatelji rješavaju 4 zadatka:

1. Prediktivni zadatak (do 30 bodova) – predikcija BI-RADS ocjena mamografskih slika
2. Lokalizacija lezije (do 30 bodova) – prepoznavanje uzorka suspektnih lezija na mamografskim slikama Multi-label Semantic Segmentation
3. Interpretacija (do 20 bodova) – opis razvoja i prediktivnog modela i objašnjenje lokalizacije
4. Prototip korisničkog sučelja (do 20 bodova) – prototip aplikacije za interaktivnu analizu mamografskih snimaka

Ocjene za Zadatke 1 i 2 temelje se isključivo na prediktivnoj metrici rješenja, dok će Zadatke 3 i 4 ocjenjivati Povjerenstvo za ocjenu rješenja.

U prvom krugu natjecanja timovi mogu evaluirati maksimalno 5 preliminarnih rješenja za 1. i 2. Zadatak. 

Mjere za 1. Prediktivni Zadatak (30 bodova)

Evaluacija rješenja multi-class prediktivnog modela zadatka 1. temelji se na macro-average MCC mjeri:

• Ljestvica rezultata ujedno i glavna mjere bodovanja 1. Zadatka višeklasni (macro) Mathew’s correlation coefficient (MCC) 
• Kao dodatnu informaciju natjecatelji će zaprimiti i i (macro-average preko svih klasa) površinu ispod ROC krivulje (Area Under ROC Curve – AU ROC), macro F1, Imbalanced Multiclass Classifcation Performance (IMCP), po klasi Precision, Recall i MCC  na validacijskom podskupu evaluacijskog skupa podataka.

 Definicija MCC za binarni klasifikacijski problem:

Definicije IMCP i MCC mogu se detaljnije proučiti u niže navedenoj literaturi:

(IMCP) Classification performance assessment for imbalanced multiclass data

(MCC) The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation 

Mjere za 2. Zadatak lokalizacija lezija (30 bodova) – multi-label semantička segmentacija 

Uspješnost lokalizacije je srednja vrijednost tri različite mjere:

1. Multi-label klasifikacija lezija na pojedinoj slici – macro-average MCC,
2. IoU – preko multi-label maski lezija po svakoj slici 
3. IoU – preko združene maske svih lezija na slici .

Ljestvica rezultata i uspješnosti za drugi zadatak je sačinjena od navedenih mjera te 

Kao dodatnu informaciju natjecatelji će zaprimiti i  (macro-average) površinu ispod ROC krivulje, macro F1, te (za svaku klasu) i Precision, Recall i MCC i to na a validacijskom podskupu evaluacijskog skupa podataka.

Interpretacija (do 20 bodova)

Cilj ovog zadatka je napraviti pisani izvještaj s opisom razvoja prediktivnih modela iz prvog i drugog zadatka. Ocjenjivat će se analitičke sposobnosti tima i kvaliteta izvještaja koji mora uključivati sljedeće elemente:

• Analiza podatkovnog skupa i objašnjenje razvoja prediktivnih modela iz prvog i drugog zadatka. Opis cjelokupnog procesa modeliranja, uključujući pred procesiranje, odabir i podataka, uzorkovanja, učenje modela i evaluacije.
• Dokumentacija programskog koda i ponovljivost svih rezultata.
• Prezentacija i interpretacija svih rezultata, kvalitete rješenja i njene potencijalne primjene u stvarnom svijetu.

Pisani izvještaj ocjenjuje tim organizatora natjecanja prema unaprijed definiranim kriterijima.

Prototip korisničkog sučelja (do 20 bodova)

Cilj ovog zadatka je proizvesti prototip aplikacije za interaktivnu analizu mamografskih snimaka koja koristi prediktivne modele razvijene u prvom i drugom zadatku. Prototip aplikacije mora sadržavati korisničko sučelje (Web based) koja bi se potencijalno mogla koristiti u bolničkom okruženju i mora sadržavati sljedeće elemente:

• označavanje potencijalnih suspektnih lezija na mamografskim slikama
• procjenu BI-RADS ocjene
• procjenu nesigurnosti predikcija korištenjem vlastitog razvijenog modela

Prototip aplikacije se može razvijati i na vlastitom računalnom okruženju koristeći javno dostupne podatke.

Prototip aplikacije ocjenjuje tim organizatora natjecanja prema unaprijed definiranim kriterijima. Sve kriterije bodovanja objaviti ćemo na Meetup događanju nakon završetka 1. faze natjecanja.

Slanje rezultata

Natjecateljski modeli i skripte se u oba kruga natjecanja prenose u “submission” mapu unutar okruženja korisnika. Sama predaja rješenja sastoji se od kopiranja skripti modela i coda unutar sučelja natjecatelja kojem se pristupa putem RDP u predodređeni submission direktorij te nakon što se aktivira “evaluator” naredba kroz terminal Organizatori natjecanja preuzimaju kod i izvršavaju vaš submission.py. Primjer rješenja koje bi se trebalo kopirati u submission folder nalazi se u mapi/direktoriju submission-example. Evaluacijske mjere računaju se za prva dva zadatka natjecanja. Svaki submission treba sadržavati model za predikcije u okviru oba zadatka: klasifikacijski i lokalizacijski. 

Korisnici mogu predati najviše jedno rješenje dnevno, te maksimalno 5 preliminarnih rješenja tijekom prvog kruga natjecanja. Trenutačni poredak timova na osnovu preliminarnih rješenja, za zadatak (i) i (ii) bit će vidljiv tijekom Natjecanja na web stranici Natjecanja (“Ljestvica rezultata (leaderboard)”). Detaljne korisničke upute, kao i template za predaju rješenja objavit će se u trenutku starta evaluacije 11.2.

Za anotaciju testnih primjera ne smije se koristiti ručno označavanje, odnosno ljudsko predviđanje.

Ograničenje na broj evaluacija preliminarnih rješenja

Tijekom natjecanja natjecatelji mogu predati najviše jedno rješenje dnevno. Ukupno u prvoj fazi natjecanja do najviše 5 rješenja. Za preliminarna rješenja (pokušaje) Organizator će vršiti evaluaciju rješenja na validacijskom podskupu testnog skupa (cca 50%). Za konačnu evaluaciju modela Organizatori će izvršiti evaluaciju na cjelokupnom testnom skupu podataka. Konačna rješenja na testnom skupu podataka moraju biti zaprimljena prije isteka roka za prvi krug Natjecanja. 

Za konačnu evaluaciju na testnom skupu koristit će se zadnje poslano rješenje Tima na testnom skupu!

Sigurno računalno okruženje

U drugom krugu inovacijskog natjecanja koriste se sigurna računalna okruženja, natjecateljima se omogućava pristup anonimiziranim hrvatskim podacima, ali im se onemogućava prijenos podataka između lokalne i udaljene mašine ali i obratno te na udaljenoj mašini onemogućen je pristup internetu.