Potraga za inovativnim rješenjima primjene AI tehnologija u zdravstvu u sklopu AI4Health.cro natjecanja nastavlja se za top 10 timova u sigurnom okruženju za obradu podataka (SPE). Uputa za pristup šalje se individualno voditeljima timova. SPE nema pristup internetu a dodatne upute za rad nalaze se unutar samog okruženja. Natjecatelji ne mogu prenositi podatke i datoteke između korisničkog računala i SPE. Jedina omogućena komunikacija je s FTP serverom na koji se šalju predikcije modela na čitavom testnom skupu.
- Kraj natjecanja (predaja rješenja) – 12. 4. 2024. do 23:59
- Demo Day – 16. 4. 2024.
- Izmijenjeni pravilnik natjecanja
Prediktivni zadatak (do 50 bodova)
Problem predviđanja rizika rane rehospitalizacije predstavljen je kao binarni klasifikacijski problem, u kojem pozitivnu klasu (labela 1) predstavljaju slučajevi rane rehospitalizacije, t.j. slučajevi kada se pacijent nakon hospitalizacije ponovno vraća u bolnicu unutar 30 dana od otpusta. Ostali slučajevi predstavljaju negativnu klasu (labela 0).
Prediktorske varijable predstavljaju podatke nakon hospitalizacije pacijenta a uključuju osnovne antropometrijske mjere: podatke o boravku u jedinici intenzivne njege i osnovnu dijagnozu pacijenta pri otpustu iz bolnice nakon hospitalizacije.
Skup podataka koji je kreiran koristeći originalni skup podataka, podijeljen je na trening i test skup (77.4 % prema 22.6 %).
Evaluacija rješenja
U sklopu evaluacije prediktivnog modela tijekom drugog kruga natjecanja timovi mogu slati predikcije svojeg modela na čitavom testnom skupu radi procjene svojeg pristupa gradnji prediktivnog modela. Predikcije modela evaluiraju se na slučajnom podskupu testnog skupa podataka (validacijski podskup koji čini oko 50 % testnog skupa) koji će se korisniku vratiti na FTP server mapu.
U drugom krugu, natjecateljski timovi imaju pravo na maksimalno 5 takvih preliminarnih procjena modela nad validacijskim podskupom dok će se 6. evaluacija uzeti kao finalna. Šesti zadnji skup predikcija natjecateljskog tima uzima se kao referentan za finalnu evaluaciju modela na testnom skupu i rangiranje timova u drugom krugu natjecanja.
IID se odnosi na podatke iz 2019. godine, a OOD se odnosi na podatke iz 2023. godine. Mjera koja će se objavljivati na ljestvici poretka odnosno Ljestvica rezultata AI4Health.Cro inovacijskog natjecanja 2024., bit će združeni MCC rezultat = 0.75 * MCC IID (podaci 2019.) + 0.25 * MCC OOD (podaci 2023.).
Natjecateljima se evaluiraju i druge mjere točnosti klasifikatora: MCC – Mathew’s correlation coefficient, AUC – Area Under ROC Curve, H – H-measure, F1 te Accuracy. Metrike validacijskog podskupa nalaze se na FTP serveru gdje se i predaju rješenja.
Slanje preliminarnih rješenja i tablica rezultata
Preliminarna rješenja se šalju iz SPE putem vjerodajnica koje su voditelji timova dobili putem e-maila.
Naziv datoteke s rješenjem: ImeTima_BrojRješenja_datum.csv, gdje je BrojRješenja > 0, a datum u formatu YYYYMMDD na primjer Jakodobartim_1_20240320.csv. Sadržaj datoteke:
Label,Probability_0,Probability_1
0,0.99987805,0.00012193844
0,0.99999857,1.4556718e-06
1,0.0019,0.9981
…
Svaki od natjecateljskih timova stavlja svoja preliminarna rješenja na FTP server u folder Submissions. Na kraju svakog radnog dana Organizator će izvršiti evaluaciju novo pristiglih rješenja te ih pohraniti na FTP-u tima, na cloud poslužitelju (metrics_public.csv) i osvježiti rang listu rezultata.
Timovi dostavljaju anotacije dobivene modelom na testnom skupu u gore navedenom formatu. Sudionici (članovi registriranih timova) mogu predati najviše jedno rješenje dnevno i maksimalno 5 preliminarnih rješenja tijekom natjecanja te šesto rješenje kao finalno. Trenutni poredak timova na osnovu preliminarnih rješenja za zadatak (i) bit će vidljiv tijekom natjecanja na web stranici natjecanja (“Ljestvica rezultata (leaderboard)”).
Ograničenje za broj evaluacija preliminarnih rješenja
- tijekom natjecanja timovi mogu predati najviše jedno rješenje dnevno na validacijskom skupu;
- timovi mogu predati do najviše pet rješenja na server a šesto rješenje je finalno;
- za preliminarna rješenja (pokušaje) organizator će vršiti evaluaciju na validacijskom podskupu testnog skupa;
- konačnu evaluaciju modela organizatori će izvršiti na cjelokupnom testnom skupu podataka;
- konačna rješenja (šesta) na testnom skupu podataka moraju biti zaprimljena prije isteka roka za drugi krug natjecanja, natjecanje završava 12. 4. 2024. do 23:59;
- za konačnu evaluaciju na testnom skupu koristit će se zadnje predano rješenje na testnom skupu (šesto rješenje po redu)!
Medicinski podaci i razumljivost (do 25 bodova)
Interpretacija podataka i modela
Ovaj zadatak se odnosi na demonstraciju analitičkih sposobnosti tima: pronalaženje najvažnijih varijabli i analizu njihovih interakcija, otkrivanje i razumijevanje podskupina pacijenata posebice pacijenata s povećanim šansama za ranu rehospitalizaciju i pristranosti u podacima odnosno pristranosti u razvijenom modelu. Ovaj zadatak natjecatelji provode na SPE platformi organizatora. Ocjenjivat će ga evaluacijski tim organizatora prema kriterijima: medicinski kontekst, medicinska inovacija, zdravstveni ishodi, odnos sa pacijentom, usklađenost i etika. Prema pravilniku i privolama privatnosti drugog kruga natjecanja natjecatelji objašnjenja i interpretacije demonstriraju na umjetnim primjerima originalnih podataka.
Objašnjenje prediktivnog modela
Objašnjenje procesa modeliranja odnosno konstrukcije prediktivnog modela gdje opis treba sadržavati informacije o pretprocesiranju podataka, odabiru funkcije gubitka i samog modela što je otprilike jedna A4 stranica teksta. Može se koristiti: markdown, doc, txt ili neki sličan format.
- Navedite korake u razvoju modela. Navedite algoritam/algoritme, sve postupke korištene u izgradnji modela i metodologiju provjere i optimiranja prediktivne točnosti.
- Prikažite model shematski i objasnite važnost komponenti u kontekstu predikcije.
- Da li su korišteni neki vanjski izvori podataka ili znanja u razvoju modela.
Business UX/UI (do 25 bodova)
Prototip aplikacije
Ovaj zadatak se odnosi na aplikaciju odnosno prototip korisničkog sučelja koji bi se koristio u aplikaciji za bolničko okruženje za sljedeće funkcije: pružanje procjene razine rizika za pojedinačne slučajeve (pacijente) potkrijepljene temeljnim čimbenicima, procjenu nesigurnosti predviđanja i slično. Za ovaj zadatak natjecatelji mogu koristiti računalno okruženje po vlastitom izboru.
Video prezentacija poslovnih aspekata rješenja
U sklopu ovog zadatka potrebno je pripremiti video pitch u trajanju do 3 minute kojem će se prezentirati poslovni aspekti rješenja (poslovni tim ocjenjuje: inovativnost, tržišni potencijal, kvalitetu tima, održivost i skalabilnost). Za ovaj zadatak natjecatelji mogu koristiti računalno okruženje po vlastitom izboru. Potrebno je koristiti sintetske podatke iz prvog kruga natjecanja koji osnovnim karakteristikama odgovaraju originalnim podacima.