Opis zadataka i provedbe AI4Health.Cro inovacijskog natjecanja 2024

1. Predviđanje rizika rane rehospitalizacije

Prvi AI4Health.Cro izazov povezan je s problemom tzv. rane rehospitalizacije. Posljedice i troškovi učestalih hospitalizacija jedan su od najvažnijih izazova zdravstvenih sustava. Značajan broj pacijenata (>10% u razvijenim zemljama) hospitalizira se ubrzo nakon prethodne epizode hospitalizacije (unutar 30 dana). Troškovi povezani s readmisijom su visoki (npr. >25 milijardi američkih dolara godišnje u SAD-u). Prema procjenama istraživačkih studija, čak do 50% ovih ponovnih prijema pacijenata u bolnice moguće je izbjeći. Različitim zdravstvenim intervencijama moguće je smanjiti broj ponovnih prijema pacijenata u bolnice (npr. prijelazna/dodatna skrb). Kako bi se u kliničkoj praksi mogli usmjeriti na prave slučajeve, potrebna su točnija predviđanja, ali i razumijevanje mogućih uzroka rizika za ponovni prijem pojedinih pacijenata.

Rješenja temeljena na umjetnoj inteligenciji, koja koriste kliničke podatke trebala bi pomoći u boljem predviđanju potreba za dodatnim intervencijama i pridonijeti smanjenju troškova, a uz to i sugerirati nove pristupe za sprječavanje učestalih ponovnih prijema.

2. Zadaci natjecanja

U okviru natjecanja predviđena su 3 zadatka: (i) Izrada modela predviđanja rizika rane re-hospitalizacije (ponovni prijem u bolnicu u roku od manje od 30 dana). Uz izgradnju modela predviđanja rizika od re-hospitalizacije, postoje dva dodatna zadatka: (ii) zadatak predviđa kvalitativnu analizu kojom se treba demonstirirati razumijevanje podataka kao i interpretacija modela; (iii) zadatak predviđa izgradnju prototipa korisničkog sučelja kojim se korisniku pored predviđenog rizika za konkretnog pacijenta, nastoje objasniti koji su mogući razlozi za povećani rizik.

1. 1. Prediktivni model (50% ukupnog rezultata)

Ocjena rješenja bazira se na slijedećim mjerama: MCC, log-loss, AUC, H-measure.

Tokom natjecanja timovi mogu testirati svoja rješenja na validacijskom skupu primjera, slanjem oznaka primjera iz testnog skupa koji će se evalurati na validacijskom podekupu primjera. Rezultati preliminarnih rješenja objavljuju se na stranici “Tablica rezultata”.
Testni podaci biti će podijeljeni dva dijela: one koji su vremenski u okviru distribucije podataka u skupu podataka za treniranje (do 2019.), i one koji su vremenski skupljeni 3 godine kasnije.

Ovaj zadatak provodi se u oba kruga natjecanja: u prvom krugu na vlastitim računalima, a u drugom krugu na SPE platformi organizatora.

2. 2. Interpretacija (25% ukupnog rezultata)

Ovaj zadatak se odnosi na demonstraciju analitičkih sposobnosti tima: pronalaženje najvažnijih varijabli i analize njihovih interakcija, otkrivanje i razumijevanje pod-skupina pacijenata, posebice pacijenata s povećanim šansama za ranu rehospitalizaciju, te pristranosti u podacima, odnosno razvijenom modelu.

Ovaj zadatak natjecatelji provode u drugom krugu natjecanja, na SPE platformi organizatora.

3. 3. Prototip aplikacije za predviđanje rizika rane rehospitalizacije (25% ukupnog rezultata)

Ovaj zadatak se odnosi na aplikaciju-prototip korisničkog sučelja aplikacije koja bi se koristila potenicjalno mogla koristiti u bolničkom okruženju, uz procjenu razine rizika za pojedinačne slučajeve (pacijente), potkrijepljenu čimbenicima, procjena nesigurnosti predviđanja itd.

Ovaj zadatak natjecatelji provode u drugom krugu natjecanja, u vlastitom računalnom okruženju, koristeći sintetski skup podataka iz prvog kruga natjecanja.

3. Tijek natjecanja

Prvi krug
• Početak: 28-2-2024 12:00 CET
• Završetak: 10-3-2024 23:59 CET

Drugi krug
• Početak: 12-3-2024 12:00 CET
• Završetak: 12-4-2024 23:59 CET

4. Nagrade

Za pobjedničke timove predviđene su novčane nagrade:

1. 1. mjesto: 5.000,00 EUR

1. 1. mjesto: 3.000,00 EUR

1. 1. mjesto: 1.000,00 EUR

5. Određivanje ukupnih pobjednika

Ovo natjecanje predstavlja izazov koji uključuje različita znanja i vještine, a konačni rezultat određuju se zbrojem bodova na temelju sva tri zadatka.

Rezultati i rangiranje pojedinih natjecatelja preliminarnih validacijskih rješenja na Prediktivnom zadataku, biti će dostupni na WEB stranici Natjecanja. Rang će se odrediti na metrici procjene za Zadatak. Evaluacijske metrike koje se koriste za bodovanje i rangiranje podnesaka (zadatak i) objašnjenje su na web stranici natjecanja.

Ocjena za zadatak (i) temelji se isključivo na metrici izvedbe rješenja, dok će Zadatke (ii) i (iii) ocjenjivati Evaluacijski panel, sastavljen od medicinskih, tehničkih i poslovnih stručnjaka. Ukupan rezultat/rang određenog tima je težinski usrednjen rang rješenja preko sva tri zadatka.

Dodjela nagrada podliježe dodatnoj provjeri usklađenosti s Pravilima natječaja. Sve odluke organizatora natjecanja (panel Evaluatora) bit će konačne i obvezujuće u svim pitanjima koja se odnose na ovo

6. Izjednačena rješenja

Izjednačenost između dvije ili više valjanih i identično rangiranih prijava bit će razriješena u korist izjednačene prijave koja ima bolje prediktivno rješenje.

7. Provedba natjecanja

Organizator Natječaja pridržava pravo ispitati rješenja natjecatelja, kao i njime povezani kod ili dokumentaciju radi utvrđivanja usklađenosti s Pravilima Natjecanja. U slučaju kršenja Pravila natjecanja, Organizator može prema vlastitom nahođenju poduzeti bilo koju od sljedećih radnji: a) diskvalificirati problematičnu prijavu; ili b) zahtijevati od sudionika da ispravi sve identificirane probleme (npr. problemi sa softwareskim licencama i uklanjanje bilo kojeg softvera koji krši softverska ograničenja). Dodatne informacije u pravilniku.

8. O zaštiti podataka

‘Podaci’ označavaju posebno pripremljene skupove podataka, koji su detaljno opisani na WEB stranici Natjecanja, i koriste se isključivo od strane registriranih natjecatelja. Anonimiziran podaci su izrađeni isključivo u svrhu ovog Natjecanja, a natjecatelji moraju koristiti Podatke onako kako je dopušteno Pravilima natjecanja što uključuje učenje iz Podataka, analiziranje, izmjenu Podataka i općenito pripremu Vaše prijave i sve temeljne modele i sudjelovanje u raspravama na forumu na web stranici.

Sudionici su suglasni koristiti odgovarajuće mjere kako bi spriječili osobe koje nisu službeno pristale na Pravila natjecanja, da dobiju pristup Podacima i suglasni su da neće prenositi, umnožavati, objavljivati, redistribuirati ili na drugi način pružati ili učiniti dostupnim Podatke bilo kojoj strani koja ne sudjeluje u Natjecanje. Sudionici su suglasni da će odmah obavijestiti Organizatore po saznanju o bilo kakvom mogućem neovlaštenom prijenosu ili neovlaštenom pristupu podacima i suglasni su surađivati s Organizatorima na ispravljanju svakog neovlaštenog prijenosa. Sudionici su suglasni da se sudjelovanje u Natjecanju neće tumačiti kao posjedovanje ili dobivanje licence (izričito, implicitno, ili na neki drugi način) prema ili bilo kakvom pravu vlasništva nad podacima.2