Potraga za inovativnim rje\u0161enjima primjene AI tehnologija u zdravstvu u sklopu AI4Health.cro natjecanja nastavlja se za top 10 timova u sigurnom okru\u017eenju za obradu podataka (SPE). Uputa za pristup \u0161alje se individualno voditeljima timova. SPE nema pristup internetu a dodatne upute za rad nalaze se unutar samog okru\u017eenja. Natjecatelji ne mogu prenositi podatke i datoteke izme\u0111u korisni\u010dkog ra\u010dunala i SPE. Jedina omogu\u0107ena komunikacija je s FTP serverom na koji se \u0161alju predikcije modela na \u010ditavom testnom skupu.<\/p>\n\n\n\n
Problem predvi\u0111anja rizika rane rehospitalizacije predstavljen je kao binarni klasifikacijski problem, u kojem pozitivnu klasu (labela 1) predstavljaju slu\u010dajevi rane rehospitalizacije, t.j. slu\u010dajevi kada se pacijent nakon hospitalizacije ponovno vra\u0107a u bolnicu unutar 30 dana od otpusta. Ostali slu\u010dajevi predstavljaju negativnu klasu (labela 0).<\/p>\n\n\n\n
Prediktorske varijable predstavljaju podatke nakon hospitalizacije pacijenta a uklju\u010duju osnovne antropometrijske mjere: podatke o boravku u jedinici intenzivne njege i osnovnu dijagnozu pacijenta pri otpustu iz bolnice nakon hospitalizacije.<\/p>\n\n\n\n
Skup podataka koji je kreiran koriste\u0107i originalni skup podataka, podijeljen je na trening i test skup (77.4 % prema 22.6 %).<\/p>\n\n\n\n
U sklopu evaluacije prediktivnog modela tijekom drugog kruga natjecanja timovi mogu slati predikcije svojeg modela na \u010ditavom testnom skupu radi procjene svojeg pristupa gradnji prediktivnog modela. Predikcije modela evaluiraju se na slu\u010dajnom podskupu testnog skupa podataka (validacijski podskup koji \u010dini oko 50 % testnog skupa) koji \u0107e se korisniku vratiti na FTP server mapu.<\/p>\n\n\n\n
U drugom krugu, natjecateljski timovi imaju pravo na maksimalno 5 takvih preliminarnih procjena modela nad validacijskim podskupom dok \u0107e se 6. evaluacija uzeti kao finalna. \u0160esti<\/strong> zadnji skup predikcija<\/strong> natjecateljskog tima uzima se kao referentan za finalnu evaluaciju modela na testnom skupu i rangiranje timova u drugom krugu natjecanja.<\/strong><\/strong><\/p>\n\n\n\n IID se odnosi na podatke iz 2019. godine, a OOD se odnosi na podatke iz 2023. godine. Mjera koja \u0107e se objavljivati na ljestvici poretka odnosno Ljestvica rezultata AI4Health.Cro inovacijskog natjecanja 2024<\/a>., bit \u0107e zdru\u017eeni MCC rezultat = 0.75 * MCC IID (podaci 2019.) + 0.25 * MCC OOD (podaci 2023.).<\/p>\n\n\n\n Natjecateljima se evaluiraju i druge mjere to\u010dnosti klasifikatora: MCC \u2013 Mathew\u2019s correlation coefficient<\/a>, AUC \u2013 Area Under ROC Curve<\/a>, H \u2013 H-measure<\/a>, F1 te Accuracy. Metrike validacijskog podskupa nalaze se na FTP serveru gdje se i predaju rje\u0161enja.<\/p>\n\n\n\n Preliminarna rje\u0161enja se \u0161alju iz SPE putem vjerodajnica koje su voditelji timova dobili putem e-maila.<\/p>\n\n\n\n Naziv datoteke s rje\u0161enjem: ImeTima_BrojRje\u0161enja_datum.csv, <\/strong>gdje je BrojRje\u0161enja > 0, a datum u formatu YYYYMMDD <\/em>na primjer Jakodobartim_1_20240320.csv. <\/em><\/strong>Sadr\u017eaj datoteke:<\/em><\/em><\/p>\n\n\n\n Timovi dostavljaju anotacije dobivene modelom na testnom skupu u gore navedenom formatu. Sudionici (\u010dlanovi registriranih timova) mogu predati najvi\u0161e jedno rje\u0161enje dnevno i maksimalno 5 preliminarnih rje\u0161enja tijekom natjecanja te \u0161esto rje\u0161enje kao finalno<\/strong>. Trenutni poredak timova na osnovu preliminarnih rje\u0161enja za zadatak (i) bit \u0107e vidljiv tijekom natjecanja na web stranici natjecanja (\u201cLjestvica rezultata (leaderboard<\/a>)\u201d<\/strong>).<\/p>\n\n\n\n Ovaj zadatak se odnosi na demonstraciju analiti\u010dkih sposobnosti tima: pronala\u017eenje najva\u017enijih varijabli i analizu njihovih interakcija, otkrivanje i razumijevanje podskupina pacijenata posebice pacijenata s pove\u0107anim \u0161ansama za ranu rehospitalizaciju i pristranosti u podacima odnosno pristranosti u razvijenom modelu. Ovaj zadatak natjecatelji provode na SPE platformi organizatora. Ocjenjivat \u0107e ga evaluacijski tim organizatora prema kriterijima: medicinski kontekst, medicinska inovacija, zdravstveni ishodi, odnos sa pacijentom, uskla\u0111enost i etika. Prema pravilniku i privolama privatnosti drugog kruga natjecanja natjecatelji obja\u0161njenja i interpretacije demonstriraju na umjetnim primjerima originalnih podataka.<\/p>\n\n\n\n Obja\u0161njenje procesa modeliranja odnosno konstrukcije prediktivnog modela gdje opis treba sadr\u017eavati informacije o pretprocesiranju podataka, odabiru funkcije gubitka i samog modela \u0161to je otprilike jedna A4 stranica teksta. Mo\u017ee se koristiti: markdown, doc, txt <\/em>ili neki sli\u010dan format.<\/p>\n\n\n\n Ovaj zadatak se odnosi na aplikaciju odnosno prototip korisni\u010dkog su\u010delja<\/strong> koji bi se koristio u aplikaciji za bolni\u010dko okru\u017eenje za sljede\u0107e funkcije: pru\u017eanje procjene razine rizika za pojedina\u010dne slu\u010dajeve (pacijente) potkrijepljene temeljnim \u010dimbenicima, procjenu nesigurnosti predvi\u0111anja i sli\u010dno. Za ovaj zadatak natjecatelji mogu koristiti ra\u010dunalno okru\u017eenje po vlastitom izboru.<\/p>\n\n\n\n U sklopu ovog zadatka potrebno je pripremiti video pitch u trajanju do 3 minute kojem \u0107e se prezentirati poslovni aspekti rje\u0161enja (poslovni tim ocjenjuje: inovativnost, tr\u017ei\u0161ni potencijal, kvalitetu tima, odr\u017eivost i skalabilnost). Za ovaj zadatak natjecatelji mogu koristiti ra\u010dunalno okru\u017eenje po vlastitom izboru. Potrebno je koristiti sintetske podatke iz prvog kruga natjecanja koji osnovnim karakteristikama odgovaraju originalnim podacima.<\/p>\n","protected":false},"excerpt":{"rendered":" Potraga za inovativnim rje\u0161enjima primjene AI tehnologija u zdravstvu u sklopu AI4Health.cro natjecanja nastavlja se za top 10 timova u sigurnom okru\u017eenju za obradu podataka (SPE). Uputa za pristup \u0161alje se individualno voditeljima timova. SPE nema pristup internetu a dodatne upute za rad nalaze se unutar samog okru\u017eenja. Natjecatelji ne mogu prenositi podatke i datoteke …<\/p>\n<\/a>Slanje preliminarnih rje\u0161enja i tablica rezultata<\/h3>\n\n\n\n
Label,Probability_0,Probability_1<\/em>
0,0.99987805,0.00012193844<\/em>
0,0.99999857,1.4556718e-06<\/em>
1,0.0019,0.9981<\/em>
\u2026<\/em><\/code><\/p>\n\n\n\n
<\/em><\/strong>Svaki od natjecateljskih timova stavlja svoja preliminarna rje\u0161enja na FTP server u folder Submissions<\/em>.<\/strong> Na kraju svakog radnog dana Organizator \u0107e izvr\u0161iti evaluaciju novo pristiglih rje\u0161enja te ih pohraniti na FTP-u tima, na cloud poslu\u017eitelju (metrics_public.csv<\/strong>) i osvje\u017eiti rang listu rezultata<\/a><\/strong>.<\/p>\n\n\n\n<\/a>Ograni\u010denje za broj evaluacija preliminarnih rje\u0161enja<\/h3>\n\n\n\n
\n
<\/a>Medicinski podaci i razumljivost (do 25 bodova)<\/h2>\n\n\n\n
<\/a>Interpretacija podataka i modela<\/h3>\n\n\n\n
<\/a>Obja\u0161njenje prediktivnog modela<\/h3>\n\n\n\n
\n
<\/a>Business UX\/UI (do 25 bodova)<\/h2>\n\n\n\n
<\/a>Prototip aplikacije<\/h3>\n\n\n\n
<\/a>Video prezentacija poslovnih aspekata rje\u0161enja<\/h3>\n\n\n\n