AI Croatia Health › Forums › Forum za AI4Health.Cro 2025 izazov › Problem oko evaluacija
- This topic has 3 replies, 2 voices, and was last updated 1 year ago by
TehničkaPodrška.
-
AuthorPosts
-
-
11. March 2025. at 11:10 #4500
Tim_12_OncoVision
ParticipantPozdrav Miha,
hvala Vam na odgovoru. Naime, uspjeli smo pronaći problem nakon još jedne evaluacije sinoć. Problem je u tome da dataframe koji dobivamo sadrži 2067 redaka dok imamo 500 jedinstvenih caseova – što predstavlja 2000 jedinstvenih redaka. Odnosno, dataframe koji dobivamo sadrži 67 dupliciranih redaka. Mi smo sada dodali linije koje izbacuju duplikate iz vašeg dataframea, ali nas zanima koja je interpretacija dupliciranih redaka te koju oni svrhu imaju. Nama se to čini redundantno budući da imamo samo 2000 jedinstvenih viewova.
Radi li se o vašem previdu ili postoji neko objašnjenje? Također, problem nam je s vremenskim ograničenjem za evaluaciju. Naime, nismo u mogućnosti isprobati novo rješenje prije 20:33. Ako se radi o previdu, zamolili bismo vas da nam poništite zadnje dvije (ili barem zadnju) evaluaciju kako bismo mogli isprobati rješenje te pravilno predati evaluaciju prije isteka prve faze natjecanja.
Srdačan pozdrav,
Tim 12 -
11. March 2025. at 11:52 #4501
TehničkaPodrška
Keymasterlocalization.csv za svaku leziju koja se nalazi u medicinskom slučaju (case_id) jednu liniju unutar tablice.
Npr. case_id – 1 ima 4 slike. Na lijevoj strani nije vidljivo ništa za lijevu stranu ima dvije linije za svaki pogled (view), po jednu za CC snimku i za MLO snimku s kategorijom ‘No_Finding’. Dok na desnoj strani su vidljivi masa i kalcifikati na oba pogleda. To znači da imamo minimalno dodatna 4 retka u tablici. Potencijalno sadrži i više redaka, ako su na ‘1_R_CC.jpeg’ označena 2 bounding boxa s kalcifikatima, takav se nalaz zapisuje s 2 retka po jedan za svaki bounding box. Tada će localization.csv tablica imati dodatne 2 linije ili više linija za case_id – 1 ukupno 6 i više linija.
Za svaki case_id.unique() treba napraviti izlaznu strukturu evaluacije. Mislim da je tako napravljeno u submission-example.
-
11. March 2025. at 12:37 #4502
Tim_12_OncoVision
ParticipantPozdrav,
Mi smatramo da prilikom treniranja modela ima smisla da se na svakoj slici nalazi jedan bounding box, kod testiranja to nema smisla zbog toga jer model ne moze za istu sliku znati koji bounding box treba napravit na kojoj slici (jer su slike iste), naš model na jednoj slici nađe sve bounding boxove za bilo koje kategorije te ih rasporedi u odgovarajuće foldere čak i ako se lezije iste kategorije pojavljuju više puta na slici.
Ako smo mi u krivu molimo dodatno pojašnjenje kako bi model trebao znati koji bounding box treba naparaviti za koju sliku (posto su slike iste i zapis u df-u je duplikat).
Srdačan pozdrav,
Tim 12 -
11. March 2025. at 21:00 #4503
TehničkaPodrška
KeymasterTo jesu problemi kod lokalizacije. Upravo zato smo napravili da se model evaluira pomoću segmentacijskih mapa i IoU mjere. Više informacija o IoU mjeri se nalazi u dokumentu UPUTA.pdf i PREDAJA RJESENJA.pdf.
Kako odabrati najadekvatniju i najpošteniju mjeru? Uzevši u obzir koje imamo podatke odlučili smo se za segmentacijske mape, a da vi predajete strukturu diretorija više o tome može se vidjeti u submission-example/submission.py i linije označene #Mandatory. File system se isčitava u submission-example/metrics.py te se kreira df koji se koristi za MCC mjeru na zadatku 2 lokalizacije.Uglavnom svi koji predaju izlaze modela lokalizacije trebali bi napraviti navedenu file system strukturu i po jednu segmentacijsku mapu za svaki komprbiditet (Masa, Kalcifikati, Fokalna asimetrija, i dr.).
-
-
AuthorPosts
- The forum ‘Forum za AI4Health.Cro 2025 izazov’ is closed to new topics and replies.