Problem oko evaluacija

Viewing 3 reply threads
  • Author
    Posts
    • #4500
      Tim_12_OncoVision
      Participant

      Pozdrav Miha,

      hvala Vam na odgovoru. Naime, uspjeli smo pronaći problem nakon još jedne evaluacije sinoć. Problem je u tome da dataframe koji dobivamo sadrži 2067 redaka dok imamo 500 jedinstvenih caseova – što predstavlja 2000 jedinstvenih redaka. Odnosno, dataframe koji dobivamo sadrži 67 dupliciranih redaka. Mi smo sada dodali linije koje izbacuju duplikate iz vašeg dataframea, ali nas zanima koja je interpretacija dupliciranih redaka te koju oni svrhu imaju. Nama se to čini redundantno budući da imamo samo 2000 jedinstvenih viewova.

      Radi li se o vašem previdu ili postoji neko objašnjenje? Također, problem nam je s vremenskim ograničenjem za evaluaciju. Naime, nismo u mogućnosti isprobati novo rješenje prije 20:33. Ako se radi o previdu, zamolili bismo vas da nam poništite zadnje dvije (ili barem zadnju) evaluaciju kako bismo mogli isprobati rješenje te pravilno predati evaluaciju prije isteka prve faze natjecanja.

      Srdačan pozdrav,
      Tim 12

    • #4501

      localization.csv za svaku leziju koja se nalazi u medicinskom slučaju (case_id) jednu liniju unutar tablice.

      Npr. case_id – 1 ima 4 slike. Na lijevoj strani nije vidljivo ništa za lijevu stranu ima dvije linije za svaki pogled (view), po jednu za CC snimku i za MLO snimku s kategorijom ‘No_Finding’. Dok na desnoj strani su vidljivi masa i kalcifikati na oba pogleda. To znači da imamo minimalno dodatna 4 retka u tablici. Potencijalno sadrži i više redaka, ako su na ‘1_R_CC.jpeg’ označena 2 bounding boxa s kalcifikatima, takav se nalaz zapisuje s 2 retka po jedan za svaki bounding box. Tada će localization.csv tablica imati dodatne 2 linije ili više linija za case_id – 1 ukupno 6 i više linija.

      Za svaki case_id.unique() treba napraviti izlaznu strukturu evaluacije. Mislim da je tako napravljeno u submission-example.

    • #4502
      Tim_12_OncoVision
      Participant

      Pozdrav,

      Mi smatramo da prilikom treniranja modela ima smisla da se na svakoj slici nalazi jedan bounding box, kod testiranja to nema smisla zbog toga jer model ne moze za istu sliku znati koji bounding box treba napravit na kojoj slici (jer su slike iste), naš model na jednoj slici nađe sve bounding boxove za bilo koje kategorije te ih rasporedi u odgovarajuće foldere čak i ako se lezije iste kategorije pojavljuju više puta na slici.

      Ako smo mi u krivu molimo dodatno pojašnjenje kako bi model trebao znati koji bounding box treba naparaviti za koju sliku (posto su slike iste i zapis u df-u je duplikat).

      Srdačan pozdrav,
      Tim 12

    • #4503

      To jesu problemi kod lokalizacije. Upravo zato smo napravili da se model evaluira pomoću segmentacijskih mapa i IoU mjere. Više informacija o IoU mjeri se nalazi u dokumentu UPUTA.pdf i PREDAJA RJESENJA.pdf.
      Kako odabrati najadekvatniju i najpošteniju mjeru? Uzevši u obzir koje imamo podatke odlučili smo se za segmentacijske mape, a da vi predajete strukturu diretorija više o tome može se vidjeti u submission-example/submission.py i linije označene #Mandatory. File system se isčitava u submission-example/metrics.py te se kreira df koji se koristi za MCC mjeru na zadatku 2 lokalizacije.

      Uglavnom svi koji predaju izlaze modela lokalizacije trebali bi napraviti navedenu file system strukturu i po jednu segmentacijsku mapu za svaki komprbiditet (Masa, Kalcifikati, Fokalna asimetrija, i dr.).

Viewing 3 reply threads
  • The forum ‘Forum za AI4Health.Cro 2025 izazov’ is closed to new topics and replies.