AI Croatia Health › Forums › Forum za AI4Health.Cro 2024 izazov › Baseline model
- This topic has 8 replies, 2 voices, and was last updated 1 year, 11 months ago by
admin.
-
AuthorPosts
-
-
30. March 2024. at 11:44 #3566
admin
ParticipantPoštovani,
Zanima nas je li Baseline rezultat na leaderboardu trenirani model, “dummy” klasifikator ili neki treći način izmjene originalnih oznaka?
Hvala unaprijed na odgovoru.
Lijep pozdrav,
Tim ZMF -
2. April 2024. at 11:22 #3567
TehničkaPodrška
KeymasterBaseline je model baziran na stablima. Napravljen je u R-u i u Pythonu na originalnim podatcima s kojima radite u SPE-u. Zadatak je nezgodan zbog svoje prirode, ali mogu se ostvariti i bolji rezultati od baseline-a.
-
2. April 2024. at 12:08 #3570
admin
ParticipantMožete li reći koliki ste MCC mjerili na skupu za treniranje (ako je različit od testnog podskupa korištenog za evaluaciju na leaderboardu)?
-
2. April 2024. at 14:32 #3571
TehničkaPodrška
KeymasterNije planirano davanje dodatnih informacija o samom modelu. Hvala na razumijevanju.
-
2. April 2024. at 18:32 #3572
admin
ParticipantRazumijemo. Ono što nam je čudno jest veliki pad MCC-a naših modela na leaderboardu. Lokalno na SPE-u mjerimo više od baselinea na podskupu koji nije korišten za učenje modela.
-
4. April 2024. at 8:59 #3576
TehničkaPodrška
KeymasterJa sam osobno imao isti problem, i dok je zadatak primila kolegica s više iskustva modelu je postavila je nekoliko uvjeta, ključnih uvjeta zbog prirode problema i dobivala je kontinuirano konzistentne rezultate +- 0.01 MCC, ovisno o postavljenom seedu.
-
4. April 2024. at 14:47 #3579
admin
ParticipantJeste li sigurni da je distribucija labela i featureova za “in-distribution” ista?
-
6. April 2024. at 8:29 #3582
TehničkaPodrška
KeymasterJa mislim da je bude kolega jos jednom provjerio. Nismo nista shufflali nakon odvajanja labela. Zapravo nismo uopce shufflali podatke samo smo pobrisali i odvojili labele.
-
8. April 2024. at 10:20 #3586
admin
ParticipantPoštovani,
Nakon svih analiza i eksperimenata koje smo napravili, imamo razloga zaključiti da proces označavanja podataka na skupu za treniranje nije istovjetan onome na testnom (pod)skupu.
Lijep pozdrav,
Tim ZMF
-
-
AuthorPosts
- The forum ‘Forum za AI4Health.Cro 2024 izazov’ is closed to new topics and replies.