- This topic has 8 replies, 3 voices, and was last updated 1 year ago by
.
-
Posts
-
Poštovani,
Zanima nas je li Baseline rezultat na leaderboardu trenirani model, “dummy” klasifikator ili neki treći način izmjene originalnih oznaka?
Hvala unaprijed na odgovoru.
Lijep pozdrav,
Tim ZMFBaseline je model baziran na stablima. Napravljen je u R-u i u Pythonu na originalnim podatcima s kojima radite u SPE-u. Zadatak je nezgodan zbog svoje prirode, ali mogu se ostvariti i bolji rezultati od baseline-a.
Možete li reći koliki ste MCC mjerili na skupu za treniranje (ako je različit od testnog podskupa korištenog za evaluaciju na leaderboardu)?
Razumijemo. Ono što nam je čudno jest veliki pad MCC-a naših modela na leaderboardu. Lokalno na SPE-u mjerimo više od baselinea na podskupu koji nije korišten za učenje modela.
Ja sam osobno imao isti problem, i dok je zadatak primila kolegica s više iskustva modelu je postavila je nekoliko uvjeta, ključnih uvjeta zbog prirode problema i dobivala je kontinuirano konzistentne rezultate +- 0.01 MCC, ovisno o postavljenom seedu.
Ja mislim da je bude kolega jos jednom provjerio. Nismo nista shufflali nakon odvajanja labela. Zapravo nismo uopce shufflali podatke samo smo pobrisali i odvojili labele.
- You must be logged in to reply to this topic.