Baseline model

Viewing 8 reply threads
  • Author
    Posts
    • #3566
      admin
      Participant

      Poštovani,

      Zanima nas je li Baseline rezultat na leaderboardu trenirani model, “dummy” klasifikator ili neki treći način izmjene originalnih oznaka?

      Hvala unaprijed na odgovoru.

      Lijep pozdrav,
      Tim ZMF

    • #3567

      Baseline je model baziran na stablima. Napravljen je u R-u i u Pythonu na originalnim podatcima s kojima radite u SPE-u. Zadatak je nezgodan zbog svoje prirode, ali mogu se ostvariti i bolji rezultati od baseline-a.

    • #3570
      admin
      Participant

      Možete li reći koliki ste MCC mjerili na skupu za treniranje (ako je različit od testnog podskupa korištenog za evaluaciju na leaderboardu)?

    • #3571

      Nije planirano davanje dodatnih informacija o samom modelu. Hvala na razumijevanju.

    • #3572
      admin
      Participant

      Razumijemo. Ono što nam je čudno jest veliki pad MCC-a naših modela na leaderboardu. Lokalno na SPE-u mjerimo više od baselinea na podskupu koji nije korišten za učenje modela.

    • #3576

      Ja sam osobno imao isti problem, i dok je zadatak primila kolegica s više iskustva modelu je postavila je nekoliko uvjeta, ključnih uvjeta zbog prirode problema i dobivala je kontinuirano konzistentne rezultate +- 0.01 MCC, ovisno o postavljenom seedu.

    • #3579
      admin
      Participant

      Jeste li sigurni da je distribucija labela i featureova za “in-distribution” ista?

    • #3582

      Ja mislim da je bude kolega jos jednom provjerio. Nismo nista shufflali nakon odvajanja labela. Zapravo nismo uopce shufflali podatke samo smo pobrisali i odvojili labele.

    • #3586
      admin
      Participant

      Poštovani,

      Nakon svih analiza i eksperimenata koje smo napravili, imamo razloga zaključiti da proces označavanja podataka na skupu za treniranje nije istovjetan onome na testnom (pod)skupu.

      Lijep pozdrav,
      Tim ZMF

Viewing 8 reply threads
  • The forum ‘Forum za AI4Health.Cro 2024 izazov’ is closed to new topics and replies.