Evaluacijski set, rang ljestvica

Poštovani,
imamo nekoliko pitanja vezanih uz završnu fazu natjecanja.

1. Zanima nas je li evaluacijski set u drugome krugu istovjetan onome iz prvog ili je proširen dodatnim mamografskim slikama. Odnosno je li skup na kojem se evaluira instanca rješenja podskup istog evaluacijskog skupa kao iz prve runde. To nam je bitno jer isprobavamo različite pristupe za koje ne želimo ‘trošiti’ submission-e ukoliko rezultati nakon evaluacije budu lošiji od onih prethodnih. Ukoliko je evaluacijski set proširen onda naravno moramo potrošiti po barem jedan submission na svaki od pristupa i to nam je jasno. Dodatno, ukoliko je evaluacijski set proširen novim snimkama od kojeg trenutka (timestamp) se evaluacija krenula izvršavati na tom proširenom datasetu?

2. Zanima nas kada možemo očekivati ažuriranu ljestvicu rezultata. Ono što smo mi primjetili prilikom zadnjeg submissiona je error u završnoj fazi izvršavanja skripte kada se rezultati trebaju zapisati u ~/miha/…/results.csv s porukom o nedostatnom prostoru na disku. Moguće da se sličan problem dogodio i za submissione ostalih timova iako se folder za rezultate kao i results.csv normalno kreiraju u /teamXY/folder-za-rezultate.

3. Kako mozemo znati koliko nam je ostalo pokušaja za predaju rješenja kroz evaluate? Je li jedini način pokrenuti evaluate pa vidjeti koji je trenutni job i koliko ih ukupno treba biti? Pitamo zato jer ne znamo u kojem trenutku je službeno tehnički (ne na papiru) krenuo drugi krug i jesu li nam zadnja 2 evaluate-a ušla pod prvu ili drugu fazu natjecanja.

Unaprijed hvala i srdačan pozdrav,
Tim Kronos