Т-поколение ИИ | Домашнее задание 3, МЛ профиль — где купить всё для хачапури?

Не более $10$ посылок в сутки. Срок сдачи — 27 сентября, 00:00 МСК(ночь с субботы на воскресенье).

Система оценивания

За эту задачу можно получить до $100$ баллов.

Данные разбиты на публичную и приватную части: $10\,000$ и $40\,000$сценариев. Когда вы отправляете submission.csv, вам показывается результат на публичной части. После окончания срока сдачи результат будет пересчитан на приватной части. Публичная и приватная части не пересекаются.

После окончания срока сдачи метрика приводится к $100$-балльной шкале:

• результат baseline-решения со значением $F_1 \leqslant X$ оценивается в 0 баллов;
• результат со значением $F_1 \geqslant Y$ оценивается в 100 баллов;
• между $X$ и $Y$ баллы вычисляются линейной интерполяцией:

$X = 0.21,\quad Y = 0.99$

Итоговый результат считается на приватной части.

Метрика оценивания точности ответа

В этой задаче используется метрика $F_1$ для класса target = 1: среднее гармоническое точности (какая доля предсказанных единиц — настоящие единицы) и полноты (какая доля настоящих единиц предсказана):

$F_1$ равна $1$ при полном совпадении предсказаний с ответами по классу $1$ и $0$, если ни одна настоящая единица не угадана. Долю нулей метрика напрямую не учитывает: в тесте единиц заметно меньше, чем нулей, и ответ «все нули» даёт $F_1 = 0$.

Пример расчёта метрики $F_1$ на Python: