Формат ответа

Для проверки необходимо загрузить файл submission.csv с двумя колонками:

• id — номер пары из test.csv;
• score — вещественная оценка: чем больше, тем увереннее, что пара — перефразирование.

В файле должно быть ровно по одной строке на каждый id из test.csv.

Система оценивания

За эту задачу можно получить до $100$ баллов.

Данные разбиты на публичную ($30\%$) и приватную ($70\%$) части, они не пересекаются. Пока идёт приём, в рейтинге показывается результат на публичной части. У каждого участника в рейтинге учитывается посылка с лучшим результатом на публичной части; после окончания приёма для этой посылки открывается результат на приватной части — по нему выставляются итоговые баллы. Отдельно выбирать посылку для итога нельзя.

Метрика приводится к 100-балльной шкале по следующему правилу:

• результат baseline-решения со значением $\text{ROC-AUC} \leqslant X$ оценивается в 0 баллов;
• результат со значением $\text{ROC-AUC} \geqslant Y$ оценивается в 100 баллов;
• если значение $\text{ROC-AUC}$ находится между $X$ и $Y$, количество баллов вычисляется по формуле линейной интерполяции:

$X = 0.6180$ на публичной части, $X = 0.6185$ на приватной; $Y = 0.9472$. Баллы показываются в рейтинге отдельной колонкой.

Ограничения: 5 посылок в день, 100 на человека. Дедлайн: 21 сентября 2026, 23:59 МСК.

Метрика оценивания точности ответа

В этой задаче используется метрика ROC-AUC — площадь под ROC-кривой. Она равна вероятности того, что для случайно взятой пары-перефразирования оценка score окажется выше, чем для случайно взятой пары с разным смыслом. Метрика не зависит от порога: сравниваются только порядки оценок. $0{,}5$ — случайное упорядочение, $1$ — все перефразирования оценены выше всех остальных пар.

Пример расчёта метрики на Python:

from sklearn.metrics import roc_auc_score
roc_auc_score(y_true, score)