Даны два английских предложения — выражают ли они один и тот же смысл. Метрика — ROC-AUC.
Правила соревнования
Формат ответа
Для проверки необходимо загрузить файл submission.csv с двумя колонками:
id — номер пары из test.csv;
score — вещественная оценка: чем больше, тем увереннее, что пара — перефразирование.
В файле должно быть ровно по одной строке на каждый id из test.csv.
Система оценивания
За эту задачу можно получить до 100 баллов.
Данные разбиты на публичную (30%
) и приватную (
70%
) части, они не пересекаются. Пока идёт приём, в рейтинге показывается результат на
публичной
части. У каждого участника в рейтинге учитывается посылка с лучшим результатом на публичной части; после окончания приёма для этой посылки открывается результат на
приватной
части — по нему выставляются итоговые баллы. Отдельно выбирать посылку для итога нельзя.
Метрика приводится к 100-балльной шкале по следующему правилу:
результат baseline-решения со значением ROC-AUC⩽X оценивается в 0 баллов;
результат со значением ROC-AUC⩾Y оценивается в 100 баллов;
если значение ROC-AUC находится между X и Y, количество баллов вычисляется по формуле линейной интерполяции:
Score=100⋅Y−XROC-AUC−X.
X=0.6180 на публичной части, X=0.6185 на приватной; Y=0.9472. Баллы показываются в рейтинге отдельной колонкой.
Ограничения: 5 посылок в день, 100 на человека. Дедлайн: 21 сентября 2026, 23:59 МСК.
Метрика оценивания точности ответа
В этой задаче используется метрика ROC-AUC — площадь под ROC-кривой. Она равна вероятности того, что для случайно взятой пары-перефразирования оценка score окажется выше, чем для случайно взятой пары с разным смыслом. Метрика не зависит от порога: сравниваются только порядки оценок. 0,5 — случайное упорядочение, 1 — все перефразирования оценены выше всех остальных пар.
ROC-AUC=N1N01i:yi=1∑j:yj=0∑[s^i>s^j]
Пример расчёта метрики на Python:
from sklearn.metrics import roc_auc_score
roc_auc_score(y_true, score)