Экзамен у Шифу

В тренировочном зале Нефритового дворца сохранились записи контрольных упражнений. Датчики фиксировали параметры движения и условия попытки, а наставник выставлял итоговый уровень выполнения.

Для части попыток оценка известна. Нужно восстановить её для остальных по данным датчиков.

Что предсказывать

target — уровень выполнения упражнения:

Файлы

• train.csv — 30 000 попыток с известным target.
• test.csv — 12 000 попыток без оценки.
• sample_submission.csv — пример формата ответа, а не содержательный прогноз.

Каждая строка описывает отдельную независимую попытку. Train и test сформированы одинаково. id — технический идентификатор строки; это не время, не идентификатор ученика и не характеристика упражнения.

Признаки

Семь числовых индексов — нормированные показания датчиков: значения около нуля соответствуют типичному показанию, положительные и отрицательные значения допустимы. Это измерения до выставления оценки.

Метрика

Quadratic Weighted Kappa (QWK). Чем больше, тем лучше; 1 соответствует полному совпадению оценок. Нулевое значение соответствует отсутствию согласия сверх ожидаемого при независимых оценках с такими же распределениями; возможны отрицательные значения.

Метрика учитывает расстояние между уровнями. В её матрице штрафов ошибка на четыре уровня весит в 16 раз больше ошибки на один уровень. Итоговая QWK дополнительно нормируется с учётом распределений настоящих и предсказанных оценок — это не просто средняя ошибка.

from sklearn.metrics import cohen_kappa_score

score = cohen_kappa_score(
    y_true, y_pred, labels=[0, 1, 2, 3, 4], weights="quadratic"
)

Формат ответа

CSV с двумя колонками id,target. По одной строке для каждого id из test. target должен быть целым числом от 0 до 4. Индекс DataFrame в файл не записывается.

id,target
500000,2
500001,1
500002,3

Числа в примере иллюстрируют только формат.