Гений лингвистики

Тип: NLP, бинарная классификация текстов Метрика: average precision (PR-AUC)

Исследователи расшифровывают сообщения на искусственном языке. Его алфавит состоит из десяти букв:

B, AB, BC, AAB, ABC, BCC, AABC, ABCC, AAABC, ABCCC

Между некоторыми соседними словами пробел сохранился, а между другими исчез. Например, запись BBC может получиться склейкой букв B и BC.

В обучающей и тестовой выборках подлинные сообщения перемешаны с искусными подделками. Для train класс каждого сообщения известен. Подделыватель сохраняет состав сообщения и его короткие локальные закономерности, но может нарушить согласованность удалённых частей текста.

Для каждого тестового сообщения требуется выдать вещественную оценку: чем она больше, тем вероятнее, что сообщение поддельное.

Данные

data/train.csv содержит 2400 строк и колонки:

• id — целочисленный идентификатор сообщения;
• text — непустой текст из символов A, B, C и пробелов;
• forged — метка класса: 0 для подлинного и 1 для поддельного сообщения.

data/test.csv содержит 1200 строк с колонками id,text. Около 30% тестовых сообщений являются поддельными. Строки перемешаны. Числовой id служит только ключом строки и не кодирует класс или часть лидерборда.

Гарантируется, что после удаления пробелов каждый текст полностью и однозначно разбирается на буквы заданного алфавита. Длина сообщения составляет от 170 до 250 скрытых слов.

Формат ответа

CSV-файл с колонками id,score:

• требуется ровно одна строка для каждого id из test;
• score — конечное вещественное число от 0 до 1;
• больший score означает большую уверенность в классе forged = 1;
• порядок строк произвольный.

Пример формата находится в data/sample_submission.csv. Повторяющийся, пропущенный или лишний id, посторонняя колонка, NaN, бесконечность либо число вне отрезка [0,1] делают посылку некорректной.

Метрика

Посылки сравниваются по average precision для положительного класса forged = 1. При движении по порогам оценки обозначим precision и recall через P_n и R_n. Тогда

Именно это значение вычисляет sklearn.metrics.average_precision_score(y_true, score). Метрику требуется максимизировать. При равных оценках используется стандартная обработка связок порогов из scikit-learn.

Public и private содержат по 600 строк; их принадлежность скрыта, а строки обеих частей перемешаны вместе. Итоговое место определяется private. Баллы за каждую часть вычисляются по формуле:

Отображаемые баллы округляются до трёх знаков после запятой.