You Are Bot!

Контекст. Многие современные интернет-сервисы уже содержат чат-ботов. Во время короткого общения иногда трудно понять, с кем именно ты общаешься. Возможность автоматически это определять становится всё более важной — как для бизнеса, так и для обычных пользователей.

Сложность задачи. Боты могут использовать разные языковые модели (например, OpenAI GPT, Deep Seek и.т.п.) и «притворяться» реальными людьми. Участникам соревнования предстоит встретиться с широким спектром стилей ответов — от элементарных эхо-ботов до продвинутых нейронных сетей.

Перспективы. Разработка подобной модели классификации может помочь в будущем создавать более безопасные и прозрачные онлайн-пространства.

Evaluation

Сабмишны оцениваются по функции потерь LogLoss — чем ниже значение, тем выше позиция в лидерборде.

Чтобы сформировать файл с предсказаниями, необходимо для каждого объекта из тестовой выборки (поле ID) подать вероятность (от 0 до 1), что данный участник диалога является ботом.

Формат файла: должен содержать заголовок и две колонки:

ID,is_bot
36b3aae8-cbb8-493e-84c7-d28ed4c6fd2f_0,0.35798816568047337
5b8dcc50-ce27-4ea9-8746-f3f7bf1ae6b9_1,0.6212305489275173
83792cb8-6a3a-4c19-9086-64d747e133a3_0,0.1283000012570234
...

Убедитесь, что у вас есть заголовок, и все строки соответствуют записям в тестовом наборе.