Введение в ИИ. Контест по NLP. Осень'26

«Бот, не перебивай!» или задача Turn-taking Prediction* для чат-бота.

Представьте, что вы разрабатываете умного голосового ассистента или текстового ИИ-собеседника на базе современных LLM. Пользователь печатает: "Слушай, я тут подумал…" и замолкает на 3 секунды. Или у каждого есть такой друг, который бомбардирует тебя сообщениями, написав только по слову в сообщению.

Что должен сделать ваш бот?

Вариант А: Ответить прямо сейчас.

Вариант Б: Подождать, пока человек допишет свою мысль.

В реальном бизнесе этот выбор стоит денег и влияет на лояльность пользователей. Эта классическая проблема NLP называется End of Turn Detection (или End of Thoughts).

Если бот поторопится (совершит False Positive) — он перебьет человека, ответит невпопад на обрывок фразы и впустую потратит платные токены дорогущей LLM-модели. В масштабах крупных компаний вроде Яндекса или Сбера такие ошибки обходятся в миллионы рублей. Если бот будет ждать слишком долго (False Negative) — возникнет неловкая пауза, и интерфейс покажется пользователю «тормозным».

Ваша миссия в этом соревновании: Построить модель, которая на основе истории сообщений пользователя в Telegram-чате, времени между ними и семантики текста научится предсказывать: закончил ли человек свою мысль (Target = 1), или он прямо сейчас печатает продолжение (Target = 0).

Turn-taking Prediction* — это задача предсказания момента, когда в диалоге произойдёт смена говорящего. Эта задача становится популярной в современных приложениях. Вот некоторые ее приложения (на стыке NLP и обработки звука)

• голосовые ассистенты
• диалоговые системы
• автоматическая расшифровка речи
• видеоконференции

Оценка решения

Мы имеем классическую задачу бинарной классификации, но с несимметричными ошибками:

• False Positive (перебили пользователя) — это критическая ошибка: мы испортили диалог и потратили деньги на генерацию ответа LLM.
• False Negative (бот промолчал) — менее критичная ошибка: возникнет небольшая задержка, но пользователь в итоге получит полный ответ.

Поскольку нам важнее максимизировать Precision (точность предсказания класса 1), классические Accuracy или F1-score здесь не подходят. Решения в данном соревновании будут оцениваться по метрике F_0.5-score

Эта метрика придает параметру Precision в два раза больший вес, чем параметру Recall.

Формула метрики

Формат submission файла:

Для каждого session_id из файла test.jsonl ваша модель должна предсказать бинарную метку (0 или 1) в колонке target.

Файл submission.csv должен содержать заголовок и иметь следующий формат: