Загружаем соревнования
Оригинальные данные представляют собой выгрузку историй переписок из десятков открытых русскоязычных Telegram-групп и пабликов. Для создания данного обучающего набора мы распарсили сырые JSON-логи и применили специфическую логику группировки, чтобы превратить их в датасет для нашей задачи
В каждом чате мы сгруппировали подряд идущие сообщения от одного и того же пользователя. В качестве «разделителя» мыслей мы использовали два фактора:
Класс 1 (target=1): Это полная, законченная мысль пользователя. Мы взяли последние несколько сообщений перед тем, как он замолчал или ему ответили.
Класс 0 (target=0): Это незаконченная мысль. Мы взяли реальную сессию пользователя и искусственно «обрезали» её посередине, чтобы имитировать момент, когда человек набирает следующее сообщение прямо сейчас.
Данные представлены в популярном для NLP-задач формате JSON Lines (.jsonl). Каждая строка в файле — это отдельный валидный JSON-объект, представляющий одну независимую сессию (пример для предсказания).
Вам доступны следующие файлы:
train.jsonl — Обучающая выборка (50 000 сессий). Содержит историю сообщений и целевую метку (target). Баланс классов строго 50/50.test.jsonl — Тестовая выборка (10 000 сессий). Содержит историю сообщений, но не содержит колонку target. Ваша задача — предсказать её.Датасет ограничен
CSV110 КБ5 строк3 колонок
| # | session_idint | messageslist | targetint |
|---|---|---|---|
| 1 | 45999099 | [{'time_diff': 9.0, 'text': 'Согласна, перестала покупать полгода назад', 'is_reply': 0}, {'time_diff': 9.0, 'text': 'Раньше ещё ничо был, а теперь невозможно есть', 'is_reply': 0}, {'time_diff': 154.0, 'text': 'Какой интересной формы кружка', 'is_reply': 0}] | 0 |
| 2 | 37108206 | [{'time_diff': 664.0, 'text': 'Че это', 'is_reply': 0}, {'time_diff': 5.0, 'text': 'Ты там что забыл?', 'is_reply': 0}] | 1 |
| 3 | 32670584 | [{'time_diff': 6.0, 'text': '2 берёшь 3 в подарок', 'is_reply': 0}, {'time_diff': 5.0, 'text': 'Не помню', 'is_reply': 1}] | 1 |
| 4 | 98689404 | [{'time_diff': 236.0, 'text': 'не, удалила везде', 'is_reply': 0}, {'time_diff': 5.0, 'text': 'земля ему пухом', 'is_reply': 0}] | 1 |
| 5 | 66747303 | [{'time_diff': 88.0, 'text': 'Изыди', 'is_reply': 1}] | 0 |
Первые 5 строк · только просмотр
sample_submission.csv — Пример файла для отправки решений. Содержит 10 000 строк с session_id и колонкой target, заполненной нулями. Он содержит константное предсказание и служит всего лишь примеромПри чтении одной строки из train.jsonl вы получите словарь следующего вида:
{
"session_id": 8472910,
"messages": [
{
"time_diff": 0.0,
"text": "Всем привет!",
"is_reply": 0
},
{
"time_diff": 12.5,
"text": "А кто-нибудь уже пробовал CatBoost для этой задачи?",
"is_reply": 1
}
],
"target": 1
}session_id (int): Уникальный идентификатор конкретной сессии. Используется для формирования файла submission.csv.
messages (list): Список словарей. Это хронологическая последовательность сообщений (от старых к новым) от одного пользователя в рамках текущей сессии. Максимальная длина списка — 7 сообщений.
target (int): Целевая переменная (присутствует только в train).
1 — Мысль закончена (пользователь больше ничего не написал).
0 — Мысль НЕ закончена (за этими сообщениями в реальности последовало продолжение).
Описание ключей внутри объекта messages: text (string): Сырой текст конкретного сообщения. Может содержать смайлики, знаки препинания, опечатки, переносы строк и ссылки.
time_diff (float): Время в секундах, прошедшее между отправкой предыдущего сообщения в чате и текущего. Подсказка: Первое сообщение в сессии часто имеет time_diff > 0, так как оно отсчитывается от сообщения предыдущего собеседника. Для последующих сообщений это время, за которое пользователь напечатал данный текст.
is_reply (int): Бинарный флаг (1 или 0). Указывает, использовал ли пользователь функцию "Ответить" в Telegram на чье-то чужое сообщение при отправке данного текста.