🏆 Классификация страничных блоков

Внеучебное соревнование по машинному обучению Формат: индивидуальный | Длительность: 1 день

📖 Легенда

Компания разрабатывает систему автоматического распознавания документов. При сканировании страницы система разбивает её на прямоугольные блоки и для каждого блока вычисляет набор геометрических и статистических характеристик.

Ваша задача — по этим характеристикам определить, что именно содержит каждый блок: сплошной текст, горизонтальную линию, картинку, вертикальную линию или графический элемент.

Это классическая задача многоклассовой классификации с акцентом на генерацию признаков (Feature Engineering). Данные сырые, признаки неочевидные, а победа зависит от того, насколько хорошо вы понимаете физику задачи.

📊 Данные

Вам предоставляются два файла:

Описание признаков

Целевая переменная

⚠️ Внимание: Классы несбалансированы. Класс «Текст» (1) встречается значительно чаще остальных. Учитывайте это при выборе метрики и стратегии.

📤 Формат сдачи

Для каждой строки из test.csv необходимо предсказать значение class.

Итоговый файл submission.csv должен содержать ровно две колонки:

Пример корректного файла:

id,class
0,1
1,3
2,1
3,2
4,1

Файл принимается только в формате .csv. Убедитесь, что число строк в submission.csv совпадает с числом строк в test.csv, и что id соответствуют исходным.

📐 Метрика оценки

Weighted F1-score

Метрика учитывает дисбаланс классов: для каждого класса вычисляется F1-score, а итоговый результат — это средневзвешенное значение, где вес класса пропорционален его частоте в выборке.

Где:

• $F1_c$ — F1-score для класса $c$
• $n_c$ — число объектов класса $c$

Диапазон метрики: от 0.0 (худший результат) до 1.0 (идеальный результат).

🏅 Механика лидерборда

Соревнование проходит в два этапа оценки:

Public Leaderboard (Публичный)

• Оценивается 50% тестовых данных.
• Вы видите свой результат сразу после отправки файла.
• Используйте его для проверки гипотез и сравнения подходов.

Private Leaderboard (Приватный)

• Оценивается оставшиеся 50% тестовых данных.
• Результаты будут объявлены только после окончания соревнования.
• Именно по приватному лидерборду определяется итоговое место.

⚠️ Важно: Не подгоняйте модель под публичный лидерборд! Модель, которая идеально работает на публичной части, может провалиться на приватной. Делайте ставку на устойчивые и логически обоснованные признаки.

Лимит сабмитов

• Разрешено до 100 отправок submission.csv за всё время соревнования.
• В итоговом зачёте учитываются 2 лучших результата (максимум из всех отправленных сабмитов).

📜 Правила

1. Участие индивидуальное.
2. Запрещено использовать данные из test.csv для обучения модели.
3. Разрешено использовать любые библиотеки: pandas, scikit-learn, CatBoost, XGBoost, LightGBM, scipy и др.
4. Запрещено загружать внешние данные, не входящие в состав соревнования.
5. Запрещено вручную размечать строки из test.csv.
6. Сдаётся только файл submission.csv. Код можно не прикладывать, но рекомендуется сохранять его для себя.
7. В случае ничьей по метрике побеждает тот, кто раньше отправил лучший сабмит.

💡 Рекомендации по подходу

Это соревнование с акцентом на Feature Engineering, а не на подбор гиперпараметров. Вот направления для размышлений:

• Геометрия блока. Подумайте, чем горизонтальная линия отличается от вертикальной с точки зрения height, lenght и eccen. Какие отношения или произведения этих признаков помогут модели?
• Плотность пикселей. Сравните p_black и p_and. Что происходит с чёрными пикселями после сглаживания для текста, а что — для картинки?
• Переходы. Признак wb_trans и mean_tr описывают структуру блока. У сплошного текста переходов много, у закрашенной линии — мало. Как это использовать?
• Визуализация. Постройте scatter-plot'ы и pair-plot'ы. Часто визуально видно, какие признаки разделяют классы.
• Работа с дисбалансом. Подумайте о взвешивании классов, undersampling или oversampling.
• Не ограничивайтесь одной моделью. Попробуйте несколько алгоритмов и сравните их на кросс-валидации.

🧠 Главный совет: прежде чем запускать модель, потратьте 20–30 минут на визуальный анализ данных и генерацию гипотез. Хороший признак, придуманный руками, часто даёт больший прирост, чем сложный алгоритм.

⏰ Таймлайн

📁 Стартовый набор файлов

Удачи! Пусть лучший признак победит. 🚀