Что будет хорошим решением

Сильное решение — это не обязательно самая сложная модель. Обычно выигрывает аккуратный процесс:

• корректное чтение смешанных форматов;
• разумное восстановление пропусков;
• чистые категории;
• контроль выбросов;
• отсутствие утечки;
• валидация по MSE;
• воспроизводимый код и понятная отправка.

Удачи в соревновании и внимательного взгляда на данные: здесь качество подготовки — уже половина модели.