Загрузка
Загружаем соревнования
Нужно научить робота-уборщика SurfexUnit по одному кадру с камеры глубины находить мусор на полу и для каждого объекта определять форму, материал, объём, массу и решение: забрать или объехать.
SurfexUnit — автономный промышленный робот компании Astramis для уборки мусора с пола, подметальная машина. Он ездит по цехам и складам и забирает мусор конвейером в бак. Впереди стоит камера глубины Intel RealSense D435: на каждый кадр она даёт цветную картинку и карту расстояний.
Роботу мало знать, что на полу что-то лежит. Ему нужно решить, что с этим делать:
Это настоящая задача нашей команды в упрощённом виде. Все кадры сняты с камеры робота, которого мы привезли.
Что на входе. Один кадр: цветная картинка, выровненная с ней карта глубины и положение камеры относительно пола.
Что на выходе. Список найденных объектов. Для каждого объекта:
Поле | Что это | Значения |
|---|---|---|
Рамка | где объект на кадре |
|
Уверенность | насколько модель уверена в находке | число от 0 до 1 |
Форма | сыпучее или цельное |
|
Материал | из чего объект |
|
Объём | сколько места объект занимает так, как он лежит на полу | миллилитры |
Масса | сколько объект весит | граммы |
Решение | что делать роботу |
|
Форма. Сыпучее (bulk) — это кучка из многих мелких частиц или предметов: стружка, песок, горсть гаек. Вся кучка размечена как один объект, и объём у неё один на всю кучку. Цельное (solid) — один предмет: бутылка, коробка, брусок.
Материал. Шесть вариантов:
Код | Материал | Например |
|---|---|---|
| металл | банки, болты и гайки, обрезки |
| дерево | бруски, щепа, опилки |
| пластик | бутылки, упаковка, крышки |
Если предмет состоит из нескольких материалов, указан тот, которого больше по массе. Сыпучего стекла в данных нет.
Архитектура решения любая: одна нейросеть или цепочка из нескольких шагов.
В архиве 1000 кадров: 400 реальных с камеры и 600 синтетических. Проверка идёт на 137 реальных кадрах с предметами, которых нет в обучении.
Папка | Кадров | Что внутри | Разметка |
|---|---|---|---|
| 263 | реальные кадры: на каждом один объект или пустой пол (49 пустых) |
|
| 600 | синтетика: объекты из обучающих кадров, вырезанные и вставленные на пустой пол в новом месте; на 78 кадрах по два объекта |
Структура архива
astramis_case/
baseline.ipynb стартовое решение
score.py метрика, та же, что на платформе
sample_submission.csv пример файла с ответами
dataset/
camera.json параметры камеры
densities.csv плотности по форме и материалу
labels/
real_train.json разметка реальных обучающих кадров
synth_train.json разметка синтетики
real/train/r_0001/ color.png depth.png meta.json
real/test/r_0005/ color.png depth.png meta.json
synth/train/s_0001/ color.png depth.png mask.png meta.jsonКаждый кадр лежит в своей папке. Имя папки (r_0001, s_0001) и есть идентификатор кадра, он же image_id в файле с ответами.
Файлы кадра
Файл | Что это | Как читать |
|---|---|---|
| цветной кадр 1280×720 | обычная картинка |
| карта глубины того же размера, уже выровнена по цвету: пиксель глубины соответствует тому же пикселю цветного кадра | 16 бит, значение — расстояние в миллиметрах, 0 — данных нет. Читать только так: |
|
Поля meta.json
Поле | Значение |
|---|---|
| четыре числа |
| высота камеры над полом, около 0,25 м |
| наклон камеры вниз от горизонта, около 30° |
Плоскость пола немного различается между сериями съёмки, поэтому берите её из meta.json своего кадра.
camera.json. Параметры камеры, одни на все кадры: размер кадра width, height и внутренние параметры fx, fy, cx, cy. С ними пиксель (u, v) с глубиной превращается в точку в пространстве:
z = depth[v, u] / 1000 # метры
x = (u - cx) / fx * z
y = (v - cy) / fy * zОблаков точек в архиве нет: они строятся этими тремя строками из depth.png.
Разметка (labels/*.json). Формат COCO. В списке images у каждого кадра есть id, путь file_name от папки dataset и размеры. В списке annotations у каждого объекта:
Поле | Значение |
|---|---|
| номер кадра из списка |
| рамка |
| контур объекта: список многоугольников |
Кадр без записей в annotations — пустой пол.
densities.csv. Для каждой пары «форма + материал» дана плотность в г/мл: масса предмета, делённая на его объём, по предметам из обучения. В колонке density_g_per_ml медиана, в min и max разброс, в n_objects число предметов. Разброс большой: пустая бутылка и полная относятся к одному классу.
Что важно знать о данных
real/train, только в новых местах. Цвет и глубина объекта настоящие, перенесены вместе с ним.Отправка — это CSV-файл с двумя колонками, image_id и prediction, по одной строке на каждый из 137 тестовых кадров.
image_id,prediction
r_0141,212 305 298 371 0.91 solid plastic 500 25 1;402 280 520 344 0.77 bulk wood 350 60 1
r_0152,130 240 260 330 0.88 solid metal 140 1090 0
r_0160,noneВ колонке prediction записаны все объекты кадра. Объекты разделяются точкой с запятой, у каждого ровно 10 значений через пробел, в таком порядке:
№ | Значение | Что писать |
|---|---|---|
1–4 |
| рамка в пикселях цветного кадра: левый верхний и правый нижний угол, |
5 |
| уверенность модели от 0 до 1 |
6 |
Правила, за нарушение которых платформа вернёт ошибку вместо балла:
real/test, каждый по одному разу.prediction пишется слово none.В тексте ошибки назван кадр и причина, например «у объекта должно быть 10 значений».
Масса в балл напрямую не входит: оценивается решение take, которое вы принимаете на её основе или любым другим способом.
Готовый пример — sample_submission.csv: все 137 кадров со значением none. Бейзлайн сам собирает файл в нужном формате функцией to_string.
Балл от 0 до 100 складывается из четырёх частей: детекция 40%, материал 20%, объём 25%, решение «забрать или объехать» 15%. Больше половины балла даёт не то, нашли ли вы объект, а то, что вы о нём узнали.
Часть | Вес | Что измеряет | Как считается |
|---|---|---|---|
D, детекция | 40% | нашли ли объекты и верно ли назвали форму | mAP50 по двум классам формы. Лишние рамки, в том числе на пустом полу, снижают эту часть |
M, материал | 20% | верно ли назван материал | доля верных ответов внутри каждого материала, затем среднее по материалам. Редкий материал весит столько же, сколько частый |
V, объём |
Оценка объёма одного объекта. Считается, во сколько раз вы ошиблись, а не на сколько миллилитров.
Точное попадание даёт 1, ошибка в 1,5 раза даёт 0,63, в 2 раза 0,37, в 3 раза и больше 0. Завысить вдвое и занизить вдвое — одинаковый штраф.
Как предсказание связывается с настоящим объектом. Предсказание засчитывается объекту, если их рамки перекрываются достаточно сильно: IoU не меньше 0,5. Пропущенный объект получает 0 сразу за материал, объём и решение, так что находить объекты выгодно для всех четырёх частей.
Про решение take. Поставить везде 1 или везде 0 не поможет: одна из двух долей станет нулём, и за эту часть вы получите не больше половины. Робот, который ничего не убирает или хватает всё подряд, нам не нужен.
Публичный и финальный рейтинг. Тест поделён на две половины. По первой считается публичный рейтинг, вы видите его после каждой отправки. По второй считается финальный, его покажут после окончания приёма решений. Места определяются по финальному.
Проверка у себя. В score.py та же метрика, что на платформе. Бейзлайн в разделе 6 считает её на отложенных кадрах и печатает все четыре части отдельно. Проверяйте идеи там, а не отправками: их число ограничено.
Балл немного «дышит». Один и тот же код от запуска к запуску даёт разницу в 1–2 балла. Это шум обучения.
Бейзлайн набирает около 59 баллов и почти все получает за то, что находит объекты. Материал он не определяет, объём считает «в лоб», синтетику не использует.
Что делает baseline.ipynb:
densities.csv, и ставит take = 1, если масса не больше 500 г.submission.csv.Где лежат баллы
Часть оценки | Вес | У бейзлайна | Сколько баллов ещё можно взять |
|---|---|---|---|
D, детекция | 40% | 0,86 | 6 |
M, материал | 20% | 0,17 | 17 |
V, объём | 25% |
Детекция у бейзлайна уже хорошая, и на ней осталось меньше всего. Основной недобор в трёх других частях, и они связаны: без материала нельзя правильно выбрать плотность, без плотности и объёма не получить массу, без массы не принять решение.
Вопросы, над которыми стоит подумать
Как не обмануть себя на проверке
object_id.Если карта глубины, плоскость пола или YOLO вам в новинку, начните с памятки по подготовке.
Проще всего работать прямо на платформе: данные уже подключены, есть видеокарта, а отправка делается из ноутбука.
На платформе
submission.csv. Отправьте его и посмотрите балл на публичной части.Данные в рабочей среде лежат в /home/jovyan/work/datasets/astramis_case/: внутри папка dataset и файл score.py. Бейзлайн на платформе находит их сам.
В Google Colab
astramis_case.zip из раздела «Данные» и положите на свой Google Диск.baseline.ipynb в Colab и включите видеокарту: «Среда выполнения» → «Сменить среду выполнения» → T4.from google.colab import drive
drive.mount("/content/drive")
!unzip -q "/content/drive/MyDrive/astramis_case.zip" -d /content
%cd /content
!pip -q install ultralyticssubmission.csv и загрузите его на платформе на вкладке «Отправки».На своём компьютере. Распакуйте архив, откройте baseline.ipynb из той же папки и поставьте ultralytics, opencv-python и pandas. Без видеокарты обучение будет идти в разы дольше.
Если что-то не запускается
Ошибка | Что делать |
|---|---|
| запустить ячейку установки библиотек и перезапустить ядро |
| ячейка с обучением не доработала до конца: запустить её заново и дождаться |
карта глубины чёрная или из одних 255 | файл прочитан как 8-битный: нужен |
платформа вернула ошибку вместо балла | прочитать её текст и свериться с разделом «Формат отправки» |
Действуют общие правила платформы и несколько уточнений для этого кейса. Команда может сделать до 10 отправок в день и выбирает 2 решения для финального зачёта.
Что | Значение |
|---|---|
Приём решений | 20–22 ноября, закрытие 13:00 |
Отправок в день | до 10 на команду |
Решений для финального зачёта | 2, команда выбирает их сама, в зачёт идёт лучшее из двух на финальной части теста |
По чему определяются места | по финальному рейтингу, публичный нужен только для ориентира |
Уточнения для кейса
Да пребудет с вами сила!
| стекло | бутылки, банки |
| бумага и картон | коробки, стаканчики, обёртки |
| минеральное | песок, щебень, куски плитки и кирпича |
|
| 137 | реальные кадры для проверки, среди них есть пустой пол | скрыта, по ней считается рейтинг |
положение камеры и условия съёмки для этого кадра |
см. таблицу ниже |
| только в синтетике: номер объекта в каждом пикселе, 0 — фон | 8 бит, номер совпадает с полем |
|
освещение: |
| покрытие пола, во всех кадрах плитка ( |
| доля пикселей без глубины (только в реальных кадрах) |
|
|
| один из шести материалов |
| объём, мл |
| масса, г |
| 1, если масса не больше 500 г, иначе 0 |
| номер физического предмета. Один и тот же предмет снят на нескольких кадрах в разных положениях и при разном свете |
form
|
7 |
|
|
8 |
| объём в миллилитрах, больше нуля |
9 |
| масса в граммах |
10 |
|
|
25%
насколько точен объём |
среднее по объектам оценки из формулы ниже |
S, решение | 15% | верно ли решено, забирать или объезжать | среднее двух долей: тяжёлые объекты (больше 500 г), которые вы объехали, и лёгкие, которые вы забрали |
10 |
S, решение | 15% | 0,42 | 9 |