Тот шкаф из ИКЕА будет собран: ученые разработали объясняющий двухмерные инструкции ИИ

Сеть MEPNet была протестирована на сгенерированных компьютером наборах Lego, реальных инструкциях к наборам Lego и воксельных строительных планах в стиле Minecraft, и, по словам исследователей, она превзошла существующие методы по всем параметрам.

Интерпретация двухмерных инструкций - непростая задача для искусственного интеллекта. По словам исследователей, базовые кирпичики Lego часто собираются в сложные формы, прежде чем их добавляют к основной части модели. Это "повышает сложность интерпретации машинами руководств по Lego: требуется умозаключение о трехмерных позах невидимых объектов, состоящих из видимых примитивов", - говорят исследователи.

Начиная с 3D-модели компонентов, текущего состояния набора Lego и 2D-изображений, полученных вручную, MEPNet "предсказывает набор 2D-ключевых точек и масок для каждого компонента", - пишут исследователи. После этого 2D ключевые точки "проецируются обратно в 3D путем поиска возможных связей между базовой формой и новыми компонентами". Эта комбинация "сохраняет эффективность моделей, основанных на обучении, и лучше обобщает их на невидимые 3D-компоненты", - пишет команда.

Исследователи разместили свой код в открытом доступе.