Plan2Scene: преобразование планов этажей в трехмерные сцены

plan2sceneпреобразованиеплановэтажейвтрехмерныесцены

Аннотация

Мы решаем задачу преобразования плана этажа и набора связанных фотографий жилого дома в текстурированную трехмерную сетчатую модель, т.е. задача, которую мы называем Plan2Scene . Наша система 1) преобразует изображение плана этажа в трехмерную сеточную модель; 2) синтезирует текстуры поверхности на основе исходных фотографий; и 3) выводит текстуры для ненаблюдаемых поверхностей, используя архитектуру графической нейронной сети. Для обучения и оценки нашей системы мы создаем наборы данных текстуры поверхностей внутри помещений и дополняем набор данных планов этажей и фотографий, сделанных ранее, с помощью исправленных поверхностных культур и дополнительных аннотаций. Наш подход решает задачу создания мозаичных текстур для доминирующих поверхностей, таких как полы, стены и потолки, из редкого набора невыровненных фотографий, которые только частично покрывают дом. Качественные и количественные оценки показывают, что наша система создает реалистичные трехмерные модели интерьера, превосходя базовые подходы по набору показателей качества текстур и по результатам целостного исследования пользователей.

Резюме Видео

Качественные результаты

Количественные результаты

Наблюдаемые поверхности Ненаблюдаемые поверхности Все поверхности

0

0

0. 2021

0. 471

0,0 21

Забрать

0. 591

0. 196

20. 3

0. 485

0. 650

0. 684

0 . 040

NaiveSynth

0. 768

0 . 431

Цвет Частота Запасные части


CVPR


Версия
Запасные части


Версия

2

FID Плитка Цвет Freq Запасные части

CVPR

Версия

Запасные части
Версия

2
FID Плитка Цвет Freq Запасные части

CVPR


Версия
Запасные части

Версия

2
FID Плитка
Обрезать 0 0 0 040. 1 0. 034

0. 382 0. 560

166. 2

57. 6 0. 238 0. 345 038. 6 40. 5
0. 480

0. 709

239. 2 0. 752 0,0 054

0. 459 0. 630

315. 5 026. 1 0. 694 0. 158

0. 463

0. 653

261 .2

026. 3
Забрать


Версия 2

0. 510

0. 40 0. 694 232 .4

20. 3 0. 751 0. 037

0. 561 277. 3 16. 3 0. 473

0. 653 239. 3 19. 1

0. 709

0. 054 0. 392 261. 3

032. 7 0. 714 0. 57

0. 437 0. 751 277. 4 027. 8

0. 738

0. 158 0. 42761030

245. 4

026. 6

0. 458

232. 1

0. 621

0. 485

Синтезатор (наш)

Версия CVPR

0. 038

0. 382 0. 480 21. 4 0. 680 0. 034

0. 431 0. 515

221. 4 21. 6 0. 38

0. 393

0. 498 199. 2 19. 6
Synth (наш)

Версия 2

0 . 404 0. 35 0. 386 178. 8 14. 0 0. 738 0. 35

0. 427 0. 473

208. 9 016. 8

0. 602 0.

0. 386

0. 490

208. 9

17. 4

Метрика Subs версии 2 обучается на наборе данных стационарных текстур версии 2 и наборе данных открытых поверхностей.


Использует набор данных стационарных текстур версии 2.

Код и предварительно обученные модели

Наш исходный код доступен на GitHub . Предварительно обученные модели

доступны здесь .

Набор данных Rent3D ++



Мы обучаем и оцениваем Plan2Scene на наборе данных Rent3D ++.

Набор данных стационарных текстур

[Version 1] [Version 2]

Мы обучаем нашему подходу к синтезу текстур на этом наборе данных. Первая версия набора данных используется в нашей статье CVPR. Вторая версия набора данных обеспечивает улучшенные результаты по домам Rent3D.

Набор данных сопоставленных текстур

Мы использовали этот набор данных для получения базовой линии.

Соответствующая публикация

Если вы найдете нашу работу полезной, пожалуйста, процитируйте нашу статью ниже.

Простой текст

Мадхава Виданапатирана, Цируи Ву, Ясутака Фурукава, Ангел X. Чанг и Манолис Савва. Plan2scene: преобразование планов этажей в трехмерные сцены. На конференции по компьютерному зрению и распознаванию образов (CVPR), 42761030.

BIBTEX

@inproceedings {Мадхава 42761030 Plan2Scene,

автор = {Мадхава Виданапатирана и Цируи Ву, и Ясутака Фурукава, и Ангел Х. Чанг и Манолис Савва},

title = {Plan2Scene: преобразование планов этажей в 3D-сцены},

название книги = {CVPR},

год = {45665893}

}

Leave a comment

Your email address will not be published. Required fields are marked *