平面布置圖對于可視化空間、規(guī)劃路線和溝通建筑設(shè)計(jì)非常有用。例如，一個(gè)進(jìn)入新建筑的機(jī)器人可以使用平面圖快速感知總體布局。創(chuàng)建平面圖通常需要一個(gè)完整的布局，這樣3D傳感器和攝像機(jī)就可以捕捉到整個(gè)空間。

1月11日消息，據(jù)外媒報(bào)道，近日，來自Facebook、德克薩斯大學(xué)奧斯汀分校和卡內(nèi)基梅隆大學(xué)的研究人員正在探索一種人工智能技術(shù)，利用視覺和音頻，從一個(gè)短視頻剪輯中重建一個(gè)平面圖。

研究人員斷言，音頻提供了空間和語義信號，補(bǔ)充了圖像的映射能力。他們說，這是因?yàn)槁曇籼焐怯晌矬w的幾何形狀所驅(qū)動的。聲音從表面反射回來，揭示了房間的形狀，遠(yuǎn)遠(yuǎn)超出了相機(jī)的視野。從遠(yuǎn)處聽到的聲音，甚至是多個(gè)房間之外的聲音，可以揭示自由空間的存在，聲音物體可能存在。此外，從不同方向聽到的聲音暴露了基于這些聲音所代表的活動或事物的布局。例如，淋浴的聲音可能暗示著浴室的方向，而微波爐的聲音則暗示著廚房的方向。

研究人員的方法被稱為AV-Map，旨在將帶有多通道音頻的短視頻轉(zhuǎn)換成2D樓層平面圖。機(jī)器學(xué)習(xí)模型利用音頻和視覺數(shù)據(jù)序列來推理樓層平面圖的結(jié)構(gòu)和語義，最終使用解碼組件融合音頻和視頻信息。AV-Map生成的平面圖大大超出了視頻中直接可見的區(qū)域，顯示了劃分為離散語義房間標(biāo)簽（如家庭房間和廚房）的自由空間和被占用區(qū)域。

該團(tuán)隊(duì)在來自Matternet3D和SoundSpaces數(shù)據(jù)集的數(shù)字環(huán)境中試驗(yàn)了兩種設(shè)置，即主動和被動。在第一個(gè)實(shí)驗(yàn)中，使用一個(gè)虛擬攝像機(jī)在模型房屋的房間內(nèi)移動時(shí)發(fā)出一種已知的聲音。在第二種情況下，只依賴家中物體或人自然發(fā)出的聲音。

研究人員表示，在未來的工作中，將計(jì)劃考慮擴(kuò)展多層平面圖，并將繪圖想法與機(jī)器人連接起來，主動控制攝像頭。
責(zé)任編輯：YYX