據外媒報道，近日，日本三菱電機（Mitsubishi Electric Corporation）公司宣布其研發了全球首款能夠與人類進行高度自然其直觀互動的技術，該技術基于場景感知能力，能夠將多模態感知信息翻譯成自然語言。該款新技術名為場景感知交互（Scene-Aware Interaction），整合了三菱電機的專有Maisart緊湊型AI技術，可以分析多模態感知信息，通過依賴于上下文情境生成的自然語言與人類實現高度自然且直觀的交互。

（圖片來源：三菱電機）

該技術基于多模態感知信息，如攝像頭捕捉的圖像和視頻、麥克風錄下的音頻信息以及激光雷達測量的定位信息，以識別情境中的物體。為了對這些不同類別的信息進行優先排序，三菱電機研發了注意力多模態融合技術（Attentional Multimodal Fusion），能夠自動加權突出的單模態信息，為準確描述場景而選擇適當詞匯。在采用通用測試集的基準測試中，注意力多模態融合技術采用音頻和視覺信息來取得基于共識的圖像描述評價（CIDEr）得分，發現比僅使用視覺信息的得分高出29%。三菱電機將注意力多模態融合與場景理解技術和基于情境的自然語言生成技術相結合，實現了強大的端到端場景感知交互系統，在不同場景下，都可以與用戶實現高度直觀的交互。

（圖片來源：三菱電機）

場景感知交互技術可用于汽車導航應用，為駕駛員提供直觀的路線導航。例如，系統不再指示駕駛員“在50米內右轉”，而是提供場景感知型指導，如“在郵箱前右轉”或“跟著灰色的車向右轉”。此外，該系統還會在預測到附近有物體的行進路徑與車輛的行進路徑相交時，生成語音警報，如“有行人正在過馬路”。為了實現這一功能，該系統會分析場景，識別出場景中隱藏的視覺路標以及動態元素，然后利用此類東西識別物體和事件，為導航生成直觀的句子指導。

（圖片來源：三菱電機）

利用深度神經網絡進行物體識別、視頻描述、自然語言生成和口語對話等技術最近取得了很多進展，可以讓機器能夠更好地理解周圍的環境，并更自然、更直觀地與人類互動。場景感知交互技術預計具有廣泛的適用性，包括用于車載信息娛樂系統的人機接口、在建筑物中與機器人交互以及工廠自動化系統、監控人類健康狀況的系統、為人類解釋復雜場景的監測系統、鼓勵保持社交距離的系統、在公共場所支持無觸摸操作設備的系統等等。

返回第一電動網首頁 >