跳到主要內容區
Top

AI研究—影像情境對於對話系統的影響

活動名稱

AI研究—影像情境對於對話系統的影響

活動時間

107年7月1日至12月31日

活動地點

中山大學資訊管理學系人工智慧實驗室

參與對象

李偉伯教授、王豪逸碩士生、黃志遠博士生

參與人數

3人

相關連結

活動目標

本篇研究將結合影像與文字,使用影像來補充文字無法傳遞的資訊,讓對話過程中不只考慮前一句的文字內容還能夠根據畫面中場景、角色、物品做出適當回應。將透過CNN處理影像畫面得到影像畫面中的情境,並結合以RNN衍生模型為基礎的對話模型產生出適合的回應。

成果亮點

本研究希望透過影像來改變對話系統,並透過影集的資料集來實現。在訓練上透過給予畫面能夠更快速的使模型收斂,不論在固定畫面模型或是隨機畫面模型,其收斂速度都明顯的比純文字模型來的快速。顯現出模型確實能在這樣的方式中學習到影像的特徵。在人工評量中,藉由此種資料集訓練的模型所產出的結果還是比隨機選擇的句子好。

後續規畫

影像確實能夠用於開方式對話系統中。影像資料除了使用影集第三視角探索影像內容外還能考慮使用第一人稱的視角。第一人稱的是較更能夠模擬出人在對話中遇見的情境,做出更接近人在對話中的回應。
活動剪影

研究流程

研究流程

影像與對話模型

影像與對話模型

模型對話結果

模型對話結果

模型對話結果(英文)

模型對話結果(英文)

 

活動開始日期: 2018-07-01
活動結束日期: 2018-12-31
計畫類別: AI研究
公告單位: 研發處
瀏覽數: