數位聯展

基於 Mediapipe 與 Blender 進行手語辨識資料增強之方法探討

陳○祥、林○柔、邱○谷、林○慧、梁○豪、李○緯

本研究計畫結合 Mediapipe 與 Blender,提出一套自動化、多角度的手語資料增強方法, 以解決現今手語辨識語料庫建立困難與成本高昂的問題。根據衛福部統計,台灣約有 13.7 萬名聽覺障礙者,其中多數需依賴手語作為主要溝通方式,推動手語辨識系統發展,是實現無障礙社會不可或缺的步驟之一。然而,現有語料庫 仰賴專業手語教師錄製與標註,製作費時費力,限制了系統準確度與應用普及化。

本研究透過 Mediapipe 擷取手部節點,再利用 Blender 建立骨架模型,綁定人體後模擬手語動作,並透過 Blender 內的攝影機旋轉與燈光模擬,自動生成多角度語料。生成語料後,將將導入現有的手語辨識系統中,驗證語料成效,並進一步自動化整個生成流程。

透過本研究,可顯著降低語料製作成本、提升辨識準確率,促進溝通無障礙化,實現 SDG 「減少不平等」與「良好工作與經濟成長」之目標。