學術成果

【人工智慧跨域研究中心訊】文字／劉品宣，校稿／蕭爵非，顏菁瑩

為鼓勵新生參賽，去年「政大AI跨域X創新永續競賽」冠軍團隊「動口不如動手」受本中心邀請，於本次競賽說明會分享專案「SignBank：AI 金融手語雙向翻譯系統」成果與參賽心路歷程，協助新生建立對競賽的整體認識與具體想像；該專案致力於解決全台 16 萬聽語障人士在面對專業金融服務時，因缺乏手語翻譯員而產生的溝通鴻溝，展現 AI 結合永續與社會關懷的實際應用價值。

資料從何而來是個問題，但：「在實地訪談台灣手語翻譯協會後，我們才發現自己或許落入了開發者的盲點。」身為開發者，他們必須理解相比一般聽人（The Hearing），聽障族群（The Deaf）閱讀長篇中文是非常吃力的，因此「雙向翻譯」系統落地的重要性就不言而喻。團隊也表示，跨域不僅是技術吃重而已，更要學會共感不同領域看待科技的視角，而創新結合的成果，往往在標準答案之外。

由於缺乏手語辨識模型的訓練資料，他們先拆解技術背後的底層邏輯，再建立屬於自己的模式，既然沒有真人影片資料，他們就自己創造。團隊利用 Blender 進行 3D 建模，配合 DeepMotion 動作捕捉工具，建立了一套高度可擴充的「合成資料生成流程」。他們用 3D 數位人代替真人打手語，打破了資料短缺的瓶頸。這種跳脫框架的思考，讓原本冰冷的演算法，擁有了服務人群的可能。

透過這項技術，SignBank 真正實現了有別於市面系統的「雙向翻譯」功能。團隊分享，在多番研讀論文後，他們尋獲關鍵的輔助工具，將複雜的手部參數轉化為直觀的 3D Avatar（數位虛擬分身）。藉由簡化後的流程，讓「數位小人」在螢幕上精準舞動雙手，將抽象的中文資訊轉譯為流暢的手語影片。Avatar 技術的融合不僅解決了資料生成的繁瑣，更精準鎖定了聽障族群的痛點：對許多手語母語者而言，視覺圖像的理解遠比文字直觀。

回望參賽歷程，SignBank 團隊認為自己最大的成長，在於從被動地接受知識，轉化為主動定義問題。正如競賽核心價值，AI 應是輔助學生達到高層次思考的學習夥伴。在政大的跨域土壤中，SignBank 證明了法律、傳播、資訊與商業設計的碰撞，能產生 1+1 大於 2 的化學反應。這把由他們點燃的技術火種，征服的不只是數據與精巧的設計，還有從無到有的決心。經由本場次的經驗分享，他們也交棒給下一屆跨域競賽的參賽者們：不要怕走遠路，因為當你認真往下走，火光終會照亮你正在尋覓的解答。

 

2025 政大AI跨域X創新永續競賽冠軍團隊「動口不如動手」介紹他們的專案緣起（照片來源：AI中心）