紡織產業綜合研究所運用早先研發的導電纖維,連結臺科大資工系研發手語演算法的能量,在本(2017)年3月初做出「手語翻譯手套」雛型,透過手機顯示或說出聽障者的意念,未來將結合VR進攻外科醫學教育。
聽障者彼此溝通都是使用手語,但聽障者與一般不懂手語的人溝通多少會有障礙,而這個障礙卻在紡綜所研發成熟的導電纖維與臺科大的手語演算法的學研結合下,意外的獲得化解。
紡織產業綜合研究所智慧型紡織品組長沈乾龍表示,紡綜所早已用導電纖維做出并陸續發表觸控手套、控制遙控機和遙控車的手套;剛好今年2月臺科大資訊工程系副教授姚智塬得知紡織所的研究,于是雙方結合,很快地在3月初做出“手語翻譯手套”的雛型。
這個“手語翻譯手套”的雛型是手套的布料纖維取代傳統的電線,手背上有一個電子控制盒,控制盒用藍芽通訊與手機聯絡,并與手語的云端資料結合,讓手機上出現聽障者要表達的字辭。
沈乾龍解釋,“手語翻譯手套”把手套變成舒適柔軟的傳輸介面,并偵測手語姿勢變化曲率、旋轉角度、揮動角度、速度、方向,手背上的電子控制盒獲得參數再透過演算法,用藍芽功能傳輸給手機,并連結手語的云端資料,手機便能顯現出聽障者想要表達的字辭,或是「發聲說話」。
姚智塬指出,目前團隊僅初步先錄製30到40個字辭,未來第二階段團隊還要花更多時間讓手語資料庫更豐富,提升云端資料庫的深度運算,才能進一步表達更多、更復雜的字辭意思;同時增加手套觸碰功能,以提升辨識準確率。
姚智塬說,“手語翻譯手套”未來潛力非常大,除了造福聽障者之外,未來勢必會結合虛擬實境(VR)技術,進攻醫療教育領域,特別是外科實習醫生的學習階段,可以先行錄製熟練的外科醫師的全套開刀手勢和方法,讓實習醫生可充分練習,縮短摸索錯誤的時間,更真實的接觸各種不同病灶的開刀方式,將基礎打得更扎實。
沈乾龍強調,由于“手語翻譯手套”未來的應用和潛力非常大,因此雙方已進行下一步合作,由臺科大負責研發更精確的演算法,紡綜所將這種穿戴載具朝更舒適,接受度更高的方向再改良,同時還要讓電子訊號更精準,未來最快下半年會找上醫院和醫學院進一步合作。