文：劉馨香
美國時間8月23日，台裔舊金山加州大學（UCSF）和柏克萊加州大學（UC Berkeley）研究團隊，神經術助失語身說以腦機介面（BCI）結合人工智慧（AI）技術，科學首度將大腦訊號轉換成合成語音和臉部表情動畫，家腦機介I技紀錄成功讓一名因中風而失去說話能力的面結婦女以數位化身自然地與人交流，且每分鐘可講78個字，合A話比過去任何類似技術都更快。婦數分鐘此項成果刊登於頂尖科學期刊《Nature》。位化
領導此項研究的字破是知名台裔神經科學家、UCSF醫學院神經外科主任張復倫（Edward Chang），台裔他投入腦機介面研究已有十多年。神經術助失語身說其團隊在2021年7月於《NEJM》發表，科學首次將癱瘓者試圖說話時的家腦機介I技紀錄大腦活動訊號，翻譯成單字和句子並呈現於螢幕上，面結當時每分鐘可打出15個字。合A話
張復倫表示，「在這項新研究中，我們將試圖說話時的大腦活動訊號翻譯成文字的速度，加快到每分鐘約78個字；不僅如此，我們還可以將此大腦訊號直接轉換成可以聆聽的合成語音，並在數位化身上呈現準確的臉部動作。」
參與此項研究的是一名48歲婦女Ann，她在18年前發生腦幹中風，導致其嚴重癱瘓，經過多年的物理治療後才能轉動頭部與控制笑或哭等臉部肌肉動作，不過，能讓她說話的肌肉仍然動也不動。
研究團隊將一個含有253個電極、薄如紙張的長方形電極片，植入至Ann的大腦語言區域的皮層表面，並在其頭部設置一個端口以電纜連接到電腦。此技術稱為腦皮層電圖（electrocorticography, ECoG），能同時記錄數千個神經元的綜合活動。如果Ann沒有中風，這些電極接收到的神經訊號，原本可能會傳送到她的舌頭、下巴、喉嚨和臉的肌肉。
Photo Credit: UCSF官網 Ann與研究團隊一起訓練系統的人工智慧演算法好幾週，她需要從一個含有1024個單字的對話詞彙表中，重複地在嘗試說不同的短語，直到電腦能辨識她每個音素（phonemes）獨特的神經活動模式。音素是指語音中的最小聲音單位，例如，「Hello」包含四個音素：HH、AH、L和OW。
使用這種方法，電腦只需學習39個音素就能解讀英語中的任何單字，這不僅提高了系統的準確性，還使其速度提高3倍。
而為了創建數位分身，研究團隊開發出一種合成語音演算法，以Ann中風前、在婚禮上演講的影像檔案來訓練，打造出一個聽起來像她本人的個人化合成語音。
研究團隊也藉助一套Speech Graphics公司開發的臉部動畫軟體，並透過機器學習將Ann大腦訊號轉化成虛擬角色臉部的肌肉運動，包含下顎、嘴唇、舌頭的移動，以及表達快樂、悲傷和驚訝等情緒的臉部表情。
Ann對於聽到數位分身成功代替她講話，表示「感覺很有趣，這就像聽到一位老朋友的聲音。」她並說：「參與這項研究給了我一種使命感，我覺得我正在為社會做出貢獻，感覺就像我又找到工作了。這項研究讓我感到真正地生活！」
張復倫表示，我們的目標是讓癱瘓者恢復一種完整而真實的溝通方式，也就是人們與他人交談時最自然的方式。
研究團隊表示，下一階段的關鍵是打造出不需要電線連接的腦機介面。
參考資料
- How Artificial Intelligence Gave a Paralyzed Woman Her Voice Back
- A high-performance neuroprosthesis for speech decoding and avatar control（Nature）
本文經環球生技月刊授權刊登，原文刊載於此
原標：《Nature》腦機介面再突破！失語婦以數位化身說話 每分鐘78字破紀錄
延伸閱讀
- 遙控器是什麼可以吃嗎？在未來人們可能以「腦波」控制電子設備
- 新技術植入腦機介面連結脊髓，荷蘭男子癱瘓逾10年成功靠意念恢復行走
- 馬斯克的「Neuralink」用小豬示範腦機介面，為何神經科學家看完卻狂翻白眼？
【加入關鍵評論網會員】每天精彩好文直送你的信箱，每週獨享編輯精選、時事精選、藝文週報等特製電子報。還可留言與作者、記者、編輯討論文章內容。立刻點擊免費加入會員！
責任編輯：朱家儀
核稿編輯：翁世航