失聲兩年後,他用AI重新找回歌唱的聲音
ALS患者Patrick Darling透過AI語音克隆技術重新站上舞台演唱,這項技術如何改變失語者的生活?對音樂產業又意味著什麼?
當Patrick Darling的歌聲在倫敦的舞台上響起時,台下觀眾紛紛落淚。這首為從未謀面的曾祖父所寫的深情歌曲,標誌著這位32歲音樂家時隔兩年重返舞台——儘管他已經失去了歌唱的能力。
兩年前,Darling被診斷出患有肌萎縮性脊髓側索硬化症(ALS),俗稱漸凍症。這種運動神經元疾病逐漸剝奪了他控制肌肉的能力,包括移動、說話和呼吸所需的肌肉。但現在,透過AI語音克隆技術,他重新找回了失去的聲音。
從音樂家到失語者的痛苦歷程
Darling從14歲開始就是一名音樂家和作曲家。他精通低音吉他、原聲吉他、鋼琴、口琴、曼陀林和男高音班卓琴,但「我最大的愛好是唱歌」。
十多年前,他加入了Nick Cocking的愛爾蘭民謠樂隊Ceili House Band,擔任主唱和吉他手。Cocking回憶說,Darling「提升了整個樂隊的音樂水準」。
但幾年前,樂隊成員開始注意到Darling的變化。他變得笨拙,經常在雨夜的卡迪夫街頭滑倒。疾病首先影響了他的腿部,2023年8月,他開始需要坐著演出。接著失去了雙手的使用能力,無法再彈奏吉他或班卓琴。
到了2024年4月,Darling已經很難同時說話和呼吸。那場演出中,樂隊成員抬著他上台。「演出後的第二天,他打電話給我說他再也做不到了,」Cocking哽咽地說道。2024年6月,樂隊的最後一次合作演出結束了。
AI技術重現失去的聲音
語言治療師向Darling提出了「聲音銀行」的可能性——錄製自己的聲音,創建語音庫供日後使用。但Darling面臨一個問題:「到那個階段,我的聲音已經改變了。感覺我們在保存錯誤的聲音。」
另一位語言治療師Richard Cave——倫敦大學學院的研究員,同時也是AI公司ElevenLabs的顧問——為他介紹了不同的技術。ElevenLabs開發的語音克隆工具能夠從幾分鐘甚至幾秒鐘的錄音中創建逼真的聲音複製品。
2023年,ElevenLabs推出了影響力計畫,承諾為因ALS或其他疾病(如頭頸癌或中風)而失聲的人免費提供這些工具的使用許可。
Cave協助Darling使用舊錄音重新創建了他失去的說話聲音。「第一次聽到這個聲音時,我覺得太驚人了,」Darling使用語音克隆說道。「聽起來完全像我以前的聲音,你根本分辨不出差別。」
重新譜寫音樂的可能性
重現歌聲比說話聲音更具挑戰性。該工具通常需要大約10分鐘的清晰音頻才能生成克隆。「我沒有高品質的歌唱錄音,」Darling說。「我們只能使用人們手機拍攝的視頻音頻,在嘈雜酒吧錄製的,還有幾段我在廚房唱歌的錄音。」
儘管如此,這些片段足以創建Darling歌聲的「合成版本」。在原始錄音中,Darling的聲音有點沙啞,某些音符「有點偏」,語音克隆保留了這些特質。Cave說,它聽起來不完美,但很人性化。
ElevenLabs還開發了名為Eleven Music的AI音樂生成器,允許用戶透過文字提示選擇音樂風格來創作曲目。Darling和Cave花了大約六週時間精調這首歌曲。
重返舞台的感動時刻
上個月,Cocking接到Cave的電話,收到了Darling完成的曲目。「我聽到他唱的前兩三個字就不得不關掉,」他說。「我完全崩潰了,眼淚直流。我試了六次才能聽完整首歌。」
2月11日週三,在倫敦舉行的ElevenLabs峰會上,Darling計劃現場表演這首曲目。Cocking和樂隊成員Hari Ma各自安排了曼陀林和小提琴的伴奏部分。他們有幾週時間排練,然後在時隔兩年後再次與Darling同台演出。
「我推著他的輪椅上台,我們都不敢相信這真的在發生,」Cave說。「他非常興奮。」當歌曲播放時,Darling留在台上,Cocking和Ma現場演奏樂器。
Cocking說Darling計劃繼續使用這些工具創作音樂。雖然他希望能再次與Darling演出,但也承認,考慮到ALS的性質,很難制定長期計劃。
本内容由AI根据原文进行摘要和分析。我们力求准确,但可能存在错误,建议核实原文。
相关文章
Google將DeepMind的Lyria 3整合至Gemini,用戶可透過文字生成30秒音樂。8種語言全球上線,探討對華語音樂市場的衝擊與機遇。
Google在Gemini應用中新增音樂生成功能,採用DeepMind的Lyria 3模型。探討AI音樂普及對創作產業和華人音樂市場的深遠影響。
ALS患者透過AI技術重現失去的歌聲,重返舞台演出。探討語音合成技術在醫療領域的應用前景與社會影響。
喬治亞理工學院古斯曼樂器競賽展現創新樂器設計,從鹽水合成器到小提琴巨石陣,探索音樂科技的無限可能與文化融合的新境界。
观点
分享你对这篇文章的看法
登录加入讨论