用機(jī)器學(xué)習(xí)創(chuàng)造獨(dú)特聲音，谷歌開源 NSynth Super
也許沒有人會想到 Google 竟然會發(fā)布一款合成器，而且這款叫做 NSynth Super 的合成器可不一般 —— 就像它的名字一樣，這款合成器是基于深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)，并且完全開源。
素材來源論智
什么是NSynth Super？
NSynth Super 是谷歌研究項目 Magenta 正在進(jìn)行的實(shí)驗中的一部分，該項目的目的是探索機(jī)器學(xué)習(xí)如何幫助藝術(shù)家一新方式創(chuàng)作藝術(shù)和音樂。
科技在創(chuàng)造新聲音方面一直發(fā)揮著重要作用——從聲音的扭曲到合成電音。今天，機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的進(jìn)步為聲音的創(chuàng)作提供了新可能。
在過去研究的基礎(chǔ)上，Magenta 創(chuàng)造了 NSynth（神經(jīng)合成器）。這是一種機(jī)器學(xué)習(xí)算法，利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)聲音的特征，然后根據(jù)這些特征創(chuàng)造出完全新的聲音。
相比于簡單的將聲音組合起來，NSynth 利用原聲音的音色重新合成了全新的聲音，所以你可以聽到一半是笛子一半是西塔琴的聲音。
自從 NSynth 發(fā)布后，Magenta 就不斷嘗試開發(fā)不同的音樂交互工具，想讓 NSynth 算法更容易上手。作為探索的一部分，Magenta 與谷歌創(chuàng)意實(shí)驗室（Google Creative Lab）合作，創(chuàng)造出了 NSynth Super。這是一款開源的實(shí)驗性工具，音樂家能通過里面默認(rèn)的4種原始聲音生成全新的聲音。現(xiàn)在這款產(chǎn)品的原型正在音樂人圈子里進(jìn)行小范圍的實(shí)驗，評估他們使用的感受。
NSynth Super 是如何工作的？
在這個實(shí)驗中，音樂家們在錄音室里錄制了跨 15 個音的 16 種原始聲音源，然后將其輸入到 NSynth 算法中，用算法生成新的聲音。然后將生成的超過 10 萬種新的聲音加載到產(chǎn)品原型中。
每個旋鈕代表四種不同的源聲音，音樂家能通過控制旋鈕選擇不同音色，然后手指在觸摸屏上滑動，將這四種聲音結(jié)合起來。
NSynth Super 可以通過任何 MIDI 源播放，例如 DAW ，音序器或者鍵盤。
NSynth 算法是如何工作的？
根據(jù)個人水平、風(fēng)格不同，NSynth 利用深度神經(jīng)網(wǎng)絡(luò)生成不同的聲音。NSynth 直接從數(shù)據(jù)中學(xué)習(xí)，可以讓藝術(shù)家直接控制音色和節(jié)湊，并能夠手動探索創(chuàng)造新的聲音。
NSynth 是一種算法，可以結(jié)合現(xiàn)有聲音的特征來生成新的聲音。為此，該算法將不同的聲音作為輸入。
使用自動編碼器，它可以從每個輸入中提取 16 個時間特征。然后將這些特征線性插入創(chuàng)建新的嵌入（每個聲音的數(shù)學(xué)表示）。然后將這些新的嵌入解碼成新的聲音，這些聲音具有兩個輸入的聲音質(zhì)量。
和 Magenta 其他項目一樣，NSynth Super 建立在開源庫之上，例如 TensorFlow 和 openFrameworks ，目的是讓更多的藝術(shù)家、編程者和研究者體驗這一創(chuàng)造性的過程。NSynth Super 的開源版本包含所有開源代碼、簡圖和設(shè)計模板，都可以在GitHub上下載。
項目信息
專業(yè)評分
專業(yè)評分已截止
評論
評論
推薦評論
暫無評論哦，快來評論一下吧！
全部評論（0條）