世界上的樂(lè)器種類(lèi)繁多，但這還不夠。谷歌開(kāi)發(fā)了一種名為NSynth Super的合成器，利用機(jī)器學(xué)習(xí)能夠造出獨(dú)一無(wú)二的新聲音。今天谷歌將這一工具的代碼開(kāi)源，看看這個(gè)奇妙的“玩具”到底能變出什么花樣吧。

什么是NSynth Super？

NSynth Super是谷歌研究項(xiàng)目Magenta正在進(jìn)行的實(shí)驗(yàn)中的一部分，該項(xiàng)目的目的是探索機(jī)器學(xué)習(xí)如何幫助藝術(shù)家一新方式創(chuàng)作藝術(shù)和音樂(lè)。

科技在創(chuàng)造新聲音方面一直發(fā)揮著重要作用——從聲音的扭曲到合成電音。今天，機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的進(jìn)步為聲音的創(chuàng)作提供了新可能。

在過(guò)去研究的基礎(chǔ)上，Magenta創(chuàng)造了NSynth（神經(jīng)合成器）。這是一種機(jī)器學(xué)習(xí)算法，利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)聲音的特征，然后根據(jù)這些特征創(chuàng)造出完全新的聲音。

相比于簡(jiǎn)單的將聲音組合起來(lái)，NSynth利用原聲音的音色重新合成了全新的聲音，所以你可以聽(tīng)到一半是笛子一半是西塔琴的聲音。

自從NSynth發(fā)布后，Magenta就不斷嘗試開(kāi)發(fā)不同的音樂(lè)交互工具，想讓NSynth算法更容易上手。作為探索的一部分，Magenta與谷歌創(chuàng)意實(shí)驗(yàn)室（Google Creative Lab）合作，創(chuàng)造出了NSynth Super。這是一款開(kāi)源的實(shí)驗(yàn)性工具，音樂(lè)家能通過(guò)里面默認(rèn)的4種原始聲音生成全新的聲音?，F(xiàn)在這款產(chǎn)品的原型正在音樂(lè)人圈子里進(jìn)行小范圍的實(shí)驗(yàn)，評(píng)估他們使用的感受。

NSynth Super是如何工作的？

在這個(gè)實(shí)驗(yàn)中，音樂(lè)家們?cè)阡浺羰依镤浿屏丝?5個(gè)音的16種原始聲音源，然后將其輸入到NSynth算法中，用算法生成新的聲音。然后將生成的超過(guò)10萬(wàn)種新的聲音加載到產(chǎn)品原型中。

每個(gè)旋鈕代表四種不同的源聲音，音樂(lè)家能通過(guò)控制旋鈕選擇不同音色，然后手指在觸摸屏上滑動(dòng)，將這四種聲音結(jié)合起來(lái)。

NSynth Super可以通過(guò)任何MIDI源播放，例如DAW，音序器或者鍵盤(pán)。

NSynth算法是如何工作的？

根據(jù)個(gè)人水平、風(fēng)格不同，NSynth利用深度神經(jīng)網(wǎng)絡(luò)生成不同的聲音。NSynth直接從數(shù)據(jù)中學(xué)習(xí)，可以讓藝術(shù)家直接控制音色和節(jié)湊，并能夠手動(dòng)探索創(chuàng)造新的聲音。

NSynth是一種算法，可以結(jié)合現(xiàn)有聲音的特征來(lái)生成新的聲音。為此，該算法將不同的聲音作為輸入。

使用自動(dòng)編碼器，它可以從每個(gè)輸入中提取16個(gè)時(shí)間特征。然后將這些特征線性插入創(chuàng)建新的嵌入（每個(gè)聲音的數(shù)學(xué)表示）。然后將這些新的嵌入解碼成新的聲音，這些聲音具有兩個(gè)輸入的聲音質(zhì)量。

完整地介紹可以參見(jiàn)Magenta的博客，數(shù)據(jù)集合算法可以在原論文中找到。

如何才能得到NSynth Super？

觸摸屏可發(fā)現(xiàn)新聲音

音色選擇鈕

音色調(diào)整鈕

和Magenta其他項(xiàng)目一樣，NSynth Super建立在開(kāi)源庫(kù)之上，例如TensorFlow和openFrameworks，目的是讓更多的藝術(shù)家、編程者和研究者體驗(yàn)這一創(chuàng)造性的過(guò)程。NSynth Super的開(kāi)源版本包含所有開(kāi)源代碼、簡(jiǎn)圖和設(shè)計(jì)模板，都可以在GitHub上下載。