DDSP rehberi: Magenta DDSP VST, eğitim ve çalışma biçimi

17 Kasım 2025

DDSP (türevlenebilir sayısal sinyal işleme), Google Magenta'nın bir sinir ağının klasik ses üreticilerini kontrol etmesini sağlayan açık kaynak kütüphanesidir: osilatörler, filtrelenmiş gürültü ve yankılanma. Magenta, DDSP VST'yi 2024'te arşivledi, ancak ücretsiz eklenti hâlâ indirilebiliyor ve Windows ile macOS'ta çalışıyor. Ücretsiz bir Google Colab not defterinde kendi enstrüman modelinizi de eğitebilirsiniz.

Bu rehber bu iki pratik adımla başlar. Ardından DDSP'nin nasıl çalıştığını, nerelerde yetersiz kaldığını ve yerini hangi yeni modellerin aldığını açıklar.

DDSP bugün nasıl kullanılır: hızlı başlangıç

DDSP VST'yi indirin ve kurun

1. Eklentiyi macOS veya Windows için indirin. Her iki bağlantı da resmî DDSP VST deposundan gelir.
2. Dosyayı çıkarın. İki eklenti içerir: gelen sesi (örneğin sesinizi) bir enstrümana dönüştüren DDSP Effect ve MIDI ile çaldığınız DDSP Synth.
3. macOS'ta bunları /Library/Audio/Plug-Ins/Components (AU) ve /Library/Audio/Plug-Ins/VST3 konumlarına kopyalayın. Windows'ta VST3 dosyalarını C:\Program Files\Common Files\VST3 konumuna kopyalayın.
4. DAW'ınızda eklentileri yeniden tarayın.

Resmî bir Linux sürümü yoktur. Hiçbir şey kurmadan DDSP'yi duymak için Tone Transfer web demosunu deneyin.

Kendi DDSP enstrümanınızı eğitin

Magenta'nın DDSP VST eğitim not defteri Google Colab'da çalışır, bu nedenle yerel GPU gerekmez:

1. En az 10 dakikalık .wav veya .mp3 sesi bir Google Drive klasörüne koyun. Tek kayıt oturumundan, aynı mikrofonla ve aynı odada kaydedilmiş tek sesli (aynı anda tek nota) ses kullanın.
2. Not defterini açın, kurulum hücresini çalıştırın (yaklaşık 5 dakika), ardından eğitim hücresini çalıştırıp klasörünüzü seçin.
3. Bekleyin. Eğitim ücretsiz Colab'da yaklaşık 2 ile 3 saat, Colab Pro+'ta ise bir saatten az sürer. Colab bağlantısı kesilirse hücreyi aynı klasörle yeniden çalıştırın; eğitim devam eder.
4. İndirilen model klasörünü eklentinin model klasörüne çıkarın. Mac'te bu konum ~/Documents/Magenta/DDSP/Models şeklindedir; klasörü eklentinin içinden de açabilirsiniz.

Not defterine göre iyi sonuçlar genellikle 30.000 ile 50.000 eğitim adımından sonra gelir. Çok az adım sönük duyulur; çok fazla adım kesik kesik sese ve büyük ses düzeyi sıçramalarına neden olabilir.

Tarihçe ve gelişim: Magenta'dan modern eklentilere

Magenta araştırma laboratuvarı (2016-2024)

Google'ın Magenta projesi 2016'da müzik ve sanat için makine öğrenmesi üzerine açık kaynak bir araştırma projesi olarak başladı. Birçok müzik üretim aracı yayımladı, ancak projelerinin çoğu 2024'e gelindiğinde arşivlenmişti.

Open NSynth Super (2017)

DDSP'den önce Magenta, NSynth üzerine kurulu bir donanım enstrümanı olan Open NSynth Super projesini sundu. NSynth veri kümesi 1.006 enstrümandan yaklaşık 305.000 tek nota örneği içerir. Raspberry Pi ve özel bir baskılı devre kartı üzerine kurulan cihaz, müzisyenlerin enstrüman sesleri arasında gerçek zamanlı, akıcı geçişler yapmasını sağlıyordu.

WaveNet tarzı bir otokodlayıcı olan NSynth modeli, hesaplama maliyeti nedeniyle 16-bit/16 kHz sesle sınırlıydı; bu yüzden çıktı belirgin biçimde lo-fi duyulur. Ses mühendisi Joe Boston sesi “grenli” olarak tanımladı, ancak harici efektlerden geçirerek yaratıcı kullanım alanları buldu. Donanım projesi Ağustos 2025'te arşivlendi.

DDSP ve Tone Transfer (2020)

Magenta 2020'de DDSP kütüphanesini ve yaygın sinyal işleme modüllerinin türevlenebilir sürümlerini tanıtan ICLR makalesini yayımladı. Tone Transfer web demosu, kullanıcıların şarkı söyleme gibi kayıtları keman, saksofon, trompet veya flüte dönüştürmesini sağlıyordu.

Modeller, enstrüman başına yaklaşık 10 dakikalık tek sesli kayıtla eğitilmiş RNN tabanlı otokodlayıcılardı. Demo çalışıyordu, ancak 16 kHz çıktı ve sınırlı artikülasyon modellemesi onu kısıtlıyordu.

MIDI DDSP ve VST eklentisi (2022-2024)

Magenta, DDSP'yi Ocak 2022'de MIDI DDSP ile genişletti. Bu model, tek sesli MIDI dizilerinden doğrudan enstrüman sesi sentezler. MIDI'yi sinir ağı modeli yerine kaydedilmiş örneklerle çalmak için ücretsiz sforzando oynatıcısına bir SFZ enstrümanı yükleyin.

Magenta, DAW içinde gerçek zamanlı tını aktarımı için DDSP VST eklentisini Haziran 2022'de yayımladı. Her iki proje de 2024'te arşivlendi: MIDI DDSP Şubat'ta, VST Ekim'de.

MAWF ses eklentisi (2023)

Tone Transfer'ın eski teknik lideri, 2020'den beri ByteDance'ta çalışan Hanoi Hantrakul (yaboihanoi), MAWF eklentisini 2023'te yayımladı. Ücretsiz VST/AU eklentisi, önceki DDSP uygulamalarının 16 kHz sınırını kaldırarak 48 kHz'de gerçek zamanlı sinir ağıyla ses sentezi gerçekleştirir.

DDSP nasıl çalışır? Otokodlayıcılar ve DSP bir arada

DDSP, kod çözücüsü dalga biçimini doğrudan üretmek yerine modüler DSP bileşenlerini yöneten bir otokodlayıcıdır.

DDSP otokodlayıcı mimarisi

Hedef ses

Kodlayıcı

Temel frekans (f0)

Tını vektörü (z, isteğe bağlı)

Ses yüksekliği

Tekrarlayan kod çözücü (GRU)

Harmonik toplamsal sentez

Filtrelenmiş gürültü

Yankılanma (isteğe bağlı)

Sentezlenmiş ses

Toplam

Çok ölçekli spektral kayıp

Kodlayıcı

Kodlayıcı, giriş sesini iki kontrol eğrisine dönüştürür: önceden eğitilmiş CREPE perde izleyicisiyle tahmin edilen temel frekans (f0, perde) ve doğrudan sinyalden hesaplanan ses yüksekliği. İsteğe bağlı bir artık kodlayıcı (MFCC'leri işleyen bir GRU), perde ve ses yüksekliğinin yakalayamadığı tını ayrıntıları için gizil bir vektör ekler. Bu düşük boyutlu sinyaller icrayı tanımlar.

Kod çözücü ve sentez modülleri

Tekrarlayan bir kod çözücü (GRU), kontrol sinyallerini üç DSP bileşeninin parametrelerine eşler:

• Harmonik toplamsal sentezleyici: sesin perdeli kısmı için temel frekansın katlarında 100'e kadar sinüzoidal bileşen üretir.
• Filtrelenmiş gürültü sentezleyici: nefes ve yay gürültüsünü modellemek için beyaz gürültüyü zamanla değişen FIR filtreleriyle şekillendirir.
• Türevlenebilir yankılanma: öğrenilmiş bir dürtü yanıtı aracılığıyla oda akustiği ekler.

Her bileşen türevlenebilir olduğundan modelin tamamı çok ölçekli spektral kayıpla uçtan uca eğitilir. Sesi örnek örnek üretmek yerine kare başına yüzlerce sentez parametresi tahmin eder.

Araştırma için DDSP modellerini eğitme

DDSP VST'de çalacağınız bir model için yukarıdaki hızlı başlangıçta anlatılan DDSP VST eğitim not defterini kullanın. Mimariyi veya kaybı değiştirmek için kütüphanenin Colab eğitimlerinden başlayın. Temel Python becerileri gerektirir ve ön işleme, yapılandırma ve Colab GPU'sunda eğitimi kapsar.

Gerçek zamanlı kullanım için DDSP eklentileri

Magenta'nın resmî projeleri arşivlenmiş olsa da DDSP'yi şu araçlarla DAW içinde çalıştırabilirsiniz:

1. Magenta DDSP VST (arşivlenmiş)

Resmî DDSP VST deneyler için hâlâ çalışıyor (kurulum adımları için yukarıdaki hızlı başlangıca bakın). Beş enstrüman modeli içerir ve hem MIDI hem ses girdisini kabul eder. Kullanıcılar çıktıda artefaktları maskeliyor gibi görünen yoğun yankılanma bildiriyor.

2. Neutone FX platformu

Neutone FX, DDSP tabanlı tını aktarım ağları da dâhil olmak üzere topluluğun eğittiği modelleri çalıştıran ücretsiz bir eklenti sunar. Yapımcılara özgün Magenta enstrümanlarının ötesinde onlarca modele erişim sağlar.

3. yaboihanoi'den MAWF (önerilen)

MAWF eklentisi, DAW'ınızın içinde 48 kHz düzeyinde DDSP sentezi çalıştırır. Birkaç enstrüman modeliyle gelir ve mevcut en olgun DDSP uygulamasıdır.

Ancak MAWF indirme sitesi Kasım 2025'ten beri erişilemiyor. Eklenti için başka bir kaynak bulursam bu makaleyi güncelleyeceğim.

DDSP'nin sınırlamaları nelerdir?

DDSP'nin sınırları mimarisinden ve sentez yaklaşımından kaynaklanır:

• Yalnızca tek sesli: DDSP modelleri polifonik ses üretemez. Tek sesli kayıtlarla eğitilmişlerdir ve harmonik sentezleyici her bir zaman adımında tek bir temel frekans varsayar.
• Ses kalitesi: MAWF'nin 48 kHz modelleri daha iyi duyulur, ancak özgün 16 kHz uygulamalarında metalik artefaktlar vardır ve yüksek frekans içeriği azdır. Bir ses süper çözünürlük modeli, eski renderların eksik üst frekanslarını geri oluşturabilir: AudioSR'yi GitHub'dan kurup çalıştırma rehberine veya UniverSR'nin 22 kHz RPG Maker ses efektlerini 48 kHz'e nasıl restore ettiğine bakın.
• Sınırlı GPU paralelliği: tekrarlayan katmanlar kareleri sırayla işler, bu nedenle model zaman adımlarını GPU üzerinde evrişimli modeller gibi paralel işleyemez.

DDSP'nin ötesinde: RAVE, DDSP-CNN-Tiny ve AFTER

RAVE (2021)

RAVE, RNN'ler yerine nedensel CNN'ler kullanır; bu da daha iyi tını modellemesiyle birlikte daha hızlı eğitim ve 48 kHz sentez sağlar. Çekişmeli eğitimle (ayırt edici ağla) geliştirilmiş bir varyasyonel otokodlayıcıdır ve benzer miktarda veriyle daha yüksek ses doğruluğuna ulaşır.

DDSP-CNN-Tiny (2022)

DDSP-CNN-Tiny, DDSP'nin RNN'lerini hafif CNN'lerle değiştirerek modeli küçültür ve çıkarımı hızlandırır. Ses kalitesi benzer kalır ve CPU'da gerçek zamanlı çalışır. CPU'da çalışan küçük ağlar, NAM ve AIDA-X gibi ücretsiz sinir ağı tabanlı gitar amfisi eklentilerinin de çalışma biçimidir. Václav Volhejn bunu ETH Zurich'teki tezi için geliştirdi; gerçek zamanlı DDSP üzerine tezi değerli bir teknik okumadır.

AFTER (2024)

AFTER modeli, stüdyo kalitesinde sentez için sinir ağı tabanlı bir ses kodekinin üzerinde gizil difüzyon çalıştırır. DDSP'den daha fazla hesaplama gerektirir, ancak tını aktarımında çok daha az artefakt vardır; bu da onu profesyonel prodüksiyona daha uygun kılar.

DDSP hakkında sık sorulan sorular

Magenta DDSP hâlâ geliştiriliyor mu?

Kısmen. ddsp kütüphanesi arşivlenmiş değildir ve hâlâ commit alır. Magenta, MIDI DDSP'yi Şubat 2024'te, DDSP VST'yi Ekim 2024'te arşivledi; bu nedenle eklenti güncelleme almıyor. Bu rehber Ekim 2026'da güncellendiğinde eklenti indirmeleri ve eğitim not defteri hâlâ çalışıyordu.

DDSP VST Linux'ta çalışır mı?

Resmî bir Linux sürümü yoktur. Kaynak kodundan kendiniz derlemeniz gerekir.

DDSP akor çalabilir mi?

Hayır. DDSP modelleri tek seslidir: aynı anda tek bir perdeyi izlerler. Çok sesli MIDI kontrolü için AFTER modeline bakın.

DDSP mi RAVE mi: hangisini eğitmeliyim?

Yalnızca yaklaşık 10 dakikalık sesiniz ve ücretsiz bir Colab GPU'nuz varsa tek bir perdeli enstrüman için DDSP'yi seçin. Davullar, dokular ve sesler dâhil her tür ses için RAVE seçin. RAVE birkaç saatlik ses ve günlerce GPU eğitimi gerektirir. SSS, DDSP, RAVE ve AFTER için ne kadar eğitim sesi gerektiğini ve her eğitilmiş modeli DAW'ınızda hangi eklentinin çaldığını karşılaştırır.