IRCAM’ın RAVE Modeli: VST, Önceden Eğitilmiş Modeller ve Eğitim
IRCAM’ın RAVE modeli, herhangi bir sesi eğitim aldığı tınıya dönüştüren gerçek zamanlı bir sinir ağı tabanlı ses modelidir. Önceden eğitilmiş RAVE modellerini DAW’ınızda Neutone FX veya RAVE VST ile kullanabilir, nn~ ile Max/MSP veya Pure Data’ya yükleyebilir ya da acids-rave Python paketiyle kendi modellerinizi eğitebilirsiniz.
RAVE Nasıl Kullanılır? Hızlı Başlangıç
| Amaç | Araç | Gerekenler |
|---|---|---|
| RAVE modellerini bir DAW’da kullanmak | Neutone FX (ücretsiz VST/AU) | Herhangi bir DAW. Önceden eğitilmiş modeller eklentinin içinden indirilir. |
| RAVE modellerini bir DAW’da kullanmak | RAVE VST (beta) | IRCAM Forum’dan indirilen dosya. Kaynak kod deposu Haziran 2023’te arşivlendi; Windows derlemesi yalnızca bağımsız uygulama olarak sunulur. |
| RAVE’i Max/MSP veya Pure Data’da kullanmak | nn~ harici modülü | Max veya Pd ve bir .ts model dosyası |
| Önceden eğitilmiş modelleri indirmek | Resmî RAVE model listesi | nn~ için akış modunda dışa aktarılmış .ts dosyaları |
| Kendi modelinizi eğitmek | Python üzerinde acids-rave | 5 ila 32 GB belleğe sahip bir NVIDIA GPU, birkaç saatlik ses ve yaklaşık 3 gün |
nn~ kurmak için en son sürümü indirin ve Max için Documents/Max [your version]/Packages/, Pure Data için Documents/Pd/externals/ klasörüne çıkarın. .ts modellerinizi nn_tilde/models klasörüne yerleştirin.
Gerçek Zamanlı Ses Sentezi için IRCAM RAVE Nedir?
RAVE, Realtime Audio Variational autoEncoder adının kısaltmasıdır; gerçek zamanlı ses için varyasyonel otokodlayıcı anlamına gelir. Paris’teki IRCAM araştırmacılarının 2021’in sonlarında yayımladığı model, sesleri kompakt bir temsile kodlamayı, ardından bu temsili yeniden sese çözmeyi öğrenir. Bunu bir bilgisayara duyduklarının taslağını çizmeyi, sonra bu taslaktan orijinal sesin ikna edici bir taklidini oluşturmayı öğretmek gibi düşünebilirsiniz.
Bu işlemi DAW’ınızın veya canlı performans düzeninizin içinde gerçek zamanlı çalışabilecek kadar hızlı yapar.
RAVE’i Kim, Ne Zaman Geliştirdi?
RAVE’i, şu anda Google DeepMind’da çalışan Antoine Caillon ve Paris’teki IRCAM ACIDS ekibinden Philippe Esling geliştirdi.
Ekip daha önce Google’ın DDSP (Differentiable Digital Signal Processing, türevlenebilir dijital sinyal işleme) modelini incelemiş ve Mart 2021’de sergilemişti. Ancak yalnızca müzik aletlerini değil, her tür sesi işleyebilen daha esnek bir model istiyordu.
Amaçları, standart donanım üzerinde çalışırken stüdyo kalitesinde ses sunan bir modeldi. Modeli 2021 tarihli “RAVE: hızlı ve yüksek kaliteli sinir ağı tabanlı ses sentezi için varyasyonel bir otokodlayıcı” makalesinde sundular.
RAVE Mimarisi: Bu Varyasyonel Otokodlayıcı Nasıl Çalışır?
RAVE bir otokodlayıcıdır: verileri kompakt bir “gizil uzaya” sıkıştırmayı, sonra geri açmayı öğrenen bir sinir ağıdır.
RAVE: iki aşamalı eğitim
Aşama 1: Temsil öğrenme
Aşama 2: Çekişmeli ince ayar
Orijinal RAVE makalesinden uyarlanan eğitim şeması. Aşama 1, kodlayıcı ve çözücüyü çok bantlı spektral kayıpla eğitir. Aşama 2, kodlayıcıyı dondurur, gizil kod üzerinden gradyan akışını durdurur ve çözücü ile ayırt ediciyi eğitir. PQMF analizi ve sentezi sabit kalır.
Orijinal şema: RAVE: iki aşamalı eğitim.
RAVE’in İki Aşamalı Eğitimi Nasıl Çalışır?
Bunu bir müzisyeni iki aşamada eğitmek gibi düşünün:
-
Aşama 1: Dinlemeyi Öğrenme (Temsil Öğrenme)
- Kodlayıcı, sesi kompakt bir sayı kümesine, yani gizil uzaya sıkıştırmayı öğrenir
- Çözücü, bu sayılardan sesi yeniden oluşturmayı öğrenir
- Eğitim, orijinal ve yeniden oluşturulan sesin frekans içeriğini karşılaştıran bir spektral kayıp kullanır
-
Aşama 2: Doğaçlamayı Öğrenme (Çekişmeli İnce Ayar)
- Kodlayıcı dondurulur; dinlemeyi zaten öğrenmiştir
- Yeniden oluşturulan sesin gerçekçi olup olmadığını değerlendiren bir eleştirmen olan “ayırt edici” ağ eklenir
- Çözücü, bu geri bildirimden daha ikna edici ses üretmeyi öğrenir
Temel Teknik Bileşenler
- PQMF filtreleri: RAVE, işlemden önce sesi birden fazla frekans alt bandına ayırarak verimliliği artırır
- Nedensel ve nedensel olmayan modlar: nedensel mod, canlı kullanımda daha düşük gecikme için kaliteden biraz ödün verir
- Birden fazla yapılandırma: Raspberry Pi’de çalışan hafif "raspberry" yapılandırmasından yüksek kaliteli "v3" yapılandırmasına kadar seçenekler bulunur
Uygulama ayrıntıları için yapılandırma dosyaları ve model tanımlarını içeren resmî RAVE GitHub deposuna bakın.
RAVE Modelleri Kendi Ses Verilerinizle Nasıl Eğitilir?
Sesinizi saksofona dönüştüren bir model mi istiyorsunuz? RAVE modeli eğitmek için Python bilgisi ve GPU gerekir. Resmî RAVE deposu tüm süreci açıklar.
Veri Kümesi Hazırlama Gereksinimleri
Bir RAVE modeli eğitmek için gerekenler:
- 2 ila 3 saat temiz ses; daha fazlası daha iyidir
- Stüdyo kalitesinde kayıtlar, çünkü RAVE gürültü ve yankılanma dâhil her şeyi öğrenir
- Çeşitli sesler, çok yönlülük istiyorsanız
Tam mikslerden bir veri kümesi oluşturmak için önce enstrümanı yapay zekâ ile yüksek kaliteli stem ayırma yoluyla izole edin. Ayırma artefaktları da modele yansır; bu nedenle bulabileceğiniz en temiz stemleri kullanın. Stem ayırma rehberi, Neural Analog’da bunu nasıl yapacağınızı gösterir.
RAVE’i Kurun ve Veri Kümenizi Hazırlayın
Önce GPU’nuz için PyTorch ve TorchAudio’yu, ardından RAVE’i kurun. FFmpeg de gerekir; conda ortamında bunu conda ile kurun:
pip install acids-rave
conda install ffmpegÖn işleme, ses dosyalarınızı RAVE’in veri kümesi biçimine dönüştürür:
rave preprocess --input_path /audio/folder --output_path /dataset/path --channels 1Mono için --channels 1, stereo için --channels 2 kullanın. MP3 gibi sıkıştırılmış dosyalar üzerinde doğrudan eğitim yapmak için --lazy ekleyin, ancak eğitim sırasında CPU yükünün çok daha yüksek olacağını unutmayın. Tüm parametreler için RAVE veri kümesi hazırlama belgelerine bakın.
RAVE Eğitim Süreci ve Yapılandırmaları
Bir yapılandırma adıyla eğitimi başlatın:
rave train --config v2 --db_path /dataset/path --out_path /model/out --name my_model --channels 1GPU’nuza uygun yapılandırmayı seçin. Minimum GPU belleği gereksinimleri resmî README’den alınmıştır:
| Yapılandırma | Min. GPU belleği | Kullanım amacı |
|---|---|---|
raspberry | 5 GB | Raspberry Pi 4 üzerinde gerçek zamanlı çalışan hafif model |
onnx | 6 GB | ONNX dışa aktarımı için gürültüsüz v1 |
v1 | 8 GB | Orijinal sürekli model |
v2_small | 8 GB | Durağan seslerde tını aktarımı |
v2 | 16 GB | Geliştirilmiş sürekli model ve iyi bir varsayılan seçenek |
discrete | 18 GB | SoundStream veya EnCodec’e benzeyen ayrık model |
v3 | 32 GB | Stil aktarımı (AdaIN) ile en yüksek kalite |
Bir yapılandırmayı causal (daha düşük gecikme) veya noise gibi seçeneklerle birleştirebilirsiniz. README’de bağlantısı verilen topluluk yapımı RAVEv2 Colab not defteri, GPU’nuz yoksa Google’ın GPU’larında eğitim yapar.
Eğitim sırasında neler beklemelisiniz?
- Aşama 1 (~1 milyon adım): ses kalitesi başlangıçta kabadır ve giderek iyileşir
- Aşama 2 (çekişmeli eğitim): kalite belirgin biçimde yükselir
- Toplam süre: RTX 3080 GPU üzerinde yaklaşık 3 gün
Topluluğun hazırladığı RAVE eğitim not defterleri süreci adım adım açıklar.
RAVE Modellerini Gerçek Zamanlı Kullanım için Dışa Aktarma
Gerçek zamanlı kullanımda dışa aktarma önemlidir. Klik artefaktlarını önleyen önbellekli evrişimleri etkinleştirmek için --streaming bayrağını kullanın:
rave export --run /path/to/your/run --streamingSonuç, nn~ modülünün yükleyebileceği bir TorchScript .ts dosyasıdır. Dışa aktarma parametreleri ve sorun giderme için RAVE dışa aktarma belgelerine bakın.
RAVE Modelini Çalıştırma ve Gerçek Zamanlı Kullanım Seçenekleri
Eğitim için 3 gün beklemek istemiyor musunuz? Önceden eğitilmiş RAVE modellerini çeşitli araçlarla deneyebilirsiniz. Bu araçlar kendi eğittiğiniz modelleri de yükler; eğitilmiş modeli DAW’da kullanma hakkındaki SSS, her model türüne uygun eklentiyi listeler.
Neutone FX: RAVE Modelleri için Ücretsiz VST/AU Eklentisi
Neutone FX, RAVE modellerini çalıştıran ücretsiz bir VST/AU eklentisidir. 2022’deki orijinal Neutone eklentisidir ve artık açık bir platform olarak sürdürülür. Önceden eğitilmiş modellerden oluşan koleksiyonu doğrudan DAW’ınıza (Ableton, Logic, Reaper ve diğerleri) yüklemek için kurun.
IRCAM’ın RAVE VST Eklentisi: Beta, Arşivlenmiş
IRCAM ayrıca VST, AU ve bağımsız uygulama derlemeleri olan kendi RAVE VST eklentisini yayımladı. İki modu vardır: reconstruction, DAW’ınızdan gelen sesi işler; prior ise gizil uzayda kendi başına ilerleyerek ses üretir. Model Explorer önceden eğitilmiş modelleri indirir; kendi modellerinizi de --stereo true ile dışa aktarırsanız içe aktarabilirsiniz.
rave_vst deposu Haziran 2023’te arşivlendi, bu nedenle düzeltme beklemeyin. Windows için yalnızca deneysel bir bağımsız uygulama derlemesi vardır; M1 Mac kullanıcıları ise kendileri derlemelidir. Geliştiriciler gerçek zamanlı kullanım için bunun yerine nn~ öneriyor.
nn~ ile Max/MSP ve Pure Data Entegrasyonu
Canlı performans için nn~ harici modülü, RAVE modellerini doğrudan Max/MSP ve Pure Data’ya yükler. Gizil uzayı doğrudan değiştirmeyi ve stil aktarımı için uyarlamalı örnek normalizasyonunu (Adaptive Instance Normalization) mümkün kılar. Taşınabilir kurulumlar için Raspberry Pi gibi gömülü platformlarda da çalışır. Aynı kartlar ToobAmp ve Stompbox gibi sinir ağı tabanlı gitar amfisi eklentilerini çalıştırır. Kartınız NVIDIA Jetson Nano ise analog ses çıkışı olmadığını unutmayın: önce Raspiaudio Audio+ gibi bir I2S ses kartı ekleyin.
RAVE’in Performans Sınırları ve Teknik Noktalar
RAVE’e güvenmeden önce bu sınırları bilin:
- Gecikme: nedensel modda bile, üst düzey Apple Silicon üzerinde dahi fark edilir gecikme bekleyin. Stüdyoda bu sorun olmayabilir, ancak RAVE’i canlı bir enstrüman olarak kullanmadan önce dikkatle test edin.
- GPU hızlandırma: model, hesaplamadan çok belleğe erişimle sınırlanan birçok küçük evrişim kullanır; bu nedenle iyi paralelleştirilemez. Toplu işleme yapmıyorsanız gerçek zamanlı kullanımda GPU’nun ek yükü çoğu zaman sağladığı faydadan ağır basar.
- Ses kalitesi: RAVE etkileyici duyulabilir, ancak geleneksel sentezin veya difüzyon tabanlı modeller gibi daha gelişmiş sinir ağı modellerinin ses doğruluğuna ulaşamayabilir.
- Eğitim zorluğu: RAVE modeli eğitmek için makine öğrenmesi ve ses işleme uzmanlığı ile güçlü donanım gerekir.
RAVE’in Ardından: Neutone Morpho ve AFTER Modeli
Neutone Morpho: RAVE’in Ticari Gelişimi (2024)
Nao Tokui’nin liderliğindeki Neutone ekibi, Şubat 2024’te ücretsiz FX eklentisinin ticari halefi olan Morpho’yu yayımladı. RAVE, açık kaynaklı araştırma motorudur. Morpho, benzer teknolojiyi müzisyenler ve prodüktörler için özenle hazırlanmış bir ürüne dönüştürürken esneklikten ödün verir.
AFTER Modeli: IRCAM’dan Difüzyon Tabanlı Alternatif
Aynı IRCAM ACIDS ekibi, difüzyon tabanlı bir model olan AFTER’ı (Audio Features Transfer and Exploration in Real-time) da yayımladı. Geleneksel bir sentezleyicideki gibi tınıyı gerçek zamanlı kontrol ederek daha fazla ayar olanağı sunmayı amaçlar.
Tek bir sesi değil, bütün bir şarkının stilini metin istemiyle değiştirmek için yapay zekâ remiksi, vokal stemini korur ve enstrümantal bölümü Stable Audio 3 ile yeniden üretir.
RAVE Hakkında Sık Sorulan Sorular
Önceden eğitilmiş RAVE modellerini nereden indirebilirim?
IRCAM, akış modellerini resmî RAVE model sayfasında listeler. Neutone FX ve RAVE VST de modelleri eklentinin içinden indirebilir. Ticari bir yayında kullanmadan önce her modelin lisansını kontrol edin.
RAVE eğitmek için ne kadar ses gerekir?
Tek bir kaynaktan 2 ila 3 saat temiz ses planlayın. RAVE, kayıtlardaki gürültü ve odanın yankılanması dâhil her şeyi öğrenir. DDSP ve AFTER için gereken miktarlar hakkında model eğitmek için ne kadar veri gerektiğine bakın.
RAVE’i Mac’te eğitebilir miyim?
Bu pek uygun bir seçenek değildir. UAL Creative Computing Institute RAVE rehberi, en az 8 GB belleğe sahip CUDA destekli bir NVIDIA GPU ister ve macOS’u önermez. Bunun yerine bulut GPU’su veya topluluğun Colab not defterini kullanın.
RAVE modelim Max’te neden klik sesi çıkarıyor?
Model --streaming olmadan dışa aktarılmıştır. Bu bayrakla yeniden dışa aktarın.
RAVE mi, DDSP mi?
DDSP yalnızca yaklaşık 10 dakika ses gerektirir, ancak sadece aynı anda tek nota çalan, perdesi belirlenebilen enstrümanları modeller. RAVE; davullar, sesler ve dokular dâhil her sesi işler, fakat saatlerce ses ve günlerce eğitim gerektirir.