Hướng dẫn DDSP: Magenta DDSP VST, huấn luyện và nguyên lý

17 tháng 11, 2025

DDSP, tức xử lý tín hiệu số khả vi, là thư viện mã nguồn mở của Google Magenta cho phép mạng nơ-ron điều khiển các bộ tạo âm truyền thống: bộ dao động, nhiễu đã lọc và reverb. Magenta đưa DDSP VST vào trạng thái lưu trữ năm 2024, nhưng plugin miễn phí vẫn tải được và chạy trên Windows, macOS. Bạn cũng có thể huấn luyện mô hình nhạc cụ riêng trong notebook Google Colab miễn phí.

Hướng dẫn bắt đầu với hai việc thực tế đó. Sau đó, bài viết giải thích DDSP hoạt động thế nào, còn hạn chế ở đâu và các mô hình mới hơn đã thay thế nó.

Sử dụng DDSP hôm nay: Bắt đầu nhanh

Tải và cài DDSP VST

1. Tải plugin cho macOS hoặc Windows. Cả hai liên kết đều từ kho DDSP VST chính thức.
2. Giải nén tệp. Có hai plugin: DDSP Effect biến âm thanh đầu vào, chẳng hạn giọng của bạn, thành tiếng nhạc cụ; DDSP Synth được chơi bằng MIDI.
3. Trên macOS, sao chép vào /Library/Audio/Plug-Ins/Components (AU) và /Library/Audio/Plug-Ins/VST3. Trên Windows, sao chép các tệp VST3 vào C:\Program Files\Common Files\VST3.
4. Quét lại plugin trong DAW.

Không có bản dựng Linux chính thức. Để nghe DDSP mà không cần cài gì, hãy thử bản demo Tone Transfer trên web.

Huấn luyện nhạc cụ DDSP riêng

Notebook huấn luyện DDSP VST của Magenta chạy trong Google Colab, nên không cần GPU cục bộ:

1. Đặt ít nhất 10 phút âm thanh .wav hoặc .mp3 trong thư mục Google Drive. Dùng âm thanh đơn âm, mỗi lúc chỉ một nốt, từ cùng một buổi thu, với cùng mic và cùng phòng.
2. Mở notebook, chạy ô cài đặt khoảng 5 phút, rồi chạy ô huấn luyện và chọn thư mục.
3. Chờ. Huấn luyện mất khoảng 2 đến 3 giờ trên Colab miễn phí, và dưới một giờ trên Colab Pro+. Nếu Colab ngắt kết nối, chạy lại ô với cùng thư mục để tiếp tục huấn luyện.
4. Giải nén thư mục mô hình đã tải vào thư mục mô hình của plugin. Trên Mac, đó là ~/Documents/Magenta/DDSP/Models, và bạn cũng mở được từ trong plugin.

Notebook lưu ý kết quả tốt thường xuất hiện sau 30.000 đến 50.000 bước huấn luyện. Quá ít bước làm tiếng nhạt; quá nhiều có thể khiến âm thanh đứt quãng và âm lượng nhảy mạnh.

Lịch sử và phát triển: Từ Magenta đến plugin hiện đại

Phòng nghiên cứu Magenta (2016-2024)

Magenta của Google ra mắt năm 2016 như một dự án nghiên cứu mã nguồn mở về học máy cho âm nhạc và nghệ thuật. Dự án phát hành nhiều công cụ tạo nhạc, nhưng đến năm 2024 phần lớn dự án đã chuyển sang trạng thái lưu trữ.

Open NSynth Super (2017)

Trước DDSP, Magenta giới thiệu Open NSynth Super, nhạc cụ phần cứng xây dựng quanh NSynth. Bộ dữ liệu NSynth có khoảng 305.000 mẫu một nốt từ 1.006 nhạc cụ. Thiết bị dùng Raspberry Pi và PCB tùy chỉnh, cho phép người chơi biến đổi liên tục giữa các âm sắc nhạc cụ theo thời gian thực.

Mô hình NSynth, bộ tự mã hóa kiểu WaveNet, bị giới hạn ở âm thanh 16-bit/16 kHz do chi phí tính toán, nên đầu ra nghe rõ chất lo-fi. Kỹ sư âm thanh Joe Boston mô tả tiếng có "độ sạn", nhưng tìm được cách dùng sáng tạo khi đưa qua hiệu ứng bên ngoài. Dự án phần cứng chuyển sang lưu trữ vào tháng 8 năm 2025.

DDSP và Tone Transfer (2020)

Năm 2020, Magenta công bố thư viện DDSP và bài báo ICLR, giới thiệu phiên bản khả vi của các mô-đun xử lý tín hiệu phổ biến. Demo Tone Transfer trên web cho phép biến bản ghi, chẳng hạn tiếng hát, thành violin, saxophone, trumpet hoặc sáo.

Các mô hình là bộ tự mã hóa dựa trên RNN, huấn luyện bằng khoảng 10 phút âm thanh đơn âm cho mỗi nhạc cụ. Demo hoạt động, nhưng đầu ra 16 kHz và khả năng mô hình hóa cách diễn tấu hạn chế khiến nó chưa tiến xa hơn.

MIDI DDSP và plugin VST (2022-2024)

Magenta mở rộng DDSP với MIDI DDSP vào tháng 1 năm 2022. Nó tổng hợp tiếng nhạc cụ trực tiếp từ chuỗi MIDI đơn âm. Để phát MIDI qua mẫu đã thu thay vì mô hình mạng nơ-ron, hãy nạp nhạc cụ SFZ trong trình phát sforzando miễn phí.

Tháng 6 năm 2022, Magenta phát hành plugin DDSP VST để chuyển đổi âm sắc theo thời gian thực trong DAW. Cả hai dự án chuyển sang lưu trữ năm 2024: MIDI DDSP vào tháng 2, VST vào tháng 10.

Plugin âm thanh MAWF (2023)

Hanoi Hantrakul (yaboihanoi), cựu trưởng nhóm kỹ thuật Tone Transfer và làm tại ByteDance từ năm 2020, ra mắt MAWF năm 2023. Plugin VST/AU miễn phí chạy tổng hợp âm thanh bằng mạng nơ-ron theo thời gian thực ở 48 kHz, bỏ giới hạn 16 kHz của các triển khai DDSP trước.

DDSP hoạt động thế nào? Bộ tự mã hóa kết hợp DSP

DDSP là bộ tự mã hóa có bộ giải mã điều khiển các thành phần DSP dạng mô-đun thay vì tạo trực tiếp dạng sóng.

Kiến trúc bộ tự mã hóa DDSP

Âm thanh mục tiêu

Bộ mã hóa

Tần số cơ bản (f0)

Vectơ âm sắc (z, tùy chọn)

Độ lớn

Bộ giải mã hồi tiếp (GRU)

Tổng hợp cộng các họa âm

Nhiễu đã lọc

Reverb (tùy chọn)

Âm thanh tổng hợp

Cộng

Hàm mất mát phổ đa tỷ lệ

Bộ mã hóa

Bộ mã hóa chuyển âm thanh đầu vào thành hai đường điều khiển: tần số cơ bản (f0, tức cao độ) được ước tính bằng bộ theo dõi cao độ CREPE đã huấn luyện sẵn, và độ lớn được tính trực tiếp từ tín hiệu. Bộ mã hóa phần dư tùy chọn, dùng GRU trên MFCC, thêm vectơ tiềm ẩn cho các chi tiết âm sắc mà cao độ và độ lớn không nắm bắt được. Những tín hiệu ít chiều này mô tả phần trình diễn.

Bộ giải mã và các mô-đun tổng hợp

Bộ giải mã hồi tiếp (GRU) ánh xạ tín hiệu điều khiển thành tham số cho ba thành phần DSP:

• Bộ tổng hợp cộng họa âm: tạo tối đa 100 thành phần sóng sin ở các bội của tần số cơ bản cho phần âm thanh có cao độ.
• Bộ tổng hợp nhiễu đã lọc: định hình nhiễu trắng bằng bộ lọc FIR thay đổi theo thời gian để mô hình hóa tiếng thở và tiếng ma sát vĩ.
• Reverb khả vi: thêm đặc tính âm học của phòng qua đáp ứng xung được học.

Mọi thành phần đều khả vi, nên toàn mô hình được huấn luyện từ đầu đến cuối bằng hàm mất mát phổ đa tỷ lệ. Nó dự đoán hàng trăm tham số tổng hợp cho mỗi khung thay vì tạo âm thanh từng mẫu một.

Huấn luyện mô hình DDSP cho nghiên cứu

Với mô hình sẽ chơi trong DDSP VST, dùng notebook huấn luyện DDSP VST đã giới thiệu ở phần bắt đầu nhanh. Để đổi kiến trúc hoặc hàm mất mát, bắt đầu từ hướng dẫn Colab của thư viện. Chúng cần kỹ năng Python cơ bản và bao gồm tiền xử lý, cấu hình, huấn luyện trên GPU Colab.

Plugin DDSP để dùng theo thời gian thực

Các dự án chính thức của Magenta đã lưu trữ, nhưng vẫn có thể chạy DDSP trong DAW với những công cụ sau:

1. Magenta DDSP VST (Đã lưu trữ)

DDSP VST chính thức vẫn dùng được để thử nghiệm; xem bước cài ở phần bắt đầu nhanh phía trên. Plugin gồm năm mô hình nhạc cụ và nhận cả MIDI lẫn âm thanh. Người dùng báo đầu ra có reverb mạnh, dường như để che tạp âm do xử lý.

2. Nền tảng Neutone FX

Neutone FX có plugin miễn phí chạy mô hình do cộng đồng huấn luyện, gồm cả mạng chuyển đổi âm sắc dựa trên DDSP. Nhà sản xuất có thể dùng hàng chục mô hình ngoài các nhạc cụ Magenta ban đầu.

3. MAWF của yaboihanoi (Đề xuất)

Plugin MAWF chạy tổng hợp DDSP ở 48 kHz trong DAW. Nó đi kèm vài mô hình nhạc cụ và là triển khai DDSP được hoàn thiện nhất hiện có.

Tuy nhiên, trang tải MAWF đã ngừng hoạt động từ tháng 11 năm 2025. Tôi sẽ cập nhật bài nếu tìm được nguồn plugin khác.

DDSP có những giới hạn gì?

Giới hạn DDSP đến từ kiến trúc và cách tổng hợp:

• Chỉ đơn âm: Mô hình DDSP không thể tạo âm thanh đa âm. Chúng được huấn luyện trên bản thu đơn âm, và bộ tổng hợp họa âm giả định chỉ có một tần số cơ bản tại mỗi bước thời gian.
• Chất lượng âm thanh: Mô hình 48 kHz của MAWF nghe tốt hơn, nhưng các triển khai 16 kHz ban đầu có tạp âm kim loại và ít nội dung tần số cao. Mô hình siêu phân giải âm thanh có thể tái tạo dải cao bị thiếu của bản kết xuất cũ: xem cách cài và chạy AudioSR từ GitHub, hoặc cách UniverSR khôi phục hiệu ứng RPG Maker 22 kHz thành 48 kHz.
• Khả năng song song trên GPU hạn chế: Các lớp hồi tiếp xử lý từng khung nối tiếp, nên mô hình không thể song song theo chiều thời gian trên GPU như mô hình tích chập.

Sau DDSP: RAVE, DDSP-CNN-Tiny và AFTER

RAVE (2021)

RAVE dùng CNN nhân quả thay cho RNN, đem lại huấn luyện nhanh hơn và tổng hợp 48 kHz, cùng khả năng mô hình hóa âm sắc tốt hơn. Đây là bộ tự mã hóa biến phân được tinh chỉnh bằng huấn luyện đối kháng với bộ phân biệt, và đạt độ trung thực cao hơn từ lượng dữ liệu tương tự.

DDSP-CNN-Tiny (2022)

DDSP-CNN-Tiny thay RNN của DDSP bằng CNN nhẹ, giảm kích thước mô hình và tăng tốc suy luận. Chất lượng âm thanh tương đương, và chạy thời gian thực trên CPU. Plugin ampli guitar mạng nơ-ron miễn phí như NAM và AIDA-X cũng dùng mạng nhỏ chạy trên CPU. Václav Volhejn phát triển nó cho luận văn tại ETH Zurich, và luận văn của anh về DDSP thời gian thực là tài liệu kỹ thuật rất đáng đọc.

AFTER (2024)

Mô hình AFTER chạy khuếch tán tiềm ẩn trên codec âm thanh mạng nơ-ron để đạt tổng hợp chất lượng phòng thu. Nó cần nhiều tính toán hơn DDSP nhưng chuyển đổi âm sắc có ít tạp âm hơn nhiều, nên phù hợp hơn với sản xuất chuyên nghiệp.

Câu hỏi thường gặp về DDSP

Magenta DDSP còn được duy trì không?

Một phần. Thư viện ddsp chưa lưu trữ và vẫn có commit. Magenta đưa MIDI DDSP vào lưu trữ tháng 2 năm 2024 và DDSP VST tháng 10 năm 2024, nên plugin không nhận cập nhật. Liên kết tải plugin và notebook huấn luyện vẫn hoạt động khi hướng dẫn này được cập nhật vào tháng 10 năm 2026.

DDSP VST có chạy trên Linux không?

Không có bản dựng Linux chính thức. Bạn cần tự dựng từ mã nguồn.

DDSP có chơi hợp âm được không?

Không. Mô hình DDSP là đơn âm: theo một cao độ mỗi lúc. Để điều khiển MIDI đa âm, hãy xem AFTER.

Nên huấn luyện DDSP hay RAVE?

Chọn DDSP cho một nhạc cụ có cao độ khi chỉ có khoảng 10 phút âm thanh và GPU Colab miễn phí. Chọn RAVE cho mọi loại âm thanh, kể cả trống, chất liệu âm và giọng. RAVE cần vài giờ âm thanh và nhiều ngày huấn luyện GPU. FAQ so sánh lượng âm thanh huấn luyện DDSP, RAVE và AFTER cần và plugin nào chơi từng mô hình đã huấn luyện trong DAW.