AudioSR von GitHub installieren und lokal ausführen

September 16, 2026

AudioSR ist ein Open-Source-Modell für Audio-Superauflösung. Es erzeugt fehlende Details in den hohen Frequenzen von Sprache, Musik und Soundeffekten, um Audio mit 48 kHz auszugeben. Sie können es aus dem offiziellen GitHub-Repository installieren oder AudioSR mit Neural Analog online nutzen.

Für die lokale Installation klonen Sie das Repository, erstellen mit uv eine Python-3.10-Umgebung, installieren eine kompatible PyTorch-Version und AudioSR und führen dann python -m audiosr für eine kurze WAV-Datei aus. Die folgenden Schritte erläutern jeden Befehl.

Wie funktioniert AudioSR? Die Architektur erklärt

AudioSR wandelt die Aufnahme in ein Mel-Spektrogramm um, schätzt die fehlenden hohen Frequenzdetails mit einem latenten Diffusionsmodell und verwandelt das Ergebnis mit einem Vocoder wieder in eine Wellenform. Die Nachbearbeitung setzt anschließend die ursprünglichen tiefen Frequenzen der Quelle anstelle der erzeugten ein. Das Ergebnis ist eine plausible Rekonstruktion, keine exakte Wiederherstellung verlorener Audiodaten, und es handelt sich nicht einfach um hinzugefügtes Rauschen.

Wo lässt sich AudioSR ausführen?

Neural Analog verarbeitet das Mitten- und Differenzsignal von Stereo-Audio getrennt. Sie können auch die Grenzfrequenz einstellen, ab der AudioSR Details neu erzeugt. Eine niedrigere Grenzfrequenz verändert mehr vom Klang, während eine höhere nur die obersten Frequenzen ergänzt.

AudioSR-Voraussetzungen: Python, GPU-Speicher und Festplattenplatz

AudioSR ist ein großes Modell, besonders für vollständige Songs. Der offizielle Basic-Checkpoint belegt etwa 6,2 GB auf der Festplatte, und die Inferenz benötigt mehr Speicher als die gespeicherten Gewichte. Eine NVIDIA-GPU mit viel Speicher hilft, doch die Checkpoint-Größe ist keine Mindestangabe für den VRAM: Auch Länge des Ausschnitts und Implementierung beeinflussen den Speicherbedarf. Die offizielle README veröffentlicht keine Mindestanforderung an die GPU.

Lange Eingaben können den GPU-Speicher ausschöpfen. Beginnen Sie mit einem kurzen Ausschnitt und verarbeiten Sie längere Aufnahmen anschließend in kleineren Abschnitten.

Bereiten Sie diese Abhängigkeiten vor dem Start vor:

• Python in einer isolierten Umgebung. Das Beispiel des Originalprojekts nutzt Python 3.9. Diese Anleitung verwendet Python 3.10, das mit den älteren, von AudioSR benötigten NumPy-Versionen funktioniert. Eine virtuelle Umgebung hält diese Pakete vom Python Ihres Systems getrennt.
• Git und uv. Installieren Sie Git und uv, um den Quellcode herunterzuladen und die Python-Umgebung zu verwalten.
• PyTorch und ein geeigneter GPU-Treiber. NVIDIA-Nutzer benötigen eine CUDA-kompatible PyTorch-Version. Stimmen Sie PyTorch, TorchAudio und TorchVision anhand der offiziellen Installationsmatrix aufeinander ab.
• FFmpeg einschließlich ffprobe. Der ursprüngliche Code zum Speichern von Dateien nutzt diese Befehle. Installieren Sie sie über die FFmpeg-Downloadmöglichkeiten und machen Sie sie im Terminal verfügbar.
• Freier Festplattenplatz und eine Internetverbindung. Planen Sie Platz für die Umgebung, heruntergeladene Modellgewichte, Eingabedateien und Ausgaben ein. Beim ersten Laden des Modells wird sein Checkpoint heruntergeladen.

Der ursprüngliche Code zur Geräteauswahl erkennt CUDA, Apple MPS und CPU. Die Verarbeitung auf der CPU kann sehr langsam sein. Dass MPS in der Geräteprüfung erkannt wird, garantiert nicht, dass jede Abhängigkeit und Operation auf jedem Mac funktioniert.

AudioSR von GitHub installieren

1. Das offizielle Repository herunterladen und eine Python-Umgebung erstellen

Führen Sie diese Befehle in einem Terminal aus:

git clone https://github.com/haoheliu/versatile_audio_super_resolution.git
cd versatile_audio_super_resolution
uv venv --python 3.10

Aktivieren Sie die Umgebung unter Linux oder macOS:

source .venv/bin/activate

Verwenden Sie in Windows PowerShell stattdessen diesen Aktivierungsbefehl:

.venv\Scripts\Activate.ps1

2. Kompatible Abhängigkeiten und AudioSR installieren

AudioSR hat ältere Abhängigkeitsbeschränkungen, darunter NumPy 1.23.5 oder früher und Transformers 4.30.2. Die neuesten Python- und PyTorch-Versionen zu installieren kann Kompatibilitätsfehler verursachen. Die Paketanforderungen und die Referenzumgebung des Projekts sind nützliche Ausgangspunkte.

Die Referenzumgebung kombiniert beispielsweise PyTorch 2.0.1, TorchAudio 2.0.2 und TorchVision 0.15.2. Installieren Sie unter Linux oder Windows mit einem geeigneten NVIDIA-Treiber diese Kombination für CUDA 11.7 und danach den heruntergeladenen AudioSR-Quellcode:

uv pip install torch==2.0.1 torchaudio==2.0.2 torchvision==0.15.2 --index-url https://download.pytorch.org/whl/cu117
uv pip install .
python -m audiosr --help

Der CUDA-Befehl ist für NVIDIA-Systeme bestimmt. Verwenden Sie für macOS oder CPU die passenden Anweisungen in der PyTorch-Matrix. Es handelt sich um ältere Abhängigkeitsversionen, daher sollten Sie diese Umgebung von anderen Python-Projekten getrennt halten.

Wenn Sie nur das veröffentlichte Paket benötigen, dokumentiert die offizielle README auch audiosr==0.0.7. Diese Veröffentlichung und der aktuelle main-Branch von GitHub können unterschiedliche Funktionen haben. Prüfen Sie deshalb python -m audiosr --help für Ihre installierte Version.

3. Prüfen, ob Python Ihre GPU erkennt

Führen Sie diese Prüfung in der aktivierten Umgebung auf einem NVIDIA-Rechner aus:

python -c "import torch; print('CUDA available:', torch.cuda.is_available())"
ffmpeg -version
ffprobe -version

Wenn CUDA nicht verfügbar ist, korrigieren Sie die Treiber- oder PyTorch-Installation, bevor Sie eine lange Verarbeitung starten. -d cuda zu AudioSR hinzuzufügen kann eine nicht verfügbare GPU nicht nutzbar machen.

AudioSR in der Befehlszeile: Mit einer kurzen WAV beginnen

Verwenden Sie beim ersten Lauf eine kurze Mono-WAV. Der ursprüngliche Audioloader empfiehlt Eingaben von 5,12 Sekunden und warnt vor Qualitätsproblemen oberhalb von 10,24 Sekunden. Ein vollständiger Song erschwert die Diagnose von Einrichtungs- und Speicherproblemen.

Legen Sie input.wav im Repository-Verzeichnis ab und führen Sie dann Folgendes aus:

python -m audiosr -i input.wav -s output --model_name basic -d cuda --ddim_steps 50 --seed 42

Die Befehlszeilenimplementierung speichert die WAV-Ausgabe mit 48 kHz in einem Ordner mit Zeitstempel unter output. Verwenden Sie basic für allgemeines Audio oder speech für Sprachaufnahmen. Der Seed steuert die erzeugten Varianten; der Vergleich einiger Seeds kann bei der Wahl eines besseren Ergebnisses helfen.

Wenn die Generierung fertig ist, das Speichern aber numpy.ndarray has no attribute cpu auslöst, schreiben Sie die Ausgabe mit dem folgenden Python-Beispiel direkt. Im für diese Anleitung geprüften GitHub-Code gibt die Inferenz ein NumPy-Array zurück, die Speicherfunktion erwartet jedoch einen Tensor. Das ist eine Unstimmigkeit des Ausgabetyps im Originalprojekt und kein GPU-Speicherfehler.

Der aktuelle GitHub-Code bietet außerdem eine Verarbeitung in Abschnitten für längere Dateien:

python -m audiosr -i input.wav -s output --model_name basic -d cuda --ddim_steps 50 --chunking --chunk_duration 5 --overlap_duration 1

Dabei werden kleinere Abschnitte verarbeitet und ihre Überlappungen gemischt. Das senkt den Speicherbedarf, fügt jedoch Übergänge hinzu, die Sie nach Gehör prüfen müssen. Diese Optionen hängen von der Version ab, und der ursprüngliche Verarbeitungspfad für Abschnitte mischt Stereo-Eingaben zu Mono herunter. Bewahren Sie daher die originale Stereodatei auf.

AudioSR aus Python verwenden

Rufen Sie AudioSR mit der Python-API aus Ihrem eigenen Skript auf. Das folgende Beispiel verarbeitet eine kurze Monodatei, schneidet die zusätzliche Auffüllung auf die Eingabedauer zurück und schreibt eine WAV mit 48 kHz. Speichern Sie es als run_audiosr.py im Repository-Verzeichnis.

import numpy as np
import soundfile as sf
import torch
from audiosr import build_model, super_resolution

model = build_model(model_name="basic", device="cuda")
waveform = super_resolution(
  model,
  "input.wav",
  seed=42,
  ddim_steps=50,
  guidance_scale=3.5,
)
if isinstance(waveform, torch.Tensor):
  waveform = waveform.detach().cpu().numpy()
audio = np.asarray(waveform)[0, 0]
input_info = sf.info("input.wav")
output_samples = round(input_info.frames * 48000 / input_info.samplerate)
sf.write("output.wav", audio[:output_samples], 48000, subtype="PCM_24")

python run_audiosr.py

Die Python-Pipeline lädt das Modell nur einmal, sodass ein Skript zur Stapelverarbeitung es wiederverwenden kann. In Neural Analog wendet die Stapelverarbeitung eine Restaurierung ohne Skript auf viele Dateien an. Legen Sie die Anzahl der Sampling-Schritte ausdrücklich fest, da Python-API und CLI unterschiedliche Standardwerte verwenden können.

AudioSR in Google Colab ausführen

Google Colab ermöglicht AudioSR auf Googles Cloud-Hardware. Öffnen Sie das AudioSR-Colab-Notebook der Community und folgen Sie seinen Anweisungen, um Audio zu laden, das Modell auszuführen und das Ergebnis zu speichern. Das Notebook läuft im Browser, daher benötigen Sie weder eine Python-Installation noch eine GPU auf Ihrem Computer.

Das Notebook ist eine Community-Anpassung von AudioSR. Sein Quellcode ist auf GitHub verfügbar.

Wo lassen sich die AudioSR-Modellgewichte herunterladen?

Laden Sie die AudioSR-Modellgewichte auf Hugging Face herunter.

AudioSR im Detail: Architektur, Training und Geschichte

Wer hat AudioSR entwickelt?

AudioSR ist ein generatives Modell für Audio-Superauflösung von Haohe Liu, Ke Chen, Qiao Tian, Wenwu Wang und Mark D. Plumbley. Es sagt fehlende hohe Frequenzen in Sprache, Musik und Soundeffekten voraus und erzeugt Audio mit 48 kHz. Die AudioSR-Forschungsseite enthält die Publikation und Hörbeispiele. Die Arbeit erschien zuerst als Preprint im September 2023 und wurde auf der ICASSP 2024 veröffentlicht.

AudioSR erzeugt plausible Details. Es kann keine exakte Kopie eines verlorenen Studiomasters wiederherstellen. Eine MP3 in eine WAV mit 48 kHz umzuwandeln führt diese Rekonstruktion überhaupt nicht durch. Lesen Sie zu diesem Unterschied den Leitfaden zur Restaurierung von MP3-Dateien zu WAV.

Audiorestaurierung, Resampling und Bandbreite sind unterschiedlich

Resampling verändert, wie viele Samples jede Sekunde Audio darstellen. Audiorestaurierung oder Superauflösung versucht, Frequenzinhalte zu schätzen, die die Aufnahme nicht mehr enthält. Wird beispielsweise eine Aufnahme von 8 kHz auf 48 kHz resampelt, erhält sie mehr Samples. Das stellt aber für sich genommen keine Klänge oberhalb ihrer ursprünglichen Frequenzgrenze von 4 kHz wieder her.

AudioSR ist für Eingangsbandbreiten von 2 bis 16 kHz ausgelegt und erzeugt laut offizieller Projektbeschreibung eine Ausgabe mit 24 kHz Bandbreite bei einer Abtastrate von 48 kHz. Bandbreite beschreibt den Frequenzbereich; Abtastrate beschreibt die Samples pro Sekunde. Eine als 48 kHz gekennzeichnete Datei kann durch frühere Kompression oder Filterung weiterhin eine schmale Bandbreite haben. Das trifft auf viele KI-Songs zu und erklärt, warum Suno-Songs häufig dumpf klingen.

War AudioSR das erste Modell für Audiorestaurierung?

AudioSR war nicht das erste neuronale Modell für Audio-Superauflösung. Kuleshov, Enam und Ermon veröffentlichten 2017 Audio-Superauflösung mit neuronalen Netzen, und auch diffusionsbasierte Sprach-Superauflösung gab es schon vor AudioSR.

Sein Beitrag ist enger gefasst. Die AudioSR-Publikation stellt es als erstes System vor, das den allgemeinen hörbaren Bereich abdeckt: Musik, Sprache und Soundeffekte. Es kombiniert diese Breite mit einer flexiblen Eingangsbandbreite, ohne Audio-Superauflösung selbst eingeführt zu haben.

Von der Eingabeaufnahme zu einer Wellenform mit 48 kHz

AudioSR kombiniert einen Variational Autoencoder (VAE), ein bedingtes latentes Diffusionsmodell und einen neuronalen Vocoder. Jede Komponente übernimmt einen Schritt der Rekonstruktion:

Die veröffentlichte Modellkonfiguration legt eine Mel-Darstellung mit 256 Bändern, einen VAE und einen U-Net mit räumlichen Transformern fest. Sie verkettet die kodierten Tiefpassmerkmale der Eingabe mit dem Diffusions-Latent. Das ist audiobedingte Generierung, auch wenn einige übernommene CLI-Beschreibungen Text erwähnen.

Was steuern Sampling-Schritte und Guidance?

Die Sampling-Schritte bestimmen, wie viele Iterationen das Modell für die Verfeinerung seiner erzeugten Darstellung verwendet. AudioSR nutzt einen DDIM-Sampler. Guidance steuert, wie stark die Eingabebedingung die Generierung lenkt. Es ist keine EQ-Menge, und ein höherer Wert garantiert keine bessere Qualität. Die Inferenzimplementierung führt Sampling, Dekodierung, Frequenzersetzung und Wellenformnormalisierung nacheinander aus.

Mehr Sampling-Schritte und längere Aufnahmen benötigen mehr Verarbeitungszeit. AudioSR ist für Verarbeitung außerhalb der Echtzeit vorgesehen, und die tatsächliche Geschwindigkeit hängt von Ihrer GPU und den Einstellungen ab. Weniger ddim_steps beschleunigen die Generierung, lösen GPU-Speicherfehler aber nicht zuverlässig.

Wie wurde AudioSR trainiert?

Der Trainingsabschnitt der Publikation beschreibt etwa 7.000 Stunden aus MUSDB18-HQ, MoisesDB, MedleyDB, Freesound und OpenSLR-Sprachdaten. Tiefpassfilter mit unterschiedlichen Grenzfrequenzen erzeugen beeinträchtigte Eingaben, die mit Zielaufnahmen größerer Bandbreite gepaart werden. Das Diffusionsmodell nutzt einen Kosinus-Rauschplan, Geschwindigkeitsvorhersage und Guidance ohne Klassifikator. Der Vocoder basiert auf HiFi-GAN mit einem Diskriminator für mehrere Auflösungen.

Reale Aufnahmen können von diesen Trainingsbeispielen abweichen. Die Autoren erläutern, dass unregelmäßige Frequenzgrenzen, starkes Rauschen und Hall die Qualität verringern können. MP3-Kompression kann Lücken nahe der Grenzfrequenz hinterlassen. Tiefpassfilterung vor der Inferenz kann helfen, doch eine zu niedrige Grenzfrequenz entfernt nützliche Details. Bei verhallten Aufnahmen kann Hallentfernung vor der Restaurierung dem Modell eine sauberere Eingabe liefern.

Sie müssen diese Komponenten nicht trainieren, um AudioSR auszuführen. Der Installationsablauf lädt vortrainierte Gewichte.

Warum nutzt AudioSR Nachbearbeitung?

Das erzeugte Audio soll nützliche Informationen bewahren, die bereits in der Quelle vorhanden sind. AudioSR ersetzt tiefe Bänder zweimal: im geschätzten Mel-Spektrogramm vor dem Vocoder und in der Darstellung der resultierenden Wellenform durch die Kurzzeit-Fourier-Transformation (STFT). Der Ersetzungscode schätzt eine Grenzfrequenz und passt die rekonstruierte Ausgabe an.

Stereoaufnahmen und vollständige Songs benötigen eine Pipeline, die Kanäle, Abschnitte und Rekonstruktion verarbeitet. Der Standardablauf des Repositorys erzeugt Mono-Audio: Der Standardloader nimmt den ersten Eingangskanal, während die Pipeline für Abschnitte Stereo zu Mono heruntermixt. Um Stereo zu bewahren, ist eine zusätzliche Kanalverarbeitung nötig, etwa die getrennte Verarbeitung von links und rechts im Community-Notebook.

Die Rekonstruktion muss nach Gehör geprüft werden. Die Hinweise zur Community-Pipeline warnen, dass übermäßige Überlappung Phasenauslöschungen verursachen kann. Vergleichen Sie das Ergebnis bei ähnlicher Lautheit und prüfen Sie die neu erzeugten Höhen, Abschnittsübergänge, Dauer und das Stereobild. Die Frequenzersetzung hilft, die Quelle zu bewahren, garantiert aber weder ein unverändertes tiefes Band noch saubere Übergänge.

Häufige Fragen zu AudioSR-Fehlern

Ist AudioSR auf PyPI verfügbar?

Ja. Die offizielle README installiert audiosr==0.0.7 mit pip oder den neuesten Code direkt von GitHub. Der main-Branch auf GitHub enthält Funktionen wie die Verarbeitung in Abschnitten, die in der PyPI-Veröffentlichung fehlen können.

Wie viel GPU-Speicher benötigt AudioSR?

Die README nennt kein Minimum. Schon der Basic-Checkpoint belegt etwa 6,2 GB auf der Festplatte, und der Speicherbedarf wächst mit der Länge des Ausschnitts. Beginnen Sie mit einem Ausschnitt von etwa 5 Sekunden und nutzen Sie für längere Dateien die Verarbeitung in Abschnitten.

Warum schlägt AudioSR mit numpy.ndarray has no attribute cpu fehl?

Die Inferenz ist fertig, doch der Speicherschritt erwartet einen PyTorch-Tensor und erhält ein NumPy-Array. Verwenden Sie das obige Python-Skript, das die Ausgabe mit soundfile schreibt.

Warum ist meine AudioSR-Ausgabe mono?

Der Standardloader liest nur den ersten Kanal, und der Verarbeitungspfad für Abschnitte mischt Stereo zu Mono herunter. Verarbeiten Sie links und rechts getrennt oder nutzen Sie AudioSR Online, das Mitten- und Differenzkanäle für Sie verarbeitet.

Ist der AudioSR-Trainingscode verfügbar?

Ja. Das Änderungsprotokoll der README vom 31. Dezember 2024 verlinkt den Trainingscode. Der Autor beschreibt ihn als nur zur Referenz gedacht und nicht sorgfältig organisiert.

AudioSR mit Neural Analog ausführen, ohne die Einrichtung zu verwalten

Um die lokale Einrichtung zu umgehen, öffnen Sie AudioSR Online, laden eine Datei hoch oder importieren einen unterstützten Musiklink und passen die Restaurierungseinstellungen an. Speichern oder nehmen Sie Udio-Audio zuerst auf und laden Sie dann die Datei hoch. Sie können eine Grenzfrequenz wählen, das verarbeitete Ergebnis vorhören und Audio in derselben Oberfläche exportieren.

Neural Analog übernimmt die Modellverarbeitung online. Dadurch können Sie einen Computer ohne große GPU verwenden und auf Python-Installation, Checkpoint-Downloads und Notebook-Wartung verzichten. Kritisches Zuhören bleibt nötig, denn ein gehosteter Ablauf beseitigt die Qualitätsgrenzen des Modells nicht. Folgen Sie nach der Restaurierung dem Leitfaden zur Audioverbesserung. Für KI-Musik behandelt die Verbesserung der Audioqualität von KI-Songs die Stem-Reparatur und das Mastering nach der Restaurierung.

Sie können AudioSR auch mit neueren Audiorestaurierungsmodellen auf Neural Analog vergleichen, darunter UniverSR und FlashSR. Ihre Modellkarten erläutern die Funktionsweise, und die FAQ fasst zusammen, wie sich UniverSR von AudioSR unterscheidet. Ein vollständiges Beispiel finden Sie unter alle 203 Soundeffekte von RPG Maker 2000 mit UniverSR auf 48 kHz restauriert. Wenden Sie die Modelle auf dieselbe Aufnahme an und vergleichen Sie die Vorschauen, um das beste Ergebnis auszuwählen.