Whisper lokal nutzen: Spracherkennung ohne die Cloud

KI-Spracherkennung ohne Cloud, alles auf dem eigenen Rechner: Das klingt erst einmal nach einem Widerspruch. Spracherkennung, das war doch immer der große Server irgendwo, an den man seine Stimme schickt. Ist es längst nicht mehr. Ich habe für ein eigenes Diktierwerkzeug genau diese Technik verbaut und dabei gelernt, was lokal wirklich funktioniert und wo die Marketing-Versprechen aufhören. Budder bei die Fische, ohne Hype.

Was Whisper überhaupt ist

Whisper ist ein Spracherkennungs-Modell, das OpenAI frei verfügbar gemacht hat. Frei heißt hier wörtlich: Sie können es herunterladen und auf Ihrem eigenen Rechner laufen lassen, ohne Konto, ohne Abo, ohne dass eine einzige Aufnahme das Gerät verlässt. Es ist nicht das einzige lokale Modell, aber das mit Abstand am weitesten verbreitete. Um Whisper herum ist ein ganzes Ökosystem schlanker Laufzeitumgebungen entstanden, das die Nutzung auf normalen Büro-Rechnern erst praktisch macht.

Wichtig zur Einordnung: Whisper ist ein Werkzeug, kein fertiges Produkt. Sie brauchen etwas, das das Modell startet, das Mikrofon anspricht und den Text irgendwo hinschreibt. Genau darin unterscheiden sich die fertigen Diktier-Apps. Das Modell darunter ist oft dasselbe.

Was lokal wirklich funktioniert

Fangen wir mit dem Positiven an, denn das ist mehr, als viele erwarten. Ein passables lokales Setup transkribiert deutsches Diktat heute erstaunlich sauber, offline, ohne Internet, ohne Wartezeit auf einen Server. Für Fließtext, Aktennotizen, Befunde und Besprechungsprotokolle reicht die Qualität in aller Regel.

• Kein Datenabfluss: Die Aufnahme wird auf Ihrem Rechner verarbeitet und ist danach entweder weg oder bleibt als Datei bei Ihnen. Keine fremden Server, kein Drittland, keine Transfer-Grundlage. Für vertrauliche Berufe ist das der entscheidende Punkt.
• Keine laufenden Kosten: Kein Minutenkontingent, kein Abo. Einmal eingerichtet, kostet jede weitere Stunde Diktat nichts außer Strom.
• Unabhängigkeit: Kein Anbieter, der den Dienst abschaltet, den Preis erhöht oder die Bedingungen ändert. Das Modell läuft auch in fünf Jahren noch so wie heute.

Der Hebel dahinter ist simpel: Was den Rechner nie verlässt, muss ich nicht per Vertrag absichern. Für Kanzleien, Praxen und Steuerbüros ist das mehr als Komfort, es ist die einfachste Antwort auf die Schweigepflicht.

Die Modellfrage: klein und schnell gegen groß und genau

Whisper gibt es in mehreren Größen, von winzig bis groß. Und hier liegt die erste ehrliche Wahrheit: Sie können nicht beides haben. Ein kleines Modell läuft auf fast allem und liefert sofort, macht aber mehr Fehler, gerade bei Namen, Fachbegriffen und Zahlen. Ein großes Modell ist deutlich genauer, will dafür aber mehr Rechenleistung und braucht länger.

Für die meisten Büro-Anwendungen hat sich eine schnelle Variante des großen Modells als guter Mittelweg herausgestellt: nah an der Genauigkeit der größten Modelle, aber spürbar flotter. Dazu kommen Fein-Abstimmungen speziell für Deutsch, die bei Umlauten, Komposita und typisch deutschen Fachbegriffen noch einmal besser abschneiden. Wer die Wahl hat, nimmt für Deutsch ein deutsch-optimiertes Modell, nicht das englische Standardmodell.

Die Frage ist nie, welches Modell das beste ist. Die Frage ist, welches Modell auf Ihrer Hardware in Ihrer Zeit die Genauigkeit liefert, die Ihre Texte brauchen.

Die Hardware-Wahrheit

Jetzt der Teil, den die Hochglanz-Demos gern weglassen: Lokal ist bei der Hardware nicht gratis. Sie brauchen keinen Supercomputer, aber auch nicht den zehn Jahre alten Office-PC, der schon beim Öffnen eines PDF schwitzt.

• Apple-Silicon-Macs (M1 und neuer) sind für lokale Spracherkennung überraschend stark, weil das Modell die eingebaute Grafik- und Neural-Einheit nutzen kann.
• Windows- und Linux-Rechner mit einer dedizierten Grafikkarte spielen in derselben Liga; die Grafikkarte übernimmt die schwere Rechenarbeit.
• Reine CPU ohne Grafikkarte funktioniert auch, vor allem mit den kleineren und den schnellen Modellen, nur eben langsamer. Für Diktat, das Sie ohnehin nachbearbeiten, ist das oft völlig ausreichend.

Als Faustregel: Ein Rechner, der für aktuelle Büroarbeit taugt, schafft lokales Diktat. Hat er dazu eine halbwegs moderne Grafikeinheit, läuft es flüssig statt geduldig.

Wo lokal an Grenzen stößt

Damit das kein Werbetext wird: Es gibt Dinge, die die reine lokale Spracherkennung nicht oder nicht von allein kann. Wer sie erwartet, wird enttäuscht, und das ist kein Fehler des Modells, sondern eine falsche Erwartung.

• Wer spricht wann: Ein Gespräch mit mehreren Sprechern sauber zuzuordnen, also die Sprecher-Trennung, leistet Whisper von Haus aus nicht. Das geht, braucht aber zusätzliche Bausteine.
• Perfekte Formatierung: Absätze, Überschriften und Formatvorlagen entstehen nicht von selbst. Sie bekommen sauberen Fließtext mit Satzzeichen, den Feinschliff machen Sie oder eine nachgelagerte Stufe.
• Fachvokabular und Eigennamen: Spezielle Begriffe, Aktenzeichen und Produktnamen sitzen nicht immer auf Anhieb. Gute Werkzeuge erlauben eigene Wortlisten, das Modell allein rät.
• Sehr schlechte Aufnahmen: Starker Nachhall, mehrere Stimmen durcheinander, Baustellenlärm. Was ein Mensch kaum versteht, versteht auch die Maschine nicht.

Nichts davon ist ein Ausschlussgrund. Aber es ist der Unterschied zwischen einem realistischen Blick und einem Demo-Versprechen.

Wann lokal gewinnt, wann die Cloud

Am Ende ist es eine Abwägung, keine Glaubensfrage. Lokal gewinnt klar, wenn Vertraulichkeit zählt, wenn viel diktiert wird und die laufenden Kosten wehtun, oder wenn Sie unabhängig von einem Anbieter bleiben wollen. Für Kanzleien, Praxen und Steuerbüros treffen meistens alle drei zu.

Die Cloud behält ihren Platz, wenn die Hardware wirklich schwach ist, wenn Sie Komfort- und Zusammenarbeits-Funktionen brauchen, die über reines Diktat hinausgehen, oder wenn Sie schlicht keine Lust auf einen einmaligen Einrichtungsaufwand haben. Beides ist legitim. Nur sollte es eine bewusste Entscheidung sein und keine, die der bequemste Standard für Sie trifft.

Die ehrliche Schlusszeile

Lokale Spracherkennung ist kein Nischen-Bastelthema mehr. Sie ist reif genug für den Alltag, wenn man weiß, welches Modell und welche Hardware zusammenpassen und wo die Grenzen liegen. Für alle, die beruflich fremde Geheimnisse verwalten, ist sie der ruhigste Weg: Was den Rechner nie verlässt, kann auch nicht bei jemandem landen, bei dem es nichts zu suchen hat. Kein Hexenwerk. Nur eine bewusste Entscheidung.