Lokale KI im Mittelstand: was auf dem eigenen Rechner geht
Ein Sprachmodell auf dem eigenen Rechner: Die Daten bleiben im Haus, dafür zahlen Sie mit Tempo und Pflege. Was geht, was hakt und wie Sie es prüfen.
Kurz gesagt
Lokale KI heißt: Das Sprachmodell läuft auf Ihrem eigenen Rechner, und kein Text verlässt das Haus. Zusammenfassen, Einordnen und Entwerfen gelingen damit auf üblicher Bürohardware mit genug Arbeitsspeicher. Der Preis sind weniger Tempo, kleinere Modelle und eigene Pflege. Ob es für Ihre Aufgabe reicht, zeigt ein Test mit zwanzig echten Fällen.
Muss das in die Cloud? Die Frage steht am Anfang vieler KI-Projekte, und sie ist berechtigt. In den Texten, die ein Sprachmodell lesen soll, stecken Kundenzeichnungen, Verträge und Personalunterlagen. Die kurze Antwort lautet nein. Ein Sprachmodell läuft heute auf einem Rechner, der unter dem Schreibtisch steht. Die lange Antwort hat zwei Seiten. Wer nur eine davon erzählt, will etwas verkaufen.
Die eine Seite: Kein Text verlässt das Haus. Die andere: Es ist langsamer, die Modelle sind kleiner, und die Pflege liegt bei Ihnen. Ich betreibe selbst ein Rechtsmonitoring, dessen KI ausschließlich lokal läuft, und ein Diktierwerkzeug, dessen Spracherkennung den Rechner nie verlässt. Beides funktioniert, und beides hat Grenzen. Um Spracherkennung geht es hier nicht, dazu gibt es eigene Artikel. Hier geht es um Sprachmodelle für Texte: zusammenfassen, einordnen, entwerfen.
Was „lokal“ heißt und woran Sie es prüfen
Lokal heißt: Die Modelldatei liegt auf Ihrer Festplatte. Gerechnet wird auf Ihrem Prozessor oder Ihrer Grafikkarte. Für eine Antwort ist keine Verbindung nach außen nötig. Ein Rechenzentrum in Frankfurt ist nicht lokal. Ein europäischer Anbieter ist es auch nicht. Beides können gute Lösungen sein, nur liegen Ihre Texte dann bei jemand anderem.
Selbst lokale Software arbeitet nicht automatisch nur lokal. Ein Beispiel ist Ollama, ein verbreitetes Programm, mit dem sich Sprachmodelle auf dem eigenen Rechner starten lassen. Die Dokumentation ist an der Stelle klar: Läuft das Modell lokal, sieht der Hersteller weder Eingaben noch Antworten. Dasselbe Programm bietet inzwischen aber auch Modelle aus der Cloud und eine Websuche an. Wer das nicht will, schaltet die Cloud-Funktionen in der Konfiguration ab. Das ist ein Schalter, und den muss jemand umgelegt haben.
Die einfachste Prüfung ist handfest. Ziehen Sie das Netzwerkkabel, schalten Sie das WLAN aus und stellen Sie dieselbe Frage noch einmal. Kommt eine Antwort, läuft das Modell bei Ihnen. Bleibt sie aus, wissen Sie, wohin Ihre Texte bisher gegangen sind. Das kostet zwei Minuten. Machen Sie die Probe, bevor der erste Vertrag im Eingabefeld landet.
Die zweite Prüfung: Wer im Haus erreicht das Modell? In der Voreinstellung nimmt Ollama nur Anfragen vom selben Rechner an. Soll das ganze Büro damit arbeiten, öffnet jemand den Dienst für das Netz. Von da an ist der Rechner ein Server und braucht, was jeder Server braucht: Zugriffsregeln, Updates und ein Protokoll.
Die Hardware-Frage entscheidet der Arbeitsspeicher
Ein Sprachmodell ist eine große Datei voller Zahlen. Damit es flüssig antwortet, muss diese Datei vollständig in den Speicher passen, am besten in den der Grafikkarte. Passt sie nur zum Teil hinein, rechnet der Prozessor mit, und das kostet Tempo. Die Größe eines Modells wird in Milliarden Parametern angegeben. Diese eine Zahl sagt Ihnen fast alles über den Rechner, den Sie brauchen.
Ein Beispiel aus der Modellbibliothek von Ollama, abgerufen am 16. November 2026. Das Modell Gemma 3 gibt es in mehreren Größen. In der üblichen verkleinerten Fassung belegt die Variante mit 4 Milliarden Parametern 3,4 Gigabyte. Die Variante mit 12 Milliarden belegt 8,2 Gigabyte, die mit 27 Milliarden 17 Gigabyte.
Verkleinert heißt: Die Zahlen im Modell werden gröber gespeichert. Fachleute nennen das quantisiert. In voller Genauigkeit braucht dieselbe Variante mit 12 Milliarden Parametern 24 Gigabyte, also fast das Dreifache. Die verkleinerte Fassung ist der Normalfall. Sie macht lokale KI auf Bürohardware erst möglich.
Daraus folgt eine grobe Einteilung. Ein Bürorechner mit 16 Gigabyte Arbeitsspeicher trägt die kleine Variante bequem und die mittlere knapp, denn Betriebssystem und Programme brauchen auch Platz. Für die mittlere Größe mit Luft nach oben sind 32 Gigabyte die bessere Wahl. Die große Variante gehört auf eine Arbeitsstation oder einen kleinen Server.
Kaufen Sie die Hardware nach der Aufgabe. Erst klären, welche Modellgröße die Aufgabe braucht. Danach den Rechner aussuchen. Andersherum steht nach drei Monaten ein teures Gerät im Schrank, und darauf läuft ein Modell, das der alte Rechner auch geschafft hätte.
Was auf dem eigenen Rechner gut geht
Lokale Modelle der kleinen und mittleren Größe sind bei eng geschnittenen Aufgaben stark. Eng geschnitten bedeutet: klarer Auftrag, überschaubarer Text und ein Ergebnis, das ein Mensch schnell prüfen kann.
- Zusammenfassen: eine lange E-Mail-Kette, ein Besprechungsprotokoll, eine geänderte Vorschrift in fünf Sätzen. Der Mensch liest die Zusammenfassung und hat das Original daneben.
- Einordnen: eingehende Anfragen nach Thema, Dringlichkeit oder Abteilung sortieren. Die Fächer stehen fest, das Ergebnis ist ein Wort.
- Herausziehen: aus einem Lieferschein, einer Bestellung oder einem Vertrag bestimmte Angaben in feste Felder übertragen.
- Entwerfen: die Antwort auf eine Standardanfrage vorschreiben. Ein Mitarbeiter liest sie, ändert sie und schickt sie ab.
An der Liste fällt etwas auf. Überall steht am Ende ein Mensch oder ein festes Format. Das ist Absicht. Mein eigenes Rechtsmonitoring arbeitet so: Das lokale Modell fasst zusammen, was sich an einer Vorschrift geändert hat. Über jeden Vorschlag entscheidet ein Mensch.
Ein zweiter Vorteil wird selten genannt. Bei vielen dieser Aufgaben spielt die Uhr keine Rolle. Ob die Zusammenfassung der Nachtpost um zwei Uhr oder um zehn nach zwei fertig ist, merkt niemand. Lokale KI passt gut zu allem, was im Stapel laufen darf. Sie passt schlechter zu allem, bei dem jemand vor dem Bildschirm sitzt und wartet.
Sie wollen eine Aufgabe mit lokaler KI an echten Daten prüfen, bevor Sie Hardware kaufen? Wie ich solche Projekte gemeinsam mit einem Softwareentwickler umsetze, steht hier:
KI-Projekte umsetzen, auf Wunsch mit lokaler KIWo es hakt: Tempo, Textlänge, mehrere Nutzer
Erstens das Tempo. Auf Bürohardware antwortet ein lokales Modell in aller Regel langsamer als ein großer Cloud-Dienst. Wie viel langsamer, hängt an Modellgröße und Rechner. Eine Zahl nenne ich dazu bewusst nicht, denn jede Angabe gilt nur für genau eine Kombination. Messen Sie es an Ihrer Aufgabe und auf Ihrem Gerät. Dazu kommt die Ladezeit: Ollama hält ein Modell in der Voreinstellung fünf Minuten im Speicher und räumt es danach ab. Die erste Anfrage nach der Kaffeepause dauert deshalb länger als die zweite.
Zweitens die Textlänge. Hier liegt die Falle, die am meisten Ärger macht. Jedes Modell hat ein Kontextfenster, also eine Obergrenze für den Text, den es auf einmal sieht. Gemma 3 kann laut Bibliothek bis zu 128.000 Tokens verarbeiten. Ollama setzt die Voreinstellung aber auf 4.096 Tokens, und das sind grob gerechnet wenige Seiten Text. Was nicht ins Fenster passt, sieht das Modell nicht. Die Zusammenfassung liest sich trotzdem flüssig.
Prüfen lässt sich das in fünf Minuten. Geben Sie ein langes Dokument hinein und fragen Sie nach einer Einzelheit von der ersten Seite und nach einer von der letzten. Fehlt eine der beiden Antworten oder ist sie erfunden, war das Fenster zu klein. Ein größeres Fenster lässt sich einstellen, es kostet aber Arbeitsspeicher. Damit sind Sie wieder bei der Hardware-Frage.
Drittens mehrere Nutzer. In der Voreinstellung bearbeitet Ollama je Modell eine Anfrage zur selben Zeit, die anderen warten in einer Schlange. Parallele Bearbeitung lässt sich einschalten. Der Speicherbedarf wächst dann mit: Zahl der parallelen Anfragen mal Größe des Kontextfensters. Ein Rechner, der für eine Sachbearbeiterin reicht, reicht nicht für zwölf.
Viertens die Qualität. Ein Modell mit 12 Milliarden Parametern leistet weniger als die größten Modelle der Cloud-Anbieter. Bei eng geschnittenen Aufgaben fällt das kaum auf. Bei langen Texten, bei Aufgaben über viele Schritte und bei Fragen, die breites Wissen verlangen, fällt es auf. Gegen lokal spricht das nicht. Es spricht dafür, die Aufgabe ehrlich zuzuschneiden und die Trefferquote zu messen, bevor sich jemand darauf verlässt.
Fünftens die Pflege. Beim Cloud-Dienst kümmert sich der Anbieter um Updates, Ausfälle und neue Modellversionen. Lokal machen Sie das selbst. Jemand im Haus muss wissen, welches Modell in welcher Fassung läuft, wer es zuletzt gewechselt hat und was passiert, wenn der eine Rechner ausfällt. Steht das nirgends, haben Sie ein Werkzeug ohne Wartungsplan.
Was lokal rechtlich ändert und was bleibt
Der lokale Betrieb löst ein Problem sauber. Für die Verarbeitung im Modell gibt es keinen fremden Dienstleister. An dieser Stelle brauchen Sie deshalb keinen Vertrag zur Auftragsverarbeitung (Art. 28 DSGVO), und es werden keine Daten in ein Drittland übermittelt (Art. 44 DSGVO). Zwei Prüfungen, die bei Cloud-Diensten viel Arbeit machen, fallen weg. Eine Einschränkung: Betreut ein IT-Dienstleister den Rechner aus der Ferne und kann er dabei Daten einsehen, kann das wieder eine Auftragsverarbeitung sein.
Alles andere bleibt. Sie brauchen weiter eine Rechtsgrundlage und einen festgelegten Zweck für die Daten. Die Sicherheit der Verarbeitung liegt jetzt vollständig bei Ihnen (Art. 32 DSGVO). Wer darf an den Rechner? Wie ist die Festplatte geschützt? Wo liegen die Protokolle mit den Eingaben? Ein Modell unter dem Schreibtisch, dem jeder im Netz Fragen stellen kann, ist kein Gewinn für den Datenschutz. Bei voraussichtlich hohem Risiko bleibt auch die Datenschutz-Folgenabschätzung Pflicht (Art. 35 DSGVO), egal wo das Modell steht.
Dasselbe gilt für die KI-Verordnung. Betreiber ist, wer ein KI-System in eigener Verantwortung verwendet (Art. 3 Nr. 4). Der Standort des Rechners kommt in der Begriffsbestimmung nicht vor. Auch lokal ergreifen Sie Maßnahmen, um die Entwicklung der KI-Kompetenz Ihrer Leute zu unterstützen (Art. 4 in der Fassung der Verordnung (EU) 2026/1744). Vor der Einstufung schützt der eigene Rechner ebenfalls nicht: Ein Modell, das Bewerbungen sichtet oder filtert, steht im Hochrisiko-Katalog (Anhang III Nr. 4 Buchst. a), auf welchem Gerät es auch läuft. Wer die Zweckbestimmung eines Systems so ändert, dass es zum Hochrisiko-System wird, gilt selbst als Anbieter (Art. 25 Abs. 1 Buchst. c).
Ein Punkt kommt lokal neu dazu: die Lizenz des Modells. Frei herunterladbar heißt nicht frei von Bedingungen. In der Bibliothek steht Mistral Small 3.2 unter der Apache-Lizenz 2.0, Gemma 3 unter eigenen Nutzungsbedingungen des Herstellers. Lesen Sie die Bedingungen, bevor das Modell im Betrieb arbeitet, und legen Sie sie zu den Unterlagen.
Im Managementsystem nach ISO/IEC 42001 landet das an vier Stellen von Anhang A. Der Rechner gehört in die Dokumentation der System- und Rechenressourcen (A.4.5). Das Modell wird vor dem Einsatz verifiziert und validiert (A.6.2.4). Für die Daten, mit denen es arbeitet, legen Sie Qualitätsanforderungen fest (A.7.4). Und wer Modell oder Software bereitstellt, ist nach meiner Lesart ein Lieferant, auch wenn er dafür kein Geld bekommt (A.10.3).
Der Test mit zwanzig echten Fällen
Ob lokal für Ihre Aufgabe reicht, klärt kein Artikel und kein Anbieter. Es klärt ein Test, den Sie in einer Woche schaffen.
- Eine Aufgabe wählen, keine fünf. Am besten eine, die heute jemand von Hand erledigt und die niemand gern macht.
- Zwanzig echte Fälle heraussuchen, darunter die drei schwierigsten, an die sich die Abteilung erinnert.
- Vorher aufschreiben, was eine richtige Antwort ist. Wer das erst nach dem Lauf entscheidet, findet jede Antwort gut.
- Alle zwanzig Fälle durch das lokale Modell schicken. Die Person, die die Arbeit sonst macht, bewertet jede Antwort.
- Zwei Zahlen notieren: wie viele Antworten ohne Korrektur brauchbar waren und wie lange ein Fall gedauert hat.
Danach haben Sie etwas, das keine Produktbroschüre liefert: Ihre eigene Trefferquote an Ihren eigenen Texten. Achtzehn von zwanzig mit einem Menschen, der gegenliest, ist für einen Entwurf ein gutes Ergebnis. Achtzehn von zwanzig ohne Prüfschritt heißt: Jeder zehnte Vorgang geht falsch hinaus. Dieselbe Zahl, zwei völlig verschiedene Entscheidungen.
Fällt der Test schlecht aus, gibt es drei Stellschrauben, und die Reihenfolge zählt. Die Aufgabe enger schneiden. Das Kontextfenster prüfen. Die nächste Modellgröße probieren. Bringt keine der drei etwas, ist die Aufgabe für den eigenen Rechner zu groß. Ein Cloud-Dienst mit sauberem Vertrag ist in dem Fall die ehrlichere Lösung, und Sie legen vorher fest, welche Daten dorthin dürfen und welche im Haus bleiben.
Lokale KI ist kein Bekenntnis. Sie ist eine Betriebsentscheidung wie die Frage, ob Sie ein Teil selbst fertigen oder vergeben. Wer selbst fertigt, hat die Kontrolle und die Wartung. Wer vergibt, hat das Tempo und die Abhängigkeit. Rechnen Sie es für die eine Aufgabe durch, die Ihnen am meisten auf den Nägeln brennt. Welche wäre das bei Ihnen?
Primärquellen
- Ollama, Dokumentation, FAQ: Kontextfenster, Cloud-Funktionen, Netzwerkbindung, parallele Anfragen (docs.ollama.com)
- Ollama, Modellbibliothek, Gemma 3: Größen und Kontextfenster der Varianten (ollama.com)
- Ollama, Modellbibliothek, Mistral Small 3.2: Lizenzangabe (ollama.com)
- Verordnung (EU) 2016/679 (DSGVO), Artikel 28, 32, 35 und 44, EUR-Lex
- Verordnung (EU) 2024/1689 (KI-Verordnung), konsolidierte Fassung vom 27.07.2026, Artikel 3 Nummer 4, Artikel 4 und 25 sowie Anhang III Nummer 4, EUR-Lex
- ISO/IEC 42001:2023, KI-Managementsysteme, Anhang A, Maßnahmen A.4.5, A.6.2.4, A.7.4 und A.10.3 (iso.org)
Häufige Fragen
Was bedeutet lokale KI?+
Das Sprachmodell liegt als Datei auf Ihrem eigenen Rechner und rechnet dort. Für eine Antwort ist keine Verbindung nach außen nötig. Ein Rechenzentrum in Deutschland oder ein europäischer Cloud-Anbieter ist nicht lokal, denn Ihre Texte liegen dann bei einem Dritten.
Welche Hardware braucht ein lokales Sprachmodell?+
Entscheidend ist der Arbeitsspeicher, am besten der der Grafikkarte. Die Modelldatei muss vollständig hineinpassen. Als Beispiel: Gemma 3 mit 12 Milliarden Parametern belegt in der üblichen verkleinerten Fassung 8,2 Gigabyte. Dazu kommen Betriebssystem, Programme und das Kontextfenster.
Ist lokale KI automatisch DSGVO-konform?+
Nein. Für die Verarbeitung im Modell entfallen der Vertrag zur Auftragsverarbeitung und die Übermittlung in ein Drittland. Rechtsgrundlage, Zweckbindung und die Sicherheit der Verarbeitung nach Art. 32 DSGVO bleiben, und die Sicherheit liegt jetzt vollständig bei Ihnen.
Gilt die KI-Verordnung auch für ein Modell auf dem eigenen Rechner?+
Ja. Betreiber ist nach Art. 3 Nr. 4, wer ein KI-System in eigener Verantwortung verwendet. Der Standort des Rechners spielt dafür keine Rolle. Auch die Einstufung als Hochrisiko-System richtet sich nach dem Zweck und nicht nach dem Gerät.
Warum fasst mein lokales Modell lange Dokumente unvollständig zusammen?+
Häufig ist das Kontextfenster zu klein eingestellt. Ollama setzt die Voreinstellung auf 4.096 Tokens, das sind grob gerechnet wenige Seiten. Was nicht hineinpasst, sieht das Modell nicht. Das Fenster lässt sich vergrößern, das kostet aber Arbeitsspeicher.
Autor & fachliche Prüfung: Lars Zimmermann · ISO/IEC 42001 Senior Lead Auditor & Senior Lead Implementer · ISO/IEC 27001 Lead Auditor & Lead Implementer (PECB)
Auditor mit Stallgeruch, Geschäftsführer eines produzierenden Mittelständlers, der KI-Managementsysteme und Informationssicherheit prüft und aufbaut. Autor von „Stallgeruch“. Qualifikation auf Credly verifizieren · Mehr über mich.
Stand: 16. November 2026. Inhalt nach bestem Wissen recherchiert und fachlich geprüft; ersetzt keine Rechtsberatung im Einzelfall.
Konkrete Fragen zu Ihrem Fall?
Im kostenlosen 15-Minuten-Erstgespräch ordnen wir Ihren Stand zu ISO 42001, ISO 27001 und dem EU AI Act ein, ehrlich und ohne Verkaufsdruck.