Welches lokale KI-Modell passt zu Ihnen? Und warum ist das größte selten das beste?

Ein KI-Modell ist im Kern eine sehr große Datei voller Zahlen. Diese Zahlen, Fachleute sagen Gewichte, hat das Modell beim Training aus riesigen Textmengen gelernt. Geben Hersteller die Datei zum Herunterladen frei, können Sie das Modell auf eigener Hardware betreiben. Dann spricht man von einem lokalen oder offenen Modell.

Hinter der Antwort einer KI steckt kein Verstehen im menschlichen Sinn, sondern Wahrscheinlichkeitsrechnung in riesigem Maßstab. Das Modell schätzt Wort für Wort ab, was am besten zu Ihrer Frage und zu den gelernten Mustern passt. Das ist erstaunlich leistungsfähig. Es erklärt aber auch, warum ein Modell manchmal überzeugend klingt und trotzdem danebenliegt.

Für Ihr Unternehmen zählt vor allem eines: Bei einem lokalen Modell findet diese Rechnung auf Ihrem Gerät statt. Bei ChatGPT, Copilot oder Gemini läuft sie auf den Servern des Anbieters. Welche Folgen das für den Datenschutz hat, beschreibt der Ratgeber ChatGPT und Datenschutz im Unternehmen.

Die bekanntesten offenen Sprachmodelle kommen von Google (Gemma), Alibaba (Qwen), Mistral AI (Mistral), OpenAI (gpt-oss), IBM (Granite), Meta (Llama) und DeepSeek. Aus Deutschland stammt Teuken. Bei den meisten erlaubt die Lizenz Apache 2.0 auch den Einsatz im Betrieb. Die Familien unterscheiden sich vor allem in Größe, Lizenz und Herkunft.

Das „B“ steht für Milliarden Parameter, also Milliarden gelernte Zahlen. Größen und Lizenzen laut den Modellseiten der Hersteller auf Hugging Face, abgerufen am 2. November 2026. Neue Versionen erscheinen oft im Abstand weniger Monate. Prüfen Sie vor einer Entscheidung immer die aktuelle Modellseite.

Zwei Dinge fallen an der Tabelle auf. Erstens: Die Lizenz Apache 2.0 ist inzwischen der Normalfall. Google hat Gemma mit Version 4 von eigenen Nutzungsbedingungen auf Apache 2.0 umgestellt. Zweitens: Die stärksten offenen Modelle sind so groß, dass sie in einem Büro kaum zu betreiben sind. Für den Alltag im Mittelstand kommen vor allem die kleinen und mittleren Größen infrage.

Die Lizenz entscheidet, ob Sie ein Modell gewerblich nutzen, verändern und weitergeben dürfen. Bei Apache 2.0 und MIT ist das ohne Gebühr erlaubt, solange Sie die Lizenzhinweise beibehalten. Eigene Herstellerlizenzen enthalten dagegen oft Nutzungsregeln oder Ausschlüsse. Lesen Sie diese vor dem Einsatz, nicht danach.

Kleiner als die meisten denken. Für Entwürfe, Zusammenfassungen und die Suche in eigenen Dokumenten reichen mittlere Modelle mit 8 bis 30 Milliarden Parametern oft aus. Größer heißt genauer bei schwierigen Aufgaben, aber auch langsamer und hungriger nach KI-Speicher. Die Größe sollte zur Aufgabe passen, nicht zum Ehrgeiz.

Wie viel Speicher ein Modell braucht, lässt sich grob abschätzen. Für den Betrieb werden die Gewichte meist verkleinert, Fachleute sagen quantisiert. In einer gängigen 4-Bit-Stufe belegt jeder Parameter rund 4,5 Bit (Hugging Face, GGUF). Daraus ergibt sich eine einfache Faustregel: gut ein halbes Gigabyte KI-Speicher je Milliarde Parameter, plus Reserve für lange Texte und mehrere gleichzeitige Nutzer.

Eigene Überschlagsrechnung mit 4,5 Bit je Parameter, nur für die Gewichte. Lange Dokumente und mehrere gleichzeitige Anfragen brauchen zusätzlichen Speicher. Die Angaben zu gpt-oss stammen von OpenAI.

Was heißt „davon aktiv“?

Einige Modelle, etwa Mistral Small 4 oder gpt-oss, bestehen aus vielen spezialisierten Teilnetzen. Für jedes Wort arbeiten nur wenige davon. Das macht sie schneller, als ihre Gesamtgröße vermuten lässt. Im Speicher liegen müssen trotzdem alle Teile. Für die Frage „passt es?“ zählt also die Gesamtgröße, für die Frage „wie schnell?“ der aktive Teil.

Welche Hardware dafür infrage kommt und was sie kostet, steht im Ratgeber KI-Server selbst bauen.

Für den Büroalltag gut, für die schwierigsten Aufgaben nicht ganz so gut. An der Spitze öffentlicher Ranglisten stehen weiterhin große Cloud-Modelle. Die stärksten offenen Modelle sind ihnen nahe, aber für ein Büro zu groß. Die Modelle, die realistisch bei Ihnen laufen, schreiben, fassen zusammen und finden Antworten in Ihren Unterlagen zuverlässig.

Ranglisten wie die LMArena, in der Menschen Antworten verschiedener Modelle blind vergleichen, oder der Index von Artificial Analysis für offene Modelle helfen bei der Orientierung. Sie messen aber allgemeine Fähigkeiten, meist auf Englisch. Wie gut ein Modell Ihre Angebotstexte, Ihre Fachsprache oder Ihre Verträge versteht, verraten sie nicht.

Deshalb lohnt ein eigener Test mehr als jede Tabelle. Nehmen Sie zehn echte, aber unkritische Aufgaben aus Ihrem Alltag und lassen Sie zwei oder drei Modelle daran arbeiten. Die Unterschiede sehen Sie nach einer Stunde, nicht nach einem Monat Recherche.

Beginnen Sie bei Ihrer Aufgabe, nicht bei der Rangliste. Fragen Sie danach, wie gut das Modell Deutsch kann, ob die Lizenz gewerbliche Nutzung erlaubt, ob es in Ihren KI-Speicher passt und ob Sie dem Hersteller vertrauen. Wer diese fünf Fragen beantwortet, hat meist nur noch zwei oder drei Kandidaten übrig.

1. 01

   Was soll das Modell für uns tun?

   Texte entwerfen, lange Dokumente zusammenfassen, Antworten aus Handbüchern finden, Code schreiben oder Bilder lesen? Jede Aufgabe stellt andere Ansprüche. Wer nur Mails vorformulieren lässt, braucht kein Modell für Programmierer.

2. 02

   Wie gut ist es in unserer Sprache?

   Prüfen Sie Deutsch und Ihre Fachsprache an echten Beispielen. Ein Modell, das auf Englisch glänzt, kann bei Normen, Verträgen oder Praxisbegriffen ins Stolpern kommen.

3. 03

   Dürfen wir es gewerblich nutzen?

   Lesen Sie die Lizenz auf der Modellseite. Apache 2.0 und MIT sind unkompliziert. Bei eigenen Herstellerlizenzen und „nicht kommerziell“ ist Vorsicht geboten.

4. 04

   Passt es in unseren KI-Speicher?

   Rechnen Sie mit der Faustregel oben und lassen Sie Reserve für lange Texte und mehrere Kolleginnen und Kollegen, die gleichzeitig fragen. Ein Modell, das gerade so hineinpasst, wird im Alltag zäh.

5. 05

   Vertrauen wir der Herkunft?

   Ein Modell ist eine Datei. Es baut von sich aus keine Verbindung zum Hersteller auf, entscheidend ist die Software, die es ausführt. Trotzdem prägen Trainingsdaten und Herkunft die Antworten. Manche Betriebe legen deshalb in ihrer Richtlinie fest, aus welchen Ländern ihre Modelle kommen dürfen.

Ein Beispiel aus dem Alltag

Stellen Sie sich Katrin vor. Sie leitet das Büro eines Ingenieurbüros mit 25 Leuten. Der IT-Dienstleister schickt ihr eine Liste mit dreißig Modellen und der Bitte, sich eines auszusuchen. Katrin liest Vergleichsartikel, Ranglisten und Foren. Nach zwei Wochen weiß sie viel über Parameter und wenig darüber, was ihr Team eigentlich braucht.

Dann dreht sie die Frage um. Sie sammelt mit zwei Kollegen zehn typische Aufgaben: eine Ausschreibung zusammenfassen, eine Mängelanzeige formulieren, eine Frage zur Bauordnung aus dem eigenen Handbuch beantworten. Drei Modelle bekommen dieselben Aufgaben. Das größte schreibt am schönsten, braucht aber für jede Antwort spürbar länger. Ein mittleres trifft die Fachsprache fast genauso gut und antwortet sofort. Das Team entscheidet sich für das mittlere.

Katrin und ihr Büro sind ein Gedankenspiel. Den Verlauf erleben wir aber oft: Die Auswahl wird leicht, sobald die eigenen Aufgaben am Tisch liegen und nicht mehr die Ranglisten.

Das Urteil. Ein Modell kann Vorschläge machen, Texte entwerfen und Fundstellen nennen. Ob ein Angebot so rausgeht, ob eine Auskunft stimmt und ob eine Entscheidung zu Ihren Werten passt, entscheidet ein Mensch, der dafür einsteht. Lokal oder in der Cloud: An dieser Verantwortung ändert der Ort der Rechnung nichts.

Ein lokales Modell schafft Ihnen vor allem Ruhe in einer Frage: Ihre Daten bleiben im Haus. Das nimmt vielen Teams die Scheu, KI überhaupt mit echten Unterlagen auszuprobieren. Wer keine Angst haben muss, dass vertrauliche Angebote irgendwo landen, probiert neugieriger aus. Und Neugier ist der Anfang jeder guten KI-Einführung, wie der Ratgeber KI im Unternehmen einführen zeigt.

Dazu gehört auch, das Modell nicht zu überschätzen. Es weiß nur, was es gelernt hat, und es kennt Ihr Unternehmen nicht, solange Sie ihm keine Unterlagen geben. Wie eine lokale KI auf Ihre eigenen Dokumente zugreift, erklärt der Ratgeber Lokale KI für Unternehmen.

Wenn Sie das jeweils stärkste Modell am Markt brauchen, aktuelles Wissen aus dem Internet erwarten oder vor allem Bilder und Videos erzeugen wollen. Auch wenn niemand im Haus Updates und Modellwechsel begleiten kann, wird ein selbst betriebenes Modell schnell zur Last. Dann ist ein Cloud-Dienst oder ein fertig eingerichtetes Gerät die bessere Wahl.

Beim Helion KI-Server nehmen wir Ihnen diesen letzten Punkt ab: Er kommt mit einem offenen Modell, das wir für typische Büroaufgaben ausgesucht und auf seinen KI-Speicher abgestimmt haben. Was ein eigener Server im Vergleich zum Cloud-Abo kostet, rechnet der Ratgeber KI-Server-Kosten vor.