Lokale KI für Unternehmen. Ihre Daten bleiben im Haus.
Was ist lokale KI?
Lokale KI ist künstliche Intelligenz, die vollständig auf einem Rechner in Ihrem eigenen Unternehmen läuft. Das Sprachmodell, Ihre Dokumente und alle Fragen und Antworten bleiben in Ihrem Netzwerk. Anders als bei ChatGPT oder Copilot gehen keine Eingaben an einen Cloud-Anbieter, und die KI arbeitet auch ohne Internetverbindung.
KI ist im Mittelstand angekommen. Mit ihr wächst die Frage, wohin die Daten dabei fließen.
- 57 %der Unternehmen ab 20 Beschäftigten nutzen KI, 2024 waren es 20 %.Bitkom 2026
- 66 %der Unternehmen, die KI nutzen, nennen Datenschutzanforderungen als Hemmnis.Bitkom 2026
- 4 von 10Unternehmen wissen oder vermuten, dass Beschäftigte private KI-Konten nutzen.Bitkom 2025
Laut Statistischem Bundesamt nutzten 2025 von den Unternehmen mit 50 bis 249 Beschäftigten 36 % KI, bei 10 bis 49 Beschäftigten 23 %.
Was unterscheidet lokale KI von ChatGPT und Copilot?
Der Unterschied liegt darin, wo gerechnet wird. Cloud-KI wie ChatGPT oder Microsoft Copilot verarbeitet jede Eingabe auf den Servern des Anbieters, meist gegen eine monatliche Gebühr pro Nutzer. Lokale KI rechnet auf einem Server in Ihren Räumen. Sie kaufen die Hardware einmal, und Ihre Daten verlassen das Firmennetz nicht.
| Frage | Lokale KI auf eigenem Server | Cloud-KI wie ChatGPT oder Copilot |
|---|---|---|
| Wo werden Eingaben verarbeitet? | Auf dem Server in Ihrem Netzwerk. | In Rechenzentren des Anbieters, oft außerhalb der EU. |
| Wer kann auf die Daten zugreifen? | Nur wer Zugang zu Ihrem Firmennetz hat. | Auch der Anbieter. US-Anbieter können nach dem CLOUD Act zur Herausgabe verpflichtet werden, auch bei Daten außerhalb der USA. |
| Was verlangt die DSGVO zusätzlich? | Kein KI-Anbieter als Auftragsverarbeiter, keine Drittlandübermittlung. | Vertrag zur Auftragsverarbeitung nach Art. 28 und Prüfung der Übermittlung nach Art. 44 ff. DSGVO. |
| Was kostet es? | Einmaliger Kaufpreis ab 6.490 € netto, keine Gebühr pro Nutzer. | Laufende Gebühr pro Nutzer und Monat, zum Beispiel Microsoft 365 Copilot Business mit 18,20 € netto. |
| Was passiert bei mehr Nutzern? | Die Kosten bleiben gleich, bis die Leistung des Servers ausgeschöpft ist. | Die Kosten steigen mit jeder weiteren Lizenz. |
| Wie abhängig sind Sie vom Anbieter? | Modell und Daten bleiben bei Ihnen, auch wenn ein Anbieter Preise oder Bedingungen ändert. | Preise, Funktionen und Nutzungsbedingungen legt der Anbieter fest. |
| Was passiert bei Internet-Ausfall? | Die KI arbeitet im Firmennetz weiter. | Ohne Internet keine KI. |
| Wie leistungsfähig ist die KI? | Offene Modelle, stark bei Texten, Zusammenfassungen und der Suche in eigenen Dokumenten. | Die größten Modelle am Markt, stärker bei sehr komplexen Aufgaben und aktuellem Weltwissen. |
Ehrlich gesagt: Die stärksten Cloud-Modelle sind bei sehr anspruchsvollen Aufgaben weiterhin vorn. Für den Büroalltag, also Entwürfe schreiben, lange Dokumente zusammenfassen und Antworten aus den eigenen Unterlagen finden, sind offene Modelle inzwischen gut geeignet. Das bestätigt auch der Praxistest der c’t.
Für welche Unternehmen lohnt sich lokale KI?
Lokale KI lohnt sich vor allem für Unternehmen, die mit vertraulichen Daten arbeiten und KI für viele Mitarbeitende einführen wollen. Dazu gehören Berufsgeheimnisträger wie Kanzleien, Steuerbüros und Arztpraxen, aber auch Betriebe mit Konstruktionsdaten, Personalakten oder Kundenverträgen. Je mehr Menschen die KI nutzen, desto stärker wirkt der Vorteil, dass keine Gebühr pro Kopf anfällt.
Kanzleien, Steuerbüros und Praxen
Ärztinnen, Anwälte, Steuerberater und weitere Berufsgruppen machen sich nach § 203 StGB strafbar, wenn sie anvertraute Geheimnisse unbefugt offenbaren. Die Bundesrechtsanwaltskammer hält die Übermittlung von Mandatsgeheimnissen an Sprachmodelle wie ChatGPT für nicht erforderlich und mit unkalkulierbaren Risiken verbunden. Die Bundessteuerberaterkammer nennt einen Einsatz „offline“ vorzugswürdig. Lokale KI hält diese Daten in der eigenen Kanzlei.
Konstruktion, Entwicklung und Fertigung
Zeichnungen, Rezepturen, Kalkulationen und Angebote sind oft das wertvollste Wissen eines Mittelständlers. Mit lokaler KI lassen sie sich durchsuchen und auswerten, ohne dass sie auf fremden Servern landen.
Personalwesen und Geschäftsführung
Bewerbungen, Gehälter, Beurteilungen und Verträge gehören zu den sensibelsten Daten im Unternehmen. Lokale KI kann Entwürfe schreiben und Unterlagen zusammenfassen, während die Daten im eigenen Haus bleiben.
Wann sich lokale KI eher nicht lohnt
Arbeiten nur zwei oder drei Personen gelegentlich mit KI, ist ein Abo oft günstiger. Brauchen Sie vor allem aktuelles Weltwissen aus dem Internet oder das jeweils stärkste Modell am Markt, ist Cloud-KI die bessere Wahl.
Was braucht man für lokale KI im eigenen Unternehmen?
Für lokale KI brauchen Sie drei Dinge: einen Server mit ausreichend KI-Speicher, passende Software aus Sprachmodell, Bedienoberfläche und Dokumentensuche und eine Einrichtung mit Nutzerkonten und Rechten. Wer das selbst zusammenstellt, braucht IT-Fachwissen und Zeit. Der Helion KI-Server kommt dagegen fertig vorinstalliert und im Werk geprüft zu Ihnen.
Hardware
Ein Server mit KI-Karten. Entscheidend ist der KI-Speicher auf den Karten: Er bestimmt, wie große Modelle laufen und wie viele Personen gleichzeitig fragen können. Beim Helion sind es je nach Modell 32, 48 oder 64 GB.
Software
Ein Sprachmodell, eine Bedienoberfläche im Browser, ein Wissensspeicher, der Ihre Dokumente durchsucht und Quellen nennt, sowie Nutzerkonten mit Rechten und 2-Faktor-Login.
Einrichtung
Anbindung an Ihr Netzwerk, Nutzerkonten anlegen, erste Dokumente einlesen. Beim Helion geht das selbst mit Anleitung, per Videocall für 350 € netto oder vor Ort für 1.200 € netto zzgl. Anfahrt.
Welcher Helion KI-Server passt zu Ihrem Team?
Alle drei Modelle stehen im selben Gehäuse, arbeiten ohne WLAN und Bluetooth nur über Ihr Netzwerkkabel und bringen dieselbe Software mit. Sie unterscheiden sich in der Zahl der KI-Karten und im Speicher.
| Modell | Mitarbeitende | Gleichzeitig aktiv | KI-Speicher | Wissen | Preis |
|---|---|---|---|---|---|
| Helion Pro | bis 20 Mitarbeitende | ca. 5 Personen | 32 GB | bis 1 Mio. Seiten | 6.490 € netto |
| Helion Max | bis 50 Mitarbeitende | ca. 10 bis 12 Personen | 48 GB | bis 2,5 Mio. Seiten | 8.990 € netto |
| Helion Ultra | bis 100 Mitarbeitende | ca. 20 Personen | 64 GB | bis 5 Mio. Seiten | 14.990 € netto |
Die Zahl gleichzeitig aktiver Personen ist ein Richtwert. Lieferung innerhalb von 14 Werktagen. Für mehr als 100 Mitarbeitende beraten wir Sie im Erstgespräch.
Ist lokale KI DSGVO-konform?
Lokale KI macht DSGVO-konformen KI-Einsatz deutlich einfacher, sie ist aber kein Freibrief. Weil keine Daten an einen KI-Anbieter gehen, entfallen die Auftragsverarbeitung für die KI und die Übermittlung in Drittländer. Die Grundpflichten bleiben bestehen: eine Rechtsgrundlage für jede Verarbeitung, angemessene Sicherheit und je nach Einsatz eine Datenschutz-Folgenabschätzung.
- Was sagen die Datenschutzbehörden?
- Die Datenschutzkonferenz unterscheidet offene Systeme, bei denen Eingaben den geschützten Bereich verlassen, von technisch geschlossenen Systemen und hält geschlossene Systeme für vorzugswürdig. In ihrer Orientierungshilfe zu RAG-Systemen legt sie ein Szenario zugrunde, in dem das System komplett beim Verantwortlichen läuft.
- Rechtsgrundlage
- Auch bei lokaler KI brauchen Sie für jede Verarbeitung personenbezogener Daten eine Rechtsgrundlage nach Art. 6 DSGVO, etwa einen Vertrag oder ein berechtigtes Interesse.
- Sicherheit
- Art. 32 DSGVO verlangt technische und organisatorische Maßnahmen nach dem Stand der Technik. Der Helion hat dafür kein WLAN und kein Bluetooth, ist nur über Ihr Netzwerk erreichbar, und Mitarbeitende melden sich mit 2-Faktor-Login an.
- Datenschutz-Folgenabschätzung
- Bei hohem Risiko für die Betroffenen verlangt Art. 35 DSGVO eine Folgenabschätzung. Die Datenschutzkonferenz geht davon aus, dass sie beim KI-Einsatz vielfach erforderlich sein wird.
- KI-Kompetenz
- Seit dem 2. Februar 2025 verlangt Art. 4 der KI-Verordnung von Unternehmen, die KI einsetzen, Maßnahmen zur KI-Kompetenz ihrer Beschäftigten. Das gilt für lokale wie für Cloud-KI. Einen Überblick gibt die Bundesnetzagentur.
Diese Übersicht ist keine Rechtsberatung. Für Ihren konkreten Einsatz sprechen Sie bitte mit Ihrer oder Ihrem Datenschutzbeauftragten.
Welche KI-Modelle laufen lokal?
Lokal laufen sogenannte offene Modelle, deren Gewichte die Hersteller zum Herunterladen freigeben. Dazu gehören gpt-oss von OpenAI, Gemma von Google, Mistral Small, Qwen von Alibaba und Llama von Meta. Viele stehen unter der Apache-2.0-Lizenz und dürfen gewerblich genutzt werden. Für die meisten Büroaufgaben reicht ihre Qualität heute aus.
| Modell | Hersteller | Lizenz |
|---|---|---|
| gpt-oss | OpenAI | Apache 2.0 |
| Gemma 4 | Apache 2.0 | |
| Mistral Small 3.2 | Mistral AI | Apache 2.0 |
| Qwen3 | Alibaba | Apache 2.0 |
| Llama 3.3 | Meta | eigene Community-Lizenz |
Beim Helion KI-Server müssen Sie kein Modell auswählen, herunterladen oder anpassen. Ein von uns geprüftes Modell ist ab Werk installiert und auf die KI-Karten abgestimmt.
Passt lokale KI zu Ihrem Unternehmen?
Im kostenlosen Erstgespräch schauen wir auf Ihre Nutzerzahl, Ihre Dokumente und Ihre Anforderungen an den Datenschutz. Danach wissen Sie, ob sich lokale KI für Sie lohnt und welches Modell passt.
Quellen
- Bitkom, Presseinformation vom 14.09.2026
- Bitkom, Presseinformation vom 21.10.2025
- Statistisches Bundesamt, KI-Nutzung in Unternehmen 2025
- Datenschutzkonferenz, Orientierungshilfe Künstliche Intelligenz und Datenschutz, 06.05.2024
- Datenschutzkonferenz, Orientierungshilfe zu generativen KI-Systemen mit RAG-Methode, Oktober 2025
- Art. 6 DSGVO
- Art. 28 DSGVO
- Art. 32 DSGVO
- Art. 35 DSGVO
- Art. 44 DSGVO
- Art. 4 KI-Verordnung (EU) 2024/1689
- Bundesnetzagentur, KI-Kompetenz
- 18 U.S.C. § 2713 (CLOUD Act)
- § 203 StGB
- BRAK, Hinweise zum Einsatz von KI, Stand 12/2024
- Bundessteuerberaterkammer, FAQ KI im steuerberatenden Berufsstand, 27.01.2026
- Microsoft, Microsoft 365 Copilot Business, Preisseite
- c’t, Lokale KI-Modelle sind jetzt brauchbar, 24.10.2025
- OpenAI gpt-oss auf Hugging Face
- Google, Gemma 4 unter Apache 2.0
- Mistral Small 3.2 auf Hugging Face
- Qwen3 auf Hugging Face
- Llama 3.3 auf Hugging Face
Alle Quellen abgerufen am 30. September 2026. Preise von Drittanbietern können sich ändern.
„Eine KI, der man seine Unterlagen anvertraut, gehört ins eigene Haus. Nicht auf fremde Server.“
Häufig gestellte
Fragen
Antworten zu lokaler KI und zum Helion KI-Server. Ihre Frage ist nicht dabei? Schreiben Sie uns.
