KI-Server selbst bauen oder kaufen?
Einen KI-Server selbst zu bauen lohnt sich, wenn jemand im Haus Linux, Netzwerk und KI-Software sicher betreiben kann. Die Software ist frei: Ollama als Motor, Open WebUI als Oberfläche, dazu offene Modelle. Die eigentliche Arbeit liegt in Einrichtung, Rechten, Back-ups und Updates. Fehlt diese Person, ist ein fertig eingerichteter KI-Server der kürzere Weg.
Diese Seite ist für alle, die über einen eigenen KI-Server nachdenken: was Sie für den Eigenbau brauchen, was die Hardware kostet, was lokale KI heute schon kann und wie der Weg ohne eigenen Admin aussieht.

Wie können Unternehmen lokale KI heute schon nutzen?
Im Kern gibt es zwei Wege, lokale KI im Unternehmen zu betreiben. Erstens: selbst bauen, mit offener Software wie Ollama und Open WebUI auf eigener Hardware. Zweitens: große KI-Hardware von Nvidia oder Apple kaufen und selbst einrichten. Beide brauchen jemanden im Haus, der den Betrieb übernimmt. Ein dritter Weg ist ein fertig eingerichteter KI-Server.
Selbst bauen, mit offener Software
Sie brauchen Hardware, auf der das läuft, und jemanden im Haus, der das kann. Es gibt Open WebUI, Ollama, offene Modelle und Anleitungen, die Sie herunterladen und bei sich lokal laufen lassen. Die Chat-Oberfläche von Open WebUI ist ChatGPT ziemlich ähnlich.
Große KI-Hardware kaufen
Nvidia, Apple und Systeme mit RTX-Pro-Karten sind Hardware, die enorm gut darin ist, KI-Modelle zu verarbeiten. Der Nachteil sind Einrichtung und Betrieb: Auch hier brauchen Sie einen Admin und viel Zeit und Geld, bis es läuft.
Fertig eingerichtet kaufen
Der dritte Weg ist ein KI-Server, der vorinstalliert ankommt: bestellen, anschließen, im Browser loslegen. Genau dafür haben wir den Helion KI-Server gebaut. Mehr dazu weiter unten.
Wie lokale KI technisch funktioniert, warum die Daten dabei im Haus bleiben und welche Modelle es gibt, erklären wir im Ratgeber lokale KI für Unternehmen.
Was brauchen Sie, um einen KI-Server selber zu bauen?
Für einen selbst gebauten KI-Server brauchen Sie einen Rechner mit viel Grafikspeicher, einen Motor wie Ollama, offene Sprachmodelle und eine Oberfläche wie Open WebUI. Die Software kostet nichts. Danach legen Sie Nutzer an, binden Dokumente an und testen. Für Rechte, Back-ups, Updates und Modellwechsel braucht es dauerhaft jemanden im Haus.

Rechner mit viel Grafikspeicher
Das Modell wird im Grafikspeicher gerechnet. Je größer das Modell und je mehr Menschen gleichzeitig fragen, desto mehr Speicher brauchen Sie. Je besser die Grafikkarte, desto schneller die Antwort.
Motor installieren
Ollama führt die Modelle aus. Es ist kostenlos, steht unter der MIT-Lizenz und läuft auf macOS, Windows und Linux (Ollama auf GitHub).
Modelle herunterladen
Offene Modelle wie Qwen, Gemma oder gpt-oss sind große Dateien, Dutzende bis einige Hundert Gigabyte. Welches Modell passt, hängt von Ihrem Grafikspeicher und Ihren Aufgaben ab.
Oberfläche aufsetzen und Nutzer anlegen
Open WebUI ist die Chat-Oberfläche im Browser, mit Nutzerkonten und Rollen. Installiert wird sie meist per Docker (Open WebUI Dokumentation).
Dokumente anbinden und testen
Hier liegt die eigentliche Arbeit: Unterlagen einlesen, Wissensbereiche und Rechte festlegen, prüfen, ob die Antworten stimmen.
Betreiben
Rechte, Back-ups, Updates, Modellwechsel, Betrieb: Es muss einfach jemand im Haus sein, der das gut kann. Und zwar auf Dauer, nicht nur am ersten Tag.
„Wenn Sie Leute im Haus haben, die das können: Machen Sie das. Das ist jeden Cent wert.“
Worauf müssen Sie beim Eigenbau achten?
Auf den Zugang. Ollama hat an seiner Schnittstelle keine eigene Anmeldung und ist ab Werk nur auf dem Rechner selbst erreichbar (Ollama FAQ). Wer es fürs Team im Netzwerk freigibt, muss den Zugang selbst absichern. Wie oft das schiefgeht, zeigt eine Auswertung von Cisco Talos aus dem September 2025: Über 1.100 Ollama-Server waren offen aus dem Internet erreichbar, 8,9 Prozent davon in Deutschland (The Register).
Auf die Lizenz. Ollama steht unter der MIT-Lizenz. Open WebUI verlangt seit Version 0.6.6, dass Name und Logo sichtbar bleiben, sobald mehr als 50 Personen in 30 Tagen die Oberfläche nutzen. Wer das Erscheinungsbild ändern will, braucht dann eine Enterprise-Lizenz (Lizenz von Open WebUI).
Was kostet die Hardware für einen eigenen KI-Server?
Hardware für lokale KI ist 2026 deutlich teurer geworden, weil Speicherbausteine knapp sind. Eine Nvidia DGX Spark kostet 4.800 €, ein Mac Studio mit M5 Ultra ab 8.029 €, eine einzelne RTX Pro 6000 mit 96 GB rund 14.000 €. Dazu kommen Einrichtung und Betrieb, die beim Eigenbau Ihre eigene Arbeitszeit kosten.
| System | Speicher für KI | Preis | Hinweis |
|---|---|---|---|
| Nvidia DGX Spark | 128 GB gemeinsamer Speicher | 4.800 € (Founders Edition) | Kompakter Rechner für KI-Entwicklung, Preis seit Februar 2026 |
| Apple Mac Studio M5 Ultra | 96 GB oder 256 GB gemeinsamer Speicher | ab 8.029 €, mit 256 GB 10.999 € | Ab 22. September 2026 erhältlich |
| Nvidia RTX Pro 6000 Blackwell | 96 GB Grafikspeicher | rund 14.000 €, nur die Karte | Rechner, Netzteil und Kühlung kommen hinzu |
| Helion KI-Server | 32, 48 oder 64 GB KI-Speicher | 6.490 € bis 14.990 € netto | Komplettgerät, vorinstalliert, für Teams bis 100 Personen |
Preise von Drittanbietern laut den verlinkten Berichten, in der Regel inklusive Mehrwertsteuer, und schwankend. Preise des Helion KI-Servers netto zuzüglich Mehrwertsteuer. Speicherangaben sind nur grob vergleichbar: Bei DGX Spark und Mac Studio teilen sich Prozessor und KI denselben Speicher.
„Da zahlt man für Hardware, die enorm gut darin ist, KI-Modelle zu verarbeiten. Der Nachteil sind Einrichtung und Betrieb.“
Eigenbau oder fertiger KI-Server: Was ist der Unterschied?
Beim Eigenbau bekommen Sie volle Freiheit und zahlen mit Arbeitszeit: Auswahl, Installation, Rechte, Sicherheit und Updates liegen bei Ihnen. Ein fertiger KI-Server wie der Helion KI-Server kommt vorinstalliert, wird im Browser bedient und ist in 10 Minuten startklar. Beides hält Ihre Daten im Haus. Der Unterschied liegt darin, wer den Betrieb trägt.
| Frage | Eigenbau mit Ollama und Open WebUI | KI-Hardware, z. B. DGX Spark, Mac Studio | Helion KI-Server |
|---|---|---|---|
| Hardware | selbst auswählen und zusammenbauen | fertiges Gerät vom Hersteller | fertiges Gerät, im Werk geprüft |
| Software | Ollama, Open WebUI und Modelle selbst installieren | selbst installieren | vorinstalliert: KI-Chat, Unternehmensgedächtnis, Wissensspeicher, Skills, Erinnerungen, Diktat und Vorlesen |
| Start | Tage bis Wochen, je nach Erfahrung | Tage bis Wochen, je nach Erfahrung | mit Schritt-für-Schritt-Anleitung in 10 Minuten startklar |
| Nutzer und Rechte | in Open WebUI selbst einrichten | selbst einrichten | im Browser, 2-Faktor-Login je Nutzer |
| Eigene Dokumente | selbst anbinden und testen | selbst anbinden und testen | Wissensspeicher „My World“, jede Antwort mit Quelle |
| Zugang und Netzwerk | selbst absichern | selbst absichern | kein WLAN, kein Bluetooth, nur über Ihr Netzwerk erreichbar |
| Updates und Betreuung | Ihr Admin | Ihr Admin | signierte Updates per USB-Stick, Betreuung im individuellen Plan |
| Kosten | Hardware plus Arbeitszeit | ab 4.800 € plus Arbeitszeit | 6.490 € netto, 8.990 € netto oder 14.990 € netto, keine Gebühr je Nutzer |
| Passt zu | Unternehmen mit erfahrener IT im Haus | Entwicklern und Einzelplätzen | Teams bis 100 Personen ohne eigenen KI-Admin |
Zeitangaben für den Eigenbau sind Erfahrungswerte, kein fester Wert. Einrichtung des Helion KI-Servers per Videocall 350 € netto, vor Ort 1.200 € netto zuzüglich Anfahrt, in Eigenregie inklusive. Versand innerhalb Deutschlands kostenlos, Lieferung in 14 Werktagen.
Was kann lokale KI heute schon?
Lokale KI übernimmt heute schon mühsame Arbeit mit sensiblen Daten: Protokolle schreiben, Lastenhefte gegen Normen prüfen, E-Mails und Angebote vorformulieren. Drei Beispiele zeigen, wie das mit dem Helion KI-Server aussieht. Die ersten beiden gehen mit dem Standardgerät. Das dritte braucht die Anbindung an Ihr Postfach und ist Teil der Enterprise-Version.

Standardausführung
Meeting und Protokoll
Gesellschafterversammlung, Teammeeting: Da wird viel gesagt, das nachbereitet werden muss, und niemand hat mehr Lust, Protokolle zu schreiben. Max spricht seine Notizen direkt nach dem Termin ein, der Helion KI-Server schreibt mit und macht daraus ein Protokoll. Es kann um die sensibelsten Themen gegangen sein, um neue Produktlinien oder die nächsten Schritte im Wettbewerb. Alles bleibt im eigenen Haus.
Standardausführung
Normprüfung eines Kundenlastenhefts
Ein Kundenlastenheft kommt rein, und Max fragt sich: Erfüllt unsere Baureihe X die Anforderungen? Das händisch zu prüfen, ist eine Heidenarbeit. Max gibt das Lastenheft hinein, der Helion KI-Server prüft es gegen die hinterlegten Normen und Datenblätter, nennt die Stellen, die mit dem Kunden zu klären sind, und schreibt auf Wunsch gleich die E-Mail dazu. Max prüft und spart sich Stunden.
Enterprise-Version
Angebot aus dem Postfach
Kurz vor Feierabend kommt eine Anfrage, die heute noch raus muss. In der Enterprise-Version ist der Helion KI-Server an die Infrastruktur des Unternehmens angebunden, zum Beispiel an das Microsoft-Postfach. Der Helion KI-Server liest die Anfrage, erstellt aus dem Firmenwissen ein Angebot im Corporate Design und legt die Antwortmail als Entwurf ins Postfach. Max liest gegen und drückt auf Senden.
Standardausführung des Helion KI-Servers: KI-Chat, Unternehmensgedächtnis, Wissensspeicher, Skills, Erinnerungen, Diktat und Vorlesen, ohne Schnittstelle zu anderen Programmen. Enterprise-Version: individuelle Anbindung an Ihre Systeme, Umfang und Preis auf Anfrage.
Stimmen die Mythen über lokale KI?
Die gängigen Mythen über lokale KI sind Herausforderungen, aber kein Grund, auf sie zu verzichten. Tempo und Leistung hängen von der Hardware ab, die Kosten fallen einmal statt jeden Monat an, und eigene Dokumente kann lokale KI sehr wohl lesen. Ohne Internet beruhen die Antworten auf Ihrem Firmenwissen. Die Antworten auf alle sechs Mythen stehen unten in den Fragen.
- Lokale KI ist zu langsam.
- Lokale KI ist zu teuer.
- Lokale KI ist nicht performant.
- Lokale KI kann keine Daten lesen und ausgeben.
- Wie soll sie so gut sein, wenn sie nicht im Internet ist?
- Das ist nur was für Terminal-Nerds.
„Ich bin auch kein Terminal-Nerd.“
Wie nutzen Sie lokale KI ohne eigenen Admin?
Ohne eigenen Admin brauchen Sie einen KI-Server, der fertig eingerichtet ankommt: bestellen, anschließen, Laptop aufklappen und loslegen. Der Helion KI-Server ist genau so gebaut. Es gibt ihn in drei Größen für 20, 50 und 100 Mitarbeitende, vorinstalliert und im Werk geprüft. Bedient wird er im Browser.
Giannina Pfefferkorn vergleicht das gern mit ihrem MacBook: Sie will nicht wissen, welche Hardware verbaut ist oder wie die Software funktioniert. Sie will es bestellen, aufklappen und nutzen können. Und wenn der Kaffee drüberläuft, gibt es einen Support. Genau das braucht es auch für lokale KI: bezahlbar, im Alltag einfach zu nutzen und einfach zu starten.

| Modell | Mitarbeitende | Gleichzeitig aktiv | KI-Karten | Wissen | Preis |
|---|---|---|---|---|---|
| Helion Pro | bis 20 Mitarbeitende | ca. 5 Personen | 1 KI-Karte mit 32 GB KI-Speicher | bis 1 Mio. Seiten | 6.490 € netto |
| Helion Max | bis 50 Mitarbeitende | ca. 10 bis 12 Personen | 2 KI-Karten, zusammen 48 GB KI-Speicher | bis 2,5 Mio. Seiten | 8.990 € netto |
| Helion Ultra | bis 100 Mitarbeitende | ca. 20 Personen | 2 KI-Karten, zusammen 64 GB KI-Speicher | bis 5 Mio. Seiten | 14.990 € netto |
Die Modelle unterscheiden sich in KI-Speicher und Datenspeicher, denn unterschiedlich starke Hardware verarbeitet unterschiedlich viele Anfragen. Was der Betrieb über drei und fünf Jahre kostet, rechnen wir im Ratgeber KI-Server-Kosten vor.
Selbst bauen oder fertig kaufen: Was passt zu Ihnen?
Sagen Sie uns, wie viele Personen mit der KI arbeiten sollen und wer bei Ihnen die IT betreut. Im kostenlosen Erstgespräch klären wir ehrlich, ob sich der Eigenbau für Sie lohnt oder ein Helion KI-Server der bessere Weg ist.
Quellen
- Ollama, Projektseite auf GitHub (MIT-Lizenz, macOS, Windows, Linux)
- Ollama, Dokumentation: FAQ (lokaler Betrieb, parallele Anfragen, Netzwerkzugriff)
- Open WebUI, Dokumentation (Offline-Betrieb, Dokumente, Rollen und Rechte)
- Open WebUI, Lizenz (Markenklausel ab Version 0.6.6, 50 Nutzer)
- The Register, über 1.100 offen erreichbare Ollama-Server (Studie Cisco Talos), 02.09.2025
- ComputerBase, Nvidia DGX Spark: Preis der Founders Edition steigt auf 4.800 €, 27.02.2026
- ComputerBase, Mac Studio mit M5 Ultra: Preise, 25.08.2026
- PC Games Hardware, RTX Pro 6000: Nvidia macht Profi-GPU 55 Prozent teurer, Juni 2026
Alle Quellen abgerufen am 1. Oktober 2026. Preise von Drittanbietern können sich ändern. Zitate aus dem Impulsvortrag von Giannina Pfefferkorn zum Launch des Helion KI-Servers, sprachlich leicht geglättet. Alle Preise des Helion KI-Servers netto zzgl. MwSt., Verkauf nur an Unternehmen.
„Wenn Wissen unser wichtigstes Kapital ist, warum geben wir die Infrastruktur, die es verarbeitet, aus der Hand? Sie gehört in unsere eigenen Hände.“
Häufig gestellte
Fragen
Antworten zu den Mythen über lokale KI und zum Eigenbau. Ihre Frage ist nicht dabei? Schreiben Sie uns.
