General•20. Nov. 2026

Warum pro Token bezahlen, wenn Sie Ihre eigene KI betreiben können?

Warum pro Token bezahlen, wenn Sie Ihre eigene KI betreiben können?

Wir haben schon immer in die besten verfügbaren KI-Tools investiert, darunter OpenAI, Anthropic und andere führende Anbieter. Es sind hervorragende Tools, und wir nutzen sie weiterhin dort, wo sie sinnvoll sind. Doch KI wurde schnell Teil unserer täglichen Produktion: Sie erzeugt heute jeden Tag strukturierte Daten, Texte, Zusammenfassungen und Klassifizierungen für unser Geschäft und speist diese direkt in unsere Systeme ein, einschliesslich unseres ERP. Je mehr unserer Prozesse auf KI liefen, desto mehr Tokens verbrauchten wir, und die Kosten stiegen Monat für Monat. Deshalb fiel für unsere zentralen Workloads mit hohem Volumen die Entscheidung: KI auf unserer eigenen dedizierten Infrastruktur betreiben.

In den vergangenen Monaten haben wir diese Infrastruktur aufgebaut, verwaltet und gewartet. Dieser Bericht zeigt, was es wirklich gebraucht hat: Server finden in einem Markt, in dem GPUs knapp sind, was das im Vergleich zur Abrechnung pro Token kostet, wie das System funktioniert, wie wir es sicher halten, was wir unterwegs gelernt haben und wohin wir es als Nächstes entwickeln.

Kosten, Verfügbarkeit und die Suche nach dem richtigen Hosting

Die erste Herausforderung war nicht technischer Natur. Es ging schlicht darum, einen Server zu finden.

KI hat eine enorme Nachfrage nach GPU-Hardware ausgelöst. Grosse Unternehmen und KI-Labore kaufen und mieten GPU-Kapazität in gewaltigem Umfang, und kleinere Unternehmen spüren das direkt. Als wir mit der Suche begannen, hatten viele Hosting-Anbieter überhaupt keine geeigneten GPU-Server verfügbar, andere hatten lange Wartezeiten, und die verfügbaren Angebote waren ausserordentlich teuer. Branchenberichte aus dem Jahr 2026 zeichnen dasselbe Bild: steigende GPU-Mietpreise, Lieferzeiten von vielen Monaten für neue High-End-GPUs und weiterhin steigende Serverpreise.

Wir brauchten mehr als nur Hardware. Unsere Kriterien waren:

  • Eine dedizierte GPU, nur für uns reserviert, mit vollem Zugriff auf die Karte statt nur auf einen geteilten Teil davon.
  • Ein fester Monatspreis, damit die Kosten unabhängig von der Nutzung planbar bleiben.
  • Ein zuverlässiges Rechenzentrum mit einer garantierten Verfügbarkeit von 99,9 % und professionellem Support.
  • Genügend Arbeitsspeicher und Speicherplatz, um grosse Sprachmodelle, Embedding-Modelle und unsere eigenen Daten parallel zu betreiben.

Schliesslich fanden wir dedizierte Server, die alle diese Punkte erfüllten: professionelle, leistungsstarke NVIDIA-GPUs mit einem festen Monatsvertrag.

Der Kostenvergleich: Tokens vs. Fixpreis

Hier wird die Entscheidung klar. Unsere Plattform verarbeitet derzeit rund 100 Millionen Tokens pro Woche, also etwa 430 Millionen Tokens pro Monat.

So viel würde dasselbe Volumen mit kommerziellen KI-APIs zu ihren offiziell veröffentlichten Standardpreisen kosten (November 2026):

Option

Preis pro 1 Mio. Tokens (Input / Output)

Geschätzt pro Monat

Geschätzt pro Jahr

Claude Sonnet 5.5 (Anthropic)

$2 / $10

~$1’540

~$18’500

GPT-6.2 Sol (OpenAI)

$2 / $10

~$1’540

~$18’500

Claude Opus 5.5 (Anthropic)

$4 / $20

~$3’090

~$37’000

GPT-6.2 Astra (OpenAI)

$8 / $40

~$6’170

~$74’100

So wurde gerechnet: rund 430 Millionen Tokens pro Monat, bei angenommenen 80 % Input und 20 % Output, was unserem Workload entspricht. Wäre der Output-Anteil höher, wären auch die API-Kosten höher. Die Preise sind Standard-Listenpreise ohne Rabatte oder Steuern.

Was die Zahlen zeigen:

  • Unser Server läuft zu einem festen Monatspreis, der deutlich unter selbst den mittleren Optionen dieser Tabelle liegt und nur einen Bruchteil dessen ausmacht, was die Top-Modelle kosten würden.
  • Bei einer API kostet jede zusätzliche Anfrage mehr. Auf unserem Server kostet mehr Nutzung nichts zusätzlich, bis die Hardware voll ausgelastet ist, und das ist sie nicht.
  • Die Kosten sind planbar. Keine überraschenden Rechnungen bei Nutzungsspitzen und keine Abhängigkeit von Preisänderungen eines Anbieters.

Der Fairness halber: Die allergünstigsten kleinen Cloud-Modelle kosten pro Token weniger. Sie sind aber deutlich kleinere Modelle, müssten für unsere Aufgaben erst getestet werden, und jede Anfrage würde unsere Daten trotzdem an einen Drittanbieter senden.

Was wir aufgebaut haben

  • Zwei dedizierte GPU-Server, von Grund auf eingerichtet und abgesichert: Betriebssystem, Zugriff, Firewall und Monitoring.
  • Open-Weight-KI-Modelle, die direkt auf der GPU laufen.
  • Unsere eigene KI-Plattform «Merkur»: ein Dashboard, in dem wir Modelle starten und stoppen, Zugriffsschlüssel verwalten, Nutzung und Kosten verfolgen, versionierte Prompts verwalten und KI-Ergebnisse prüfen.
  • Eine einheitliche Schnittstelle für alle Anwendungen, sodass die Umstellung eines bestehenden Tools von einem externen Anbieter auf unseren Server meist nur eine Konfigurationsänderung ist.

Datenschutz und Sicherheit

Datenschutz und Sicherheit waren vom ersten Tag an fest eingeplant:

  • Datenschutz: Für diese Workloads werden Kandidaten- und Kundendaten auf Servern verarbeitet, die nur für uns reserviert sind, und niemals mit KI-Anbietern geteilt. Die Lösung wurde mit Blick auf die DSGVO und das Schweizer Datenschutzgesetz konzipiert.
  • Gehärteter Zugriff: Anmeldung nur per Schlüssel, strikte Firewalls und Schutz vor Eindringversuchen.
  • Schwachstellenscans und Penetrationstests, um Schwachstellen proaktiv zu erkennen. Jede Nacht läuft automatisch ein Scan, und die Ergebnisse erscheinen direkt in unserem Dashboard.
  • Monitoring und sofortige Alarme, damit wir Probleme früh erkennen und reagieren können, bevor Nutzer betroffen sind.

Patchen in Zeiten ständiger Angriffe

Eigene Server zu betreiben bedeutet, dass niemand sie für uns patcht, und die Bedrohung ist real. Das Jahr 2026 hat gezeigt, dass selbst die am weitesten verbreitete und vertrauenswürdigste Software nicht sicher ist:

  • NGINX (Mai 2026): Eine kritische Lücke mit dem Spitznamen «NGINX Rift», die rund 16 Jahre lang im Code verborgen war, wurde innerhalb weniger Tage nach ihrer Veröffentlichung angegriffen. NGINX ist einer der meistgenutzten Webserver der Welt.
  • PHP (Oktober 2026): Zwei kritische Lücken in PHP selbst, bekannt als «PHP2Shell», wurden kurz nach ihrer Veröffentlichung weltweit aktiv ausgenutzt. Sie ermöglichten es Angreifern, ungepatchte Webserver aus der Ferne zu übernehmen, und gefährdeten damit Millionen von Websites.
  • Java (November 2026): Eine kritische Lücke in der Java-Laufzeitumgebung, «Java4Shell», wurde zusammen mit dem November-Sicherheitsupdate von Oracle offengelegt. Sie konnte es Angreifern ermöglichen, eigenen Code in Java-Anwendungen auszuführen.
  • Der Linux-Kernel, Container-Plattformen und Systembibliotheken erhalten ebenfalls jeden Monat Sicherheitsfixes.

Das Muster ist immer dasselbe: Sobald eine Lücke öffentlich ist, handeln Angreifer innerhalb weniger Tage. Der einzige echte Schutz ist schnelles und konsequentes Patchen. Unser Vorgehen:

  • Sicherheitsupdates werden regelmässig eingespielt, kritische Fixes sofort nach ihrer Veröffentlichung.
  • Jede Schicht ist abgedeckt: das Betriebssystem und der Kernel, der Webserver, die Programmiersprachen und Frameworks, die Datenbanken und alle Container, in denen die Plattform läuft.
  • Heikle Updates werden geplant. Updates des GPU-Treibers, des System-Kernels und der Container-Plattform werden getestet und in geplanten Wartungsfenstern installiert, denn ein einziges fehlerhaftes Treiberupdate kann die GPU lahmlegen.
  • Nächtliche Scans zeigen, was noch offen ist, damit nichts vergessen wird und jeder kritische Befund beachtet wird.

Unser Alarm-Bot

Wir haben einen eigenen Bot entwickelt, der die Plattform rund um die Uhr überwacht. Sobald eine Anfrage über unser KI-Gateway fehlschlägt, zum Beispiel weil ein Modell nicht antwortet oder eine Anwendung ungültige Anfragen sendet, schickt der Bot einen Alarm mit den Details in unseren Team-Chat. Dieselben Alarme erscheinen über eine Benachrichtigungsglocke in unserem Dashboard. Probleme erreichen uns innerhalb von Sekunden, wo immer wir sind, statt erst Stunden später von einem Nutzer entdeckt zu werden.

Lokal ist nicht dasselbe wie Frontier

In einem Punkt ist Ehrlichkeit wichtig: KI lokal zu betreiben bedeutet nicht, dass wir mit den Frontier-Modellen gleichauf sind.

Die fortschrittlichsten Closed-Source-Modelle von Anbietern wie OpenAI und Anthropic werden mit enormen Ressourcen trainiert und sind bei den schwierigsten Aufgaben weiterhin führend, etwa bei komplexem logischem Denken, anspruchsvollem Code und langen, mehrstufigen Arbeiten. Die Open-Source-Modelle, die wir betreiben, sind kleiner und bei diesen Aufgaben nicht gleichwertig.

Für unsere zentralen Workloads liefern offene Modelle jedoch die Qualität, die wir brauchen. Deshalb nutzen wir beides: Frontier-Cloud-Modelle dort, wo sie den grössten Mehrwert bringen, und unsere eigene Infrastruktur für die alltägliche Arbeit mit hohem Volumen.

Zudem verschiebt sich der Abstand zu unseren Gunsten. Alle paar Monate werden neue und bessere offene Modelle trainiert und veröffentlicht, die oft das Niveau erreichen, das ein oder zwei Jahre zuvor nur geschlossene Modelle hatten. Jedes Mal wird unser lokaler Workflow besser: Wir können ein neues Modell mit unseren eigenen Aufgaben testen und darauf umsteigen, ohne unsere Infrastruktur, unsere Anwendungen oder unsere Kosten zu ändern.

Weiterentwicklung

Systemdesign und Skalierung

Die Plattform wurde von Anfang an so konzipiert, dass sie wachsen kann. Die nächsten Schritte sind, die Last auf beide Server zu verteilen, mehr Anfragen parallel auf jeder GPU zu verarbeiten und für einfache Aufgaben kleinere, spezialisierte Modelle einzusetzen, damit das grosse Modell für die anspruchsvollen Aufgaben frei bleibt.

Datenwiederherstellung und Datenmanagement

Je mehr Geschäftsdaten über die Plattform laufen, desto wichtiger wird ihr Schutz, genauso wichtig wie ihre Verarbeitung. Unsere Prioritäten sind:

  • Automatische, verschlüsselte Backups, ausserhalb des Servers an einem separaten Standort in Europa gespeichert.
  • Regelmässige Wiederherstellungstests, denn ein Backup zählt erst, wenn es erfolgreich wiederhergestellt wurde.
  • Klare Regeln für den Datenlebenszyklus: was aufbewahrt wird, wie lange, wer darauf zugreifen kann und wann es gelöscht wird, im Einklang mit der DSGVO.
  • Ein dokumentierter Wiederherstellungsplan, damit die Plattform nach einem Hardwareausfall schnell und auf definierte Weise wieder in Betrieb genommen werden kann.

Deployment ohne Ausfallzeit

Heute erfordern manche Updates noch einen kurzen Neustart, weshalb wir sie in Wartungsfenstern planen. Das Ziel ist ein Deployment ohne Ausfallzeit: Die neue Version startet parallel zur alten, wird automatisch geprüft und übernimmt den Datenverkehr erst, wenn sie einwandfrei läuft. Geht etwas schief, bleibt der Datenverkehr auf der alten Version. So können wir Verbesserungen und Sicherheitsfixes jederzeit ausliefern, ohne dass unsere Nutzer oder das ERP etwas davon merken.

Weiter vorausgeblickt: ein lokaler GPU-Cluster

Heute mieten wir dedizierte Server. Langfristig denken wir über einen eigenen GPU-Cluster nach: mehrere GPUs, die als ein System zusammenarbeiten. Ein Cluster würde es uns ermöglichen, grössere und leistungsfähigere Modelle zu betreiben, deutlich mehr Anfragen gleichzeitig zu bedienen und weiterzulaufen, auch wenn eine Maschine gewartet wird oder ausfällt. Zusammen mit jedes Jahr besseren offenen Modellen würde uns das noch näher an Frontier-Qualität bringen, während unsere Daten weiterhin vollständig unter unserer eigenen Kontrolle bleiben.

Ob und wann das sinnvoll ist, hängt davon ab, wie unsere Nutzung wächst und wie sich der GPU-Markt entwickelt. Doch das Fundament, das wir gelegt haben, unsere eigene Plattform und die Erfahrung mit KI im Produktivbetrieb, macht diesen nächsten Schritt möglich.

Was wir gelernt haben

  • GPU-Speicher ist ein Budget. Jedes Modell muss sich seinen Platz verdienen.
  • Kleine Einstellungen, grosse Wirkung. Ein einziger Parameter kann entscheiden, ob Ergebnisse zuverlässig oder zufällig sind.
  • Prompts sind Code. Versionieren, testen, prüfen.
  • Erst messen, dann optimieren. Testen Sie, ob ein besserer Prompt ausreicht, bevor Sie in Fine-Tuning investieren.
  • Ein Live-System verändert alles. Sobald andere Systeme von Ihrem Server abhängen, braucht jeder Neustart einen Plan.
  • Sicherheit hört nie auf. Patchen, Scannen und Monitoring sind tägliche Arbeit, keine einmalige Einrichtung.

Das Ergebnis

Das Beste aus beiden Welten: führende Cloud-KI dort, wo sie den grössten Mehrwert bringt, und unsere eigene dedizierte Infrastruktur für die alltägliche Arbeit. Für unsere Workloads mit hohem Volumen bedeutet das tiefere und planbare Kosten, volle Kontrolle über unsere Daten und keine Abhängigkeit von einem einzelnen KI-Anbieter, auf einer Plattform, die darauf ausgelegt ist, mit uns zu wachsen.

KI auf diese Weise zu betreiben ist kein Plug-and-Play. Die Hardware zu finden war schwierig, und der Betrieb erfordert jeden Tag echtes Fachwissen und Disziplin. Aber wir würden dieselbe Entscheidung wieder treffen.

Wie geht Ihr Unternehmen mit KI um: Cloud, eigene Infrastruktur oder eine Mischung aus beidem? Wir würden gerne erfahren, wie andere das angehen.

Ähnliche Beiträge