KI-Souveränität in der Schweiz: Was es wirklich kostet und was Sinn macht

Alle paar Wochen stellt uns jemand die gleiche Frage: "Könnt ihr GPUs hosten, damit wir AI-Workloads in der Schweiz betreiben können?"

Die Antwort ist differenzierter als Ja oder Nein. Wir führen dieses Gespräch mit Schweizer Unternehmen aus verschiedenen Branchen seit 2024, von Agenturen, die AI-getriebene Produkte bauen, bis zu Konzernen mit strikten Compliance-Anforderungen. Das Muster ist immer gleich: Es gibt ein vages Gefühl, dass AI-Workloads lokal laufen sollten, aber die Wirtschaftlichkeit und die tatsächlichen Anforderungen werden selten offen diskutiert.

Dieser Beitrag ist diese offene Diskussion. Was GPU-Hosting wirklich kostet, wo bestehende Hardware bereits mehr abdeckt als die meisten denken, und warum die wichtigste Frage meist nicht "Wo läuft das Modell?" ist, sondern "Wo leben meine Daten?"

Alle fragen, niemand hat konkrete Anforderungen

Das ist das Erste, was uns aufgefallen ist. Das Interesse an souveräner AI-Infrastruktur ist real und wächst. Unternehmen hören von Datenschutzbedenken bei US-Cloud-Anbietern, lesen über europäische KI-Regulierungen und schlussfolgern, dass sie lokale GPU-Kapazitäten brauchen.

Aber wenn wir fragen "Welches Modell wollen Sie betreiben? Welche Latenz brauchen Sie? Welchen Durchsatz?", ist die Antwort meistens "Wissen wir noch nicht" oder "Wir evaluieren noch." Es gibt selten ein spezifisches Modell, einen spezifischen Datensatz oder eine spezifische SLA-Anforderung hinter der Anfrage.

Das ist keine Kritik. Der AI-Bereich bewegt sich so schnell, dass die meisten Organisationen noch herausfinden, wo KI in ihre Produkte und Workflows passt. Aber es bedeutet, dass die Infrastrukturentscheidung, die signifikante Kapitalinvestitionen erfordert, von einem allgemeinen Gefühl statt von konkreten Anforderungen getrieben wird.

Unser Ansatz: Starten Sie mit dem, was Sie heute tatsächlich brauchen, nicht mit dem, was Sie in zwei Jahren vielleicht brauchen.

Die ehrliche Wirtschaftlichkeit von GPU-Hardware

Sprechen wir über Zahlen, denn hier werden die meisten Gespräche unangenehm.

Einstieg: Workstation-GPUs (was heute existiert). Karten wie die NVIDIA RTX A2000 mit 12 GB VRAM sind bereits in einigen Datacenter-Servern verbaut. Sie sind nicht für grossangelegte AI-Inferenz gedacht, aber sie können mehr als die meisten erwarten: Computer-Vision-Modelle, Bildklassifizierung, Video-Transcoding, CAD-Rendering und quantisierte Sprachmodelle in der 7B-Parameter-Klasse. Wenn Ihr Use Case in 12 GB VRAM passt, können Sie heute starten, ohne neue Hardware zu beschaffen.

Mittelklasse: dedizierte AI-Karten. Die NVIDIA L4 mit 24 GB VRAM ist der aktuelle Sweet Spot für Inferenz bei vertretbaren Kosten. Ein Server mit mehreren L4-Karten liegt im Bereich von CHF 50-80k je nach Konfiguration. Das deckt die meisten produktiven Inferenz-Workloads für Modelle bis 13B Parameter ab (oder grössere Modelle mit Quantisierung).

High-End: Training und Inferenz grosser Modelle. Die NVIDIA A100 (80 GB HBM) und H100 (80 GB HBM3) sind der Industriestandard für ernsthafte AI-Workloads. Ein einzelner GPU-optimierter Server mit 8x H100-Karten kostet ab CHF 300k aufwärts. Unter Volllast zieht eine einzelne H100 rund 700W. Ein voll bestückter Server mit Kühlung braucht entsprechend Strom und Rack-Space.

Dazu kommt der Beschaffungsprozess. Seit November 2023 verlangen US-Exportvorschriften eine Dokumentation von Endkunde und Verwendungszweck für High-End-NVIDIA-GPUs. Hersteller wie Supermicro führen einen Genehmigungsprozess durch. Das fügt Wochen zu den Lieferzeiten hinzu.

Die CAPEX-Realität für Infrastruktur-Anbieter. GPU-Hosting ist nicht wie CPU-Hosting, wo die Auslastung über viele Kunden geteilt werden kann. GPUs sind teuer, stromhungrig, und die Technologie bewegt sich schnell. Eine heute gekaufte H100 wird möglicherweise nächstes Jahr von einer neuen Architektur zu einem niedrigeren Preis übertroffen. Damit ein Schweizer Infrastruktur-Anbieter sechsstellig in GPU-Hardware investiert, braucht es Planungssicherheit durch konkrete Kunden-Commitments. Ohne das gehen die Zahlen nicht auf.

Wir sind hier ehrlich. Wir tun nicht so, als hätten wir ein Lager voller H100-Server für Kunden bereitstehen. Was wir haben, ist die Plattform und die operative Fähigkeit, GPU-Workloads auf unserer Managed-Kubernetes-Infrastruktur zu betreiben, sobald die Hardware vorhanden ist, und die Bereitschaft, Hardware zu beschaffen, wenn ein konkretes Projekt dahintersteht.

Was heute auf bestehender Infrastruktur funktioniert

Die Lücke zwischen "wir haben nichts" und "wir brauchen H100-Cluster" ist grösser als die meisten denken. Es gibt eine Mitte, die viele reale Use Cases abdeckt:

Quantisierte Sprachmodelle. Ein 7B-Parameter-Modell, quantisiert auf 4-bit, läuft in unter 4 GB VRAM. Das passt auf die Einstiegs-GPUs, die wir bereits in unseren Rechenzentren haben. Die Qualität ist überraschend gut für fokussierte Aufgaben: Zusammenfassung, Klassifikation, Code-Completion, Dokument-Q&A. Es ist nicht GPT-4, aber für viele Geschäftsanwendungen muss es das nicht sein.

Computer Vision und Klassifikation. Kundenspezifisch trainierte Modelle für Bilderkennung, Qualitätskontrolle, Dokumentenverarbeitung. Diese sind typischerweise klein (unter 1 GB) und laufen effizient auf Workstation-GPUs. Mehrere unserer Kunden betreiben diese Workloads bereits auf unserer Plattform.

Videoverarbeitung. Moderne GPUs haben dedizierte Encode/Decode-Engines, die Video-Transcoding erledigen, ohne die CUDA-Cores zu belasten, die für AI-Inferenz verwendet werden. Das heisst, Sie können Videoverarbeitung und leichtgewichtige Modell-Inferenz auf der gleichen GPU ohne Konkurrenz betreiben.

Embedding-Generierung. Dokumente in Vektor-Embeddings für RAG-Systeme umzuwandeln ist GPU-beschleunigt, braucht aber keine High-End-Hardware. Embedding-Modelle sind klein (typischerweise unter 2 GB) und Batch-Verarbeitung kann auf jeder GPU mit genügend VRAM laufen.

Der Punkt: Wenn Ihr Use Case in die Grenzen bestehender Hardware passt, können Sie in Wochen in Produktion sein, nicht in Monaten. Keine neue Beschaffung, keine Export-Genehmigungen, keine sechsstelligen Investitionsentscheidungen. Sprechen Sie mit uns über das, was bereits verfügbar ist.

Apple Silicon: die unerwartete Mittelklasse

Eine Entwicklung, die erwähnenswert ist: Apple Silicon Macs mit Unified Memory werden zu einer tragfähigen Option für lokale AI-Inferenz. Ein Mac Studio mit M4 Ultra kann mit bis zu 192 GB Unified Memory konfiguriert werden, das zwischen CPU und GPU geteilt wird.

Für AI-Inferenz bedeutet das: Sie können Modelle laden, die auf NVIDIA-Hardware eine A100 (80 GB) oder sogar eine H100 erfordern würden. Die Inferenzgeschwindigkeit ist langsamer als bei dedizierten NVIDIA-GPUs mit HBM3-Speicher, aber für viele Use Cases ist eine Latenz von ein paar Sekunden pro Generation völlig akzeptabel.

Die Wirtschaftlichkeit ist eine andere. Ein High-End Mac Studio kostet einen Bruchteil eines äquivalenten NVIDIA-GPU-Servers, verbraucht deutlich weniger Strom und braucht keine spezielle Kühlung oder Rack-Infrastruktur. Für Organisationen, die lokale Inferenz grösserer Modelle brauchen, aber keine sechsstelligen Hardware-Investitionen rechtfertigen können, ist das ein pragmatischer Weg.

Wir evaluieren, gehostete Mac-Infrastruktur anzubieten, ähnlich wie es andere Schweizer Anbieter bereits im dedizierten Apple-Silicon-Bereich tun. Wenn das für Ihren Use Case relevant ist, melden Sie sich.

Die eigentliche Erkenntnis: Datensouveränität ist wichtiger als Model-Hosting

Hier wollen wir das Gespräch grundlegend umrahmen.

Wenn ein Unternehmen sagt "wir brauchen KI-Souveränität", meinen sie meist: "Wir können unsere sensiblen Daten nicht an einen US-Cloud-Anbieter schicken." Das ist eine berechtigte Sorge. Aber die Lösung ist nicht zwangsläufig ein eigener GPU-Cluster.

Überlegen Sie, was in den meisten AI-Anwendungen tatsächlich passiert:

1. Ihre Dokumente, Kundendaten, interne Wissensbasis, das sind Ihre sensiblen Assets
2. Sie werden in Chunks aufgeteilt, in Embeddings umgewandelt und in einer Vektor-Datenbank gespeichert
3. Wenn ein Benutzer eine Frage stellt, werden die relevanten Chunks abgerufen (RAG)
4. Die Chunks plus die Frage werden an ein Sprachmodell zur Antwortgenerierung geschickt

Schritte 1-3 betreffen Ihre Daten und sollten absolut auf Infrastruktur laufen, die Sie kontrollieren. Ein Managed-Kubernetes-Cluster in einem Schweizer Rechenzentrum, mit pgvector für Embeddings und korrektem Backup und Zugriffskontrolle, gibt Ihnen volle Souveränität über Ihre Daten.

Schritt 4, die Modell-Inferenz, ist wo die Nuance liegt. Das Modell selbst ist zustandslos. Es empfängt einen Prompt, generiert eine Antwort und vergisst alles. Wenn Sie personenbezogene Daten aus dem RAG-Kontext entfernen, bevor Sie ihn an das Modell senden, reduziert sich die Souveränitätsfrage erheblich.

Die pragmatische Architektur für die meisten Schweizer Unternehmen:

• Daten-Schicht: Schweiz-gehostet, auf Ihrem Managed-Kubernetes-Cluster. Vektor-Datenbank, Dokumentenspeicher, Embedding-Pipeline, RAG-Retrieval. Volle Kontrolle, volle Souveränität.
• Modell-Schicht: Nutzen Sie das beste Modell für die Aufgabe. Das kann eine Cloud-API sein (OpenAI, Anthropic, Google) für General-Purpose Reasoning, ein gehostetes Open-Source-Modell für spezifische Aufgaben, oder ein lokales quantisiertes Modell für die sensitivsten Operationen.

Dieser hybride Ansatz gibt Ihnen Datensouveränität dort, wo sie zählt (Ihre Daten verlassen nie die Schweiz), während Sie die besten verfügbaren Modelle nutzen, unabhängig davon, wo sie laufen. Und er kostet einen Bruchteil eines eigenen GPU-Clusters.

Wann Sie tatsächlich lokale GPU-Inferenz brauchen

Es gibt legitime Fälle, in denen Cloud-Modell-APIs keine Option sind:

Regulierte Branchen mit strikter Datenresidenz. Gesundheitswesen, Finanzwesen, öffentliche Verwaltung. Wenn Vorschriften explizit verlangen, dass keine Daten das Land verlassen, auch nicht temporär, brauchen Sie lokale Inferenz. Anmerkung: Die meisten Vorschriften, die uns begegnen, betreffen Datenspeicherung und -verarbeitung, nicht transiente API-Aufrufe. Lesen Sie Ihre tatsächlichen Compliance-Anforderungen, nicht die Zusammenfassung.

Air-Gapped Umgebungen. Verteidigung, kritische Infrastruktur. Keine Internetverbindung bedeutet keine Cloud-APIs. Das ist ein klarer Fall für lokale Inferenz auf dedizierter Hardware.

Latenz-kritische Echtzeitverarbeitung. Wenn Sie Sub-100ms-Inferenzlatenz bei hohem Durchsatz brauchen (Qualitätskontrolle in der Fertigung, Echtzeit-Videoanalyse), fügen Netzwerk-Roundtrips zu Cloud-APIs inakzeptable Verzögerung hinzu. Lokale GPUs mit optimiertem Serving (vLLM, Triton) lösen das.

Kostenoptimierung bei Scale. Wenn Sie Millionen von Inferenz-Aufrufen pro Tag ausführen, können die Per-Token-Kosten von Cloud-APIs die amortisierten Kosten eigener GPUs übersteigen. Aber diese Schwelle ist höher, als die meisten denken, und sie verschiebt sich laufend, da Cloud-Anbieter ihre Preise senken.

Für diese Fälle entwerfen und betreiben wir GPU Node Pools auf unserer Managed-Kubernetes-Plattform. Die Workloads laufen auf der gleichen Plattform, mit der gleichen Observability, GitOps und operativem Support wie alles andere.

Unser Ansatz

Wir werden Ihnen keine GPU-Hardware verkaufen, die Sie noch nicht brauchen. Unser Vorgehen:

1. Starten Sie mit der Daten-Schicht. Bringen Sie Ihre RAG-Pipeline, Vektor-Datenbank und Dokumentenverarbeitung auf Schweizer Infrastruktur. Hier zählt Souveränität tatsächlich und hier bekommen Sie sofortigen Nutzen.
2. Nutzen Sie Cloud-Modelle pragmatisch. Für die meisten Use Cases sind Cloud-APIs der schnellste Weg in die Produktion. Bewerten Sie Datensensitivität pro Use Case, nicht als Pauschalregel.
3. Upgraden Sie auf lokale Inferenz, wenn der Use Case konkret ist. Wenn Sie wissen, welches Modell, welchen Durchsatz und welche Latenz Sie brauchen, beschaffen wir Hardware und richten GPU-Compute auf Ihrem Managed Cluster ein. Wir sind transparent bei den Kosten, damit Sie eine fundierte Entscheidung treffen können.
4. Erkunden Sie die Mitte. Quantisierte Modelle auf bestehenden GPUs, Apple Silicon für Mittelklasse-Workloads und optimierte Inferenz-Frameworks decken mehr ab, als Sie erwarten.

Wenn Sie am Anfang Ihrer KI-Reise stehen und sich fragen, wo Sie anfangen sollen, ist die Antwort fast immer: Starten Sie mit Ihren Daten, nicht mit Ihren GPUs. Vereinbaren Sie einen Termin und wir schauen gemeinsam, was für Ihre spezifische Situation Sinn macht.