Herunterladen, solange es noch geht – Die Zukunft lokaler KI

Letztes Mal haben wir darüber geschrieben, wie Regierungen fast vier Jahre zu spät entdecken, dass ihre Beamten die Daten der Bürger in Chatbots gefüttert haben. Ihre Lösung: alles zu Microsoft Copilot verlagern, mit Vertrag und Sicherheitsvereinbarung. Der Staat bekommt seine KI.

Auch den Konzernen geht es gut. Nvidia verlangt bereits 4.500 Dollar pro GPU und Jahr für seine Software AI Enterprise. Auf der GTC Berlin am 22. Oktober brachte Jensen Huang eine neue Zahl ins Spiel: rund 2.000 Dollar pro GPU und Jahr für Nvidias Software für KI-Agenten. Vorerst geht es dabei um Rechenzentren.

Vorerst.

Für den Bürger sah das Jahr bisher so aus.

Im Februar schickte OpenAI GPT-4o in Rente, das Modell, das die Leute mochten, weil es ein Gespräch führen und einem Argument folgen konnte.

Im April erklärte die Europäische Kommission ihre Altersverifikations-App für fertig, damit Sie beweisen können, dass Sie erwachsen sind, bevor das Internet Sie hereinlässt.

Am 31. August stufte die Kommission ChatGPT nach dem Digital Services Act als „sehr große Online-Suchmaschine“ ein. OpenAI muss nun die Auswirkungen des Systems auf den „gesellschaftlichen Diskurs“, auf Wahlen und auf Ihr psychisches Wohlbefinden bewerten.

Am 3. September brachte OpenAI ein zensiertes GPT-6 „Astra“ heraus.

Es gibt einen Ausweg, und er liegt offen vor uns: Open-Weight-Modelle.

Ein Open-Weight-Modell ist die KI selbst, als Datei. Sie laden sie einmal herunter, legen sie auf Ihre Festplatte und betreiben sie auf Ihrem eigenen Rechner. Kein Konto, kein Abo, kein Server auf der anderen Seite.

Das gibt Ihnen vier Dinge, die Ihnen kein Cloud-Chatbot gibt:

• Ihre Daten bleiben zu Hause. Nichts verlässt den Rechner. Kein Anbieter, kein „zugelassener Lieferant“, kein Techniker, der um Erlaubnis bittet, hineinzuschauen.
• Keine Belehrung. Community-Versionen mit Namen wie „abliterated“ oder „Heretic“ entfernen den Reflex, abzulehnen, auszuweichen und zu moralisieren.
• Kein Abschalten. Die Datei auf Ihrer Festplatte wird nicht in Rente geschickt. Wenn sie Ihnen im September gefallen hat, haben Sie sie im Dezember immer noch.
• Kein Abo.

Es ist nicht kostenlos, und es ist keine Zauberei.

Sie brauchen Hardware. Eine Gaming-Grafikkarte mit 8 GB betreibt kleine Modelle gut. Mit 16 bis 24 GB sind Sie in der ernstzunehmenden Mittelklasse. Ein Rechner mit 64 GB Unified Memory betreibt Modelle, die vor nicht allzu langer Zeit noch ein Fall fürs Rechenzentrum gewesen wären.

Die Riesen werden Sie nicht betreiben. Die besten offenen Modelle wie Kimi K3 oder GLM-5.3 haben Hunderte Milliarden bis Billionen Parameter und brauchen ganze Serverschränke voller GPUs. Aber der Abstand schrumpft. Lokale KI schreibt, fasst zusammen, übersetzt, programmiert und widerspricht, ohne Disclaimer.

Wie lange wird das halten?

Hier übernimmt der Zyniker in uns.

Der AI Act der EU erfasst bereits KI-Modelle mit allgemeinem Verwendungszweck, offene eingeschlossen. Open-Source-Modelle bekommen eine teilweise Ausnahme: Ihnen bleiben einige Dokumentationspflichten erspart, nicht aber die Urheberrechtsstrategie und die Zusammenfassung der Trainingsdaten. Modelle, die als „systemisches Risiko“ eingestuft werden, bekommen gar keine Ausnahme.

Die Hosting-Plattformen beginnen sich zu bewegen. Hugging Face, wo die meisten offenen Modelle liegen, hat bereits eine „abliterated“ Version von GLM-5.3 entfernt, eine, die offen für Cyberangriffe warb. Tausende andere unzensierte Modelle sind weiterhin online. Noch.

Wagen wir eine Prognose.

Wenn die erste Regierung lokale KI einschränkt, wird sie nicht „Kontrolle“ sagen. Sie wird „Schutz der Bürgerdaten“ sagen. Dieselben Bürger, deren Daten sie vier Jahre lang jedem Beamten mit einem offenen Browser-Tab zugänglich gemacht hat und die sie jetzt ganz offen fürs KI-Training verschenkt.

Am 21. Oktober einigten sich die EU-Mitgliedstaaten auf ihre Position zum „Digital Omnibus“, einem Paket, das als „Vereinfachung“ verkauft wird.

Eine der Änderungen an der DSGVO: Entwicklung und Betrieb von KI-Systemen können sich auf ein „berechtigtes Interesse“ stützen. Keine Einwilligung nötig. Die Datenschutzorganisation noyb liest es ohne Umschweife: Unternehmen würde automatisch ein überwiegendes Interesse unterstellt. Als der Entwurf im September kursierte, nannte ihr Gründer Max Schrems ihn eine „digitale Enteignung“ der Europäer.

Pseudonymisierte Daten würden für jeden, der die Menschen dahinter nicht identifizieren kann, nicht mehr als personenbezogene Daten gelten. Namen entfernen, weitergeben, und für das Unternehmen, das sie erhält, gilt die DSGVO schlicht nicht mehr.

Sollte etwas durchsickern, würde die Frist für die Meldung einer Datenpanne von 72 auf 96 Stunden wachsen.

Das Europäische Parlament muss noch abstimmen.

Wer profitiert? Wer zwanzig Jahre lang die Daten der Europäer gesammelt hat und jetzt damit trainieren darf. Google, Meta, Microsoft. Ja, schon wieder Microsoft.

Was tun?

Software

- LM Studio: herunterladen, ein Modell aus dem eingebauten Katalog wählen, chatten. Der einfachste Einstieg für Laien.

- Ollama: ein Befehl pro Modell, läuft im Hintergrund, viele Apps können sich damit verbinden.

- llama.cpp: der Motor unter den meisten der oben genannten. Für alle, die das Terminal mögen.

Was läuft worauf (Stand Ende Oktober 2026)

- Grafikkarte mit 8 GB: NVIDIA Nemotron 3.5 Bolt E4B (erschienen am 23. Oktober, etwa 4 GB Grafikspeicher), Google Gemma 4 12B in 4 Bit.

- 16–24 GB: Alibaba Qwen3.8-27B, Apache-2.0-Lizenz, umschaltbares Reasoning, läuft in 16 GB. Unzensierte Community-Versionen gibt es.

- 64 GB Unified Memory: NVIDIA Nemotron 3.5 Bolt 74B-A9B, 24 GB Gewichte, 256K Kontext, liest Bilder und Videos.

Laden Sie die Modelle, die Ihnen gefallen, JETZT herunter und sichern Sie sie. Hugging Face ist ein Schaufenster, kein Archiv.