Cactus Hybrid ergänzt Googles Gemma 4 E2B um einen Konfidenz-Score für jede Antwort: Sichere Anfragen sollen lokal auf dem Gerät bleiben, unsichere Anfragen können an ein größeres Cloud-Modell weitergereicht werden. Der Ansatz ist technisch relevant, weil er lokale Geschwindigkeit und Datenschutz mit der Qualität stärkerer Modelle verbinden will. Die veröffentlichten Ergebnisse stammen jedoch von Cactus Compute selbst; ein unabhängiges Paper oder reproduzierte Drittanbieter-Benchmarks liegen zum Start nicht vor.
Was Cactus Hybrid veröffentlicht hat
Cactus Compute hat am 22. Juli 2026 eine neue Modellfamilie auf GitHub und Hugging Face bereitgestellt. Der erste Checkpoint heißt Gemma 4 E2B Hybrid und basiert auf Googles Gemma 4 E2B Instruct. Laut Modellkarte bleiben die Gewichte des Basismodells unverändert. Ergänzt werden elf zusätzliche Probe-Tensoren, eine angepasste Modellklasse und eine Generierungslogik, die aus den internen Aktivierungen einen Wert zwischen 0 und 1 berechnet.
Dieser Wert soll nicht ausdrücken, ob eine Antwort sprachlich überzeugend klingt. Er soll schätzen, wie wahrscheinlich die Antwort korrekt ist. Cactus bezeichnet das Ergebnis als Confidence und definiert es als Gegenwert zur geschätzten Fehlerwahrscheinlichkeit. Entwickler können damit eine Schwelle festlegen: Oberhalb der Schwelle antwortet das lokale Modell, unterhalb wird die Anfrage an ein stärkeres Modell übergeben oder an einen Menschen eskaliert.
Der Release ist öffentlich zugänglich:
- Das Repository cactus-compute/cactus-hybrid ist auf GitHub verfügbar.
- Checkpoints stehen auf Hugging Face für Transformers, GGUF, MLX und die Cactus-Laufzeit bereit.
- Für die Modelle ist derzeit kein gehosteter Inference Provider in der Hugging-Face-Modellkarte eingetragen.
- Das GitHub-Repository steht unter MIT-Lizenz; die abgeleiteten Gemma-Gewichte unterliegen zusätzlich den Gemma-Nutzungsbedingungen.
- Der FP16-Transformers-Checkpoint umfasst drei Safetensors-Dateien mit zusammen rund 9,30 GB.
Damit ist Cactus Hybrid kein geschlossener API-Dienst und keine Partner-Preview. Die Gewichte können heruntergeladen werden. Praktisch ist die Nutzung aber nicht völlig reibungslos, weil einige Laufzeiten angepasste Modellklassen, Remote Code oder einen Patch benötigen.
Wie der Konfidenz-Score technisch entsteht
Der Ansatz verwendet eine kleine zusätzliche Probe, die auf verborgene Zustände des Modells zugreift. Laut Modellkarte liest sie Aktivierungen aus Decoder-Layer 28 mit einer Breite von 1.536 Werten. Die Probe normalisiert diese Zustände, reduziert sie auf eine kleinere Repräsentation, gewichtet die Token-Positionen über einen Aufmerksamkeitsmechanismus und berechnet daraus eine Fehlerwahrscheinlichkeit.
Wichtig ist die Trennung zwischen Antworterzeugung und Qualitätsbewertung. Das Basismodell erzeugt weiterhin die Antwort. Die zusätzliche Probe beobachtet interne Signale und bewertet anschließend, ob die Generierung wahrscheinlich falsch war. Das ist konzeptionell anders als eine zweite vollständige Modellabfrage, ein Selbstkritik-Prompt oder eine Prüfung durch ein weiteres Sprachmodell.
Cactus beschränkt die Auswertung auf höchstens die ersten 1.024 generierten Token. Außerdem funktioniert die aktuelle Implementierung laut Modellkarte nur bei einzelnen Sequenzen. Beam Search, speculative decoding, assisted decoding und mehrere parallele Sequenzen werden nicht unterstützt. Bei Transformers Serving ist auch Continuous Batching ausgeschlossen, weil der Scheduler den Generierungspfad umgeht, in dem die Probe ausgeführt wird.
Diese Einschränkungen sind für Entwickler entscheidend. Ein guter Konfidenz-Score im Einzeltest bedeutet noch nicht, dass sich das Modell unverändert in einen hoch ausgelasteten Produktionsserver einsetzen lässt. Wer viele Anfragen bündelt oder auf spekulative Dekodierung setzt, muss zunächst prüfen, ob die Confidence überhaupt erzeugt wird.
Benchmark-Einordnung: Besser als Token-Entropie
Cactus bewertet die Routing-Qualität mit AUROC. Diese Kennzahl misst, wie gut ein Score richtige von falschen Antworten trennt. Ein Wert von 0,5 entspricht Zufall, 1,0 einer perfekten Trennung. Über zwölf Text-, Bild- und Audio-Benchmarks meldet der Anbieter für die Probe einen Mittelwert von 0,814. Token-Entropie kommt im selben Vergleich auf 0,549.
Die wichtigsten Aussagen aus der veröffentlichten Tabelle:
- Auf MMLU und MMLU-Pro liegt die Probe bei 0,770 beziehungsweise 0,771 AUROC.
- Der höchste Textwert wird für ARC-Easy mit 0,888 gemeldet.
- Bei Bildaufgaben reicht die Spanne von 0,779 auf ChartQA bis 0,840 auf MMBench.
- Bei Audioaufgaben meldet Cactus Werte von 0,789 bis 0,876, obwohl die Probe laut Anbieter ohne Audiodaten trainiert wurde.
- Token-Entropie fällt besonders bei mehreren Audio-Benchmarks deutlich ab.
Cactus interpretiert die Audioergebnisse als Hinweis auf ein modalitätsübergreifendes Korrektheitssignal in den Hidden States. Das ist eine plausible Hypothese, aber noch kein unabhängiger Beweis. Die Veröffentlichung enthält bislang vor allem Repository- und Modellkartendaten. Für eine belastbare wissenschaftliche Einordnung fehlen unter anderem ein ausführlicher technischer Bericht, Trainingsdetails, Konfidenzintervalle und externe Reproduktionen.
Kann ein kleines Modell damit Gemini ersetzen?
Die zugespitzte Aussage des Releases lautet nicht, dass Gemma 4 E2B allein so gut wie ein größeres Cloud-Modell sei. Cactus behauptet vielmehr, dass ein hybrides System auf mehreren Benchmarks das Niveau von Gemini 3.1 Flash-Lite erreichen könne, während nur ein Teil der Anfragen weitergeleitet wird.
Für ChartQA nennt Cactus bei FP16 eine erforderliche Handoff-Rate von 15 bis 20 Prozent. Bei MMBench, GigaSpeech und MMAU liegt sie laut Anbieter überwiegend bei 30 bis 35 Prozent. MMLU-Pro ist deutlich schwieriger: Dort sollen 45 bis 55 Prozent der Anfragen an das Cloud-Modell gehen müssen.
Quantisierung verschiebt dieses Verhältnis. Bei 4 Bit steigt die notwendige Weiterleitungsrate laut Cactus häufig um etwa zehn Prozentpunkte oder mehr. Auf MMLU-Pro liegt sie sogar bei ungefähr 90 Prozent. Bei 3 Bit werden für mehrere Benchmarks 50 bis 65 Prozent genannt; für MMLU-Pro gibt der Anbieter keinen Wert an.
Die entscheidende Größe ist deshalb nicht nur die lokale Modellqualität, sondern die Routing-Kurve:
- Wie viele Anfragen bleiben tatsächlich auf dem Gerät?
- Wie oft übersieht die Probe eine falsche Antwort?
- Wie teuer und langsam sind die weitergeleiteten Anfragen?
- Welche Daten dürfen den lokalen Kontext verlassen?
- Wie verändert Quantisierung die Kalibrierung?
Für lokale KI ist dieser Blick wichtiger als ein einzelner Durchschnittswert. Ähnliche Abwägungen gelten bei stark komprimierten Modellen wie Bonsai 27B auf dem iPhone oder bei Gemma 3 mit Quantization-Aware Training. Eine kleinere Datei spart Speicher, kann aber mehr Cloud-Handoffs oder strengere Schwellen erfordern.
Was der Ansatz für lokale KI-Workflows bedeutet
Cactus Hybrid adressiert ein reales Problem: Kleine Modelle sind schnell, günstig und privat, scheitern aber unvorhersehbar an schwierigen Anfragen. Ein festes Routing nach Themen oder Tokenzahl erkennt diese Grenzfälle nur grob. Ein erlernter Score kann die Entscheidung näher an die konkrete Antwort rücken.
Daraus ergeben sich mehrere sinnvolle Einsatzmuster:
Lokale Standardfälle, Cloud für Ausnahmen
Routinefragen können auf Laptop, Smartphone oder Edge-Gerät beantwortet werden. Nur niedrige Confidence-Werte lösen einen Cloud-Aufruf aus. Das kann Latenz, API-Kosten und Datenübertragung reduzieren. Es beseitigt die Cloud-Abhängigkeit aber nicht vollständig.
Menschliche Prüfung bei riskanten Antworten
Bei Support, Medizin, Recht oder Finanzprozessen sollte ein niedriger Score nicht automatisch zu einem anderen Modell führen. Je nach Risiko kann die bessere Aktion eine menschliche Freigabe sein. Auch ein hoher Score ist keine Garantie für Korrektheit und darf nicht mit einer Sicherheitszertifizierung verwechselt werden.
Mehrstufige Modellkaskaden
Entwickler können mehrere Stufen kombinieren: zuerst ein kleines lokales Modell, danach ein günstiges Cloud-Modell und erst bei besonders schwierigen Fällen ein teureres Frontier-Modell. Der neue Release liefert dafür ein Signal, ersetzt aber nicht die Kalibrierung jeder Stufe.
Datenschutz mit klaren Grenzen
Lokale Verarbeitung schützt Daten nur bei Anfragen, die lokal bleiben. Sobald ein Handoff ausgelöst wird, muss der Workflow festlegen, welche Teile von Prompt, Dokumenten, Bildern oder Gesprächsverlauf übertragen werden dürfen. Ein Confidence-Router ist daher kein automatischer Datenschutzfilter.
Wer Modelle über mehrere lokale GPUs verteilen will, findet im Artikel zu Mesh LLM einen anderen Infrastrukturansatz. Cactus Hybrid optimiert nicht die Verteilung eines Modells, sondern die Entscheidung zwischen lokalem und externem Modell.
Verfügbare Formate und praktische Grenzen
Cactus stellt vier Varianten bereit. Die Transformers-Version liefert den Score als strukturierten Rückgabewert. Beim normalen Transformers-Server wird er als zusätzliche Zeile an die Antwort angehängt, weil der Server keine eigenen Felder im Antwortobjekt unterstützt. Anwendungen müssen diese Zeile entfernen und separat auswerten.
Für llama.cpp existiert eine GGUF-Variante. Der Confidence-Score erfordert derzeit jedoch einen Patch aus dem GitHub-Repository. Die MLX-Version richtet sich an Apple-Silicon-Workflows. Zusätzlich gibt es ein Bundle für die Cactus-Laufzeit, das Antwort und Confidence gemeinsam zurückgibt.
Die Vielfalt ist positiv, aber sie vergrößert auch die Testmatrix. Der Anbieter weist ausdrücklich darauf hin, dass seine Quantisierungsmessungen auf Cactus Quants basieren. Unsloth-, GGUF- und MLX-Quantisierungen sollen Entwickler unabhängig prüfen. Unterschiede bei Rundung, Kerneln und Quantisierung können nicht nur die Antwortqualität, sondern auch die Kalibrierung des Routers verändern.
Hinzu kommt Remote Code. Die Transformers-Modellkarte verlangt eine angepasste Modellklasse. Wer Checkpoints aus dem Netz mit benutzerdefiniertem Code lädt, sollte Repository, Commit und Abhängigkeiten prüfen und den Code in einer isolierten Umgebung testen. Open Weights bedeuten nicht automatisch, dass jede Ausführungslogik vertrauenswürdig oder reproduzierbar ist.
Was Entwickler jetzt testen sollten
Ein sinnvoller Praxistest beginnt nicht mit dem vom Hersteller gewählten Schwellenwert, sondern mit eigenen Aufgaben. Die folgenden Prüfungen sind wichtiger als ein Demo-Chat:
- Eigene Fehlerfälle sammeln: Der Datensatz sollte leichte, schwierige und bewusst mehrdeutige Anfragen aus dem späteren Einsatz enthalten.
- Score kalibrieren: Für jede mögliche Schwelle müssen Fehlerrate, Handoff-Rate, Kosten und Latenz gemessen werden.
- Falsche Sicherheit zählen: Besonders kritisch sind falsche Antworten mit hoher Confidence, weil sie nicht weitergeleitet werden.
- Quantisierung separat bewerten: FP16-, 4-Bit- und 3-Bit-Varianten brauchen eigene Kurven. Eine Schwelle darf nicht ungeprüft übernommen werden.
- Laufzeitpfad verifizieren: Die Anwendung muss erkennen, wenn die Probe wegen Continuous Batching oder eines nicht unterstützten Decoding-Modus gar keinen Score liefert.
- Cloud-Übergabe minimieren: Vor dem Handoff sollten sensible Daten entfernt oder reduziert werden, sofern der Anwendungsfall das erlaubt.
- Ausfälle simulieren: Der Workflow braucht eine definierte Reaktion, wenn das Cloud-Modell nicht erreichbar ist oder die Confidence fehlt.
Als Cloud-Ziel ist nicht automatisch das im Herstellervergleich verwendete Gemini 3.1 Flash-Lite vorgeschrieben. Entwickler können andere Modelle einsetzen. Für die aktuelle Google-Modelllandschaft liefert unsere Analyse zu Gemini 3.6 Flash und Flash-Lite zusätzlichen Kontext. Die veröffentlichten Cactus-Zahlen lassen sich jedoch nicht ohne neue Messungen auf diese neuere Modellgeneration übertragen.
Kritische Einordnung
Cactus Hybrid ist ein technisch interessanter Release, weil der Konfidenz-Score direkt mit dem Checkpoint ausgeliefert wird und mehrere lokale Laufzeiten vorgesehen sind. Besonders relevant ist die Idee, nicht jede Anfrage an ein großes Modell zu senden, sondern nur die Fälle, bei denen das kleine Modell wahrscheinlich scheitert.
Die Grenzen sind ebenso klar. Alle Benchmarkzahlen stammen vom Anbieter. Es gibt noch keine unabhängige Reproduktion, kein ausführliches Paper und keine belastbare Aussage darüber, wie gut die Confidence in konkreten Produktionsdomänen kalibriert bleibt. Die aktuelle Implementierung schränkt Batch-Verarbeitung und Decoding-Varianten ein. Quantisierung kann die Handoff-Rate stark erhöhen.
Der Release sollte daher nicht als Beweis gelesen werden, dass ein kleines On-Device-Modell ein großes Cloud-Modell ersetzt. Er zeigt vielmehr einen möglichen Systementwurf: lokal antworten, Unsicherheit messen, kontrolliert eskalieren. Ob daraus tatsächlich niedrigere Kosten, bessere Privatsphäre und stabile Qualität entstehen, entscheidet die eigene Routing-Kurve.
Fazit
Cactus Hybrid macht die Unsicherheit eines lokalen Modells zu einem expliziten technischen Signal. Das ist für Edge-KI, private Assistenten und kostensensible Agenten-Workflows nützlicher als eine weitere pauschale Qualitätsbehauptung. Der öffentliche Release ermöglicht eigene Tests, doch die Herstellerbenchmarks müssen reproduziert und für jeden Einsatz neu kalibriert werden.
Wer den Ansatz ausprobiert, sollte nicht nur Antwortqualität dokumentieren, sondern auch Handoff-Rate, falsche Hochkonfidenz-Antworten, Latenz, Cloud-Kosten und Datenabfluss messen. Erst diese Zahlen zeigen, ob das hybride Routing gegenüber einem rein lokalen oder rein cloudbasierten Setup wirklich gewinnt.
Häufige Fragen zu Cactus Hybrid
Was ist Cactus Hybrid?
Cactus Hybrid ist eine öffentliche Modellvariante von Gemma 4 E2B mit einer zusätzlichen Probe, die für jede Generierung einen Konfidenz-Score berechnet. Dieser Score kann entscheiden, ob die lokale Antwort verwendet oder an ein stärkeres Modell weitergeleitet wird.
Ist Cactus Hybrid öffentlich verfügbar?
Ja. GitHub-Repository und Checkpoints für Transformers, GGUF, MLX und die Cactus-Laufzeit sind öffentlich verfügbar. Die Gemma-Gewichte unterliegen den Gemma-Nutzungsbedingungen, und für mehrere Laufzeiten ist angepasster Code nötig.
Wie gut ist der Konfidenz-Score?
Cactus meldet über zwölf Benchmarks einen mittleren AUROC-Wert von 0,814 gegenüber 0,549 für Token-Entropie. Diese Werte sind Herstellerangaben und wurden bislang nicht unabhängig verifiziert.
Ersetzt Cactus Hybrid ein großes Cloud-Modell?
Nein. Der Ansatz kombiniert ein kleines lokales Modell mit einem größeren Modell für unsichere Fälle. Je nach Benchmark und Quantisierung muss laut Anbieter ein erheblicher Anteil der Anfragen weiterhin weitergeleitet werden.
Welche Einschränkungen hat die aktuelle Version?
Die Confidence wird nur für einzelne Sequenzen erzeugt und unterstützt unter anderem kein Continuous Batching, Beam Search oder speculative decoding. Außerdem bewertet die Probe höchstens die ersten 1.024 generierten Token, und quantisierte Varianten müssen separat kalibriert werden.