Kann eine Request ein Modell außerhalb der EU erreichen?

Nur wenn Sie es erlaubt haben, und nur mit eingeschalteter Firewall oder einer festgehaltenen Bestätigung. Die Voreinstellung ist anhalten, und die Abweisung wird wie jedes andere Ereignis festgehalten.

Was passiert, wenn ein Anbieter ausfällt?

Der Router geht zum nächsten zulässigen Modell in Ihrer Reihenfolge, ein einzelner Anbieterausfall wird also selten zu einem Fehler, den Ihre Nutzer sehen.

Können wir eigene Provider Keys nutzen?

Ja. Ihre Credentials, Ihre Verträge und Ihre Preise, abgerechnet und erfasst an einer Stelle.

Woher wissen wir, welches Modell eine Request wirklich bedient hat?

Jede Response trägt Modell und Region, die sie bedient haben, und dieselben Fakten gehen in die Audit Trail.

Müssen wir unseren Client ändern?

Nein. Das Endpoint bleibt OpenAI-kompatibel, Weggehen ist also eine base_url.

Model Router

Ein Endpoint für jedes Modell.

EU-residente und externe Modelle sitzen hinter Ihrer einen Akumi base_url. Der Router wählt pro Request das richtige Modell, hält regulierte Daten in der EU, und fällt zurück, wenn ein Anbieter aussetzt. Residency ist im Code durchgesetzt, nicht einem Häkchen überlassen.

Kostenlos starten Docs lesen

ein Client · eine base_url · das Modell ist nur ein String

Eine Request, und jede Entscheidung, die sie unterwegs passiert hat.

Ein Modell reicht nie. Fünf Anbieter sind ein Risiko.

Sie brauchen mehr als ein Modell: für Fähigkeiten, für Kosten, für die Morgen, an denen ein Anbieter liegt. Aber jeder Anbieter mehr ist ein weiteres SDK, ein weiterer Key, ein weiterer Ausfall, der zu Ihrem wird, und ein weiterer Weg, auf dem regulierte Daten ein US-Modell erreichen, ohne dass jemand es entschieden hätte. Die meisten Teams überbrücken das mit Klebecode fürs Routing und erben eine Compliance-Lücke, die sie nicht sehen können.

Wie es funktioniert

Routing, das Ihre Daten respektiert.

Setzen Sie die Policy einmal. Der Router wendet sie bei jeder Request an, sie steht also an einer Stelle statt verstreut über Services.

01PolicyNach Datenklasse routenEntscheiden Sie, welche Modelle für welche Art von Daten zulässig sind. Halten Sie Kronjuwelen auf EU-only-Modellen fest, und lassen Sie weniger heikle Arbeit ein externes Modell erreichen, wo es sich lohnt.
02EgressAn der Grenze zufallenEine Request erreicht nie ein externes Modell oder eines außerhalb der EU, solange Sie es nicht erlaubt haben, mit von der Firewall pseudonymisierten Daten oder einer festgehaltenen Bestätigung. Standardmäßig aus, nicht nach bestem Bemühen.
03FallbackEinen Anbieterausfall überstehenWenn ein zulässiges Modell fehlschlägt oder in einen Timeout läuft, geht der Router zum nächsten in Ihrer Reihenfolge. Ein einzelner Anbieterausfall ist nicht mehr Ihrer.

Drei Datenklassen, und die Modelle, die jede erreichen darf.

Warum es anders ist

Nicht einfach noch ein LLM-Gateway.

Generische Router optimieren auf Kosten und Latenz. Der Model Router optimiert auf die Antwort, die Ihr Datenschutzbeauftragter zuerst braucht.

Residency durchgesetzt, nicht konfiguriert
EU-only-Routing ist die Voreinstellung für regulierte Daten, am Egress Guard gehalten, keine Einstellung, an die Sie denken müssen.
Kein stiller Egress
Nichts erreicht ein Modell außerhalb der EU, solange Sie es nicht erlaubt haben, mit Firewall oder Bestätigung im Nachweis.
Kein Lock-in
Bringen Sie eigene Keys mit und behalten Sie den OpenAI-kompatiblen Client. Weggehen ist eine base_url.
Belegbar
Residency pro Request und eine Audit Trail aus reinen Metadaten. Geben Sie dem Prüfer das Log.

Sie behalten die Kontrolle

Von oben bis unten.

Eigene Keys mitbringen

Nutzen Sie eigene Provider-Credentials, abgerechnet und erfasst an einer Stelle, mit Ihren Verträgen und Preisen intakt. Kein Lock-in: der Client bleibt OpenAI-kompatibel.

Jede Route erfasst

Welches Modell lief, in welcher Region, über welchen Provider, und warum es zulässig war. Beantworten Sie "wohin ist das gegangen" mit dem Log, nicht mit einer Vermutung.

Standardmäßig transparent

Jede Response trägt Modell und Region, die sie bedient haben. Fallback und Policy passieren nie hinter Ihrem Rücken.

FAQ

Fragen zum Model Router.

Kann eine Request ein Modell außerhalb der EU erreichen?: Nur wenn Sie es erlaubt haben, und nur mit eingeschalteter Firewall oder einer festgehaltenen Bestätigung. Die Voreinstellung ist anhalten, und die Abweisung wird wie jedes andere Ereignis festgehalten.
Was passiert, wenn ein Anbieter ausfällt?: Der Router geht zum nächsten zulässigen Modell in Ihrer Reihenfolge, ein einzelner Anbieterausfall wird also selten zu einem Fehler, den Ihre Nutzer sehen.
Können wir eigene Provider Keys nutzen?: Ja. Ihre Credentials, Ihre Verträge und Ihre Preise, abgerechnet und erfasst an einer Stelle.
Woher wissen wir, welches Modell eine Request wirklich bedient hat?: Jede Response trägt Modell und Region, die sie bedient haben, und dieselben Fakten gehen in die Audit Trail.
Müssen wir unseren Client ändern?: Nein. Das Endpoint bleibt OpenAI-kompatibel, Weggehen ist also eine base_url.

Hier anfangen

Routen Sie jedes Modell über ein Endpoint.

Legen Sie einen Key an, setzen Sie Ihre Policy, und lassen Sie den Router jede Request in der Spur halten.