Kan een request bij een model buiten de EU komen?

Alleen als jij het toestond, en alleen met de firewall aan of een bevestiging vastgelegd. De default is stoppen, en de weigering wordt vastgelegd als elke andere gebeurtenis.

Wat gebeurt er als een provider plat ligt?

De router gaat naar het volgende toegestane model in jouw volgorde, zodat één provider die eruit ligt zelden een fout wordt die je gebruikers zien.

Kunnen we onze eigen provider keys gebruiken?

Ja. Jouw credentials, jouw contracten en jouw tarieven, afgerekend en vastgelegd op één plek.

Hoe weten we welk model een request echt bediende?

Elke response draagt het model en de regio die hem bediend hebben, en dezelfde feiten gaan naar de audit trail.

Moeten we onze client aanpassen?

Nee. Het endpoint blijft OpenAI-compatible, dus weggaan is één base_url.

Model Router

Eén endpoint voor elk model.

EU-resident en externe modellen zitten achter je ene Akumi base_url. De router kiest per request het juiste model, houdt gereguleerde data in de EU, en valt terug als een provider hapert. Residency is afgedwongen in code, niet overgelaten aan een vinkje.

Gratis starten Lees de docs

één client · één base_url · het model is gewoon een string

Eén request, en elke beslissing die hij onderweg passeerde.

Eén model is nooit genoeg. Vijf leveranciers is een risico.

Je hebt meer dan één model nodig: voor capaciteit, voor kosten, voor de ochtenden dat een provider plat ligt. Maar elke provider erbij is weer een SDK, weer een key, weer een storing die jouw storing wordt, en weer een pad waarlangs gereguleerde data bij een Amerikaans model komt zonder dat iemand dat besloot. De meeste teams overbruggen dat met lijmcode voor routing en erven een compliance-gat dat ze niet kunnen zien.

Hoe het werkt

Routing die je data respecteert.

Stel de policy één keer in. De router past hem toe bij elke request, dus hij staat op één plek in plaats van verspreid over services.

01PolicyRouteer per dataklasseBepaal welke modellen zijn toegestaan voor welk soort data. Zet je kroonjuwelen vast op EU-only modellen, en laat werk met lager risico een extern model bereiken waar dat het verdient.
02EgressVal dicht aan de grensEen request bereikt nooit een extern model of een model buiten de EU tenzij je het hebt toegestaan, met data gepseudonimiseerd door de firewall of een vastgelegde bevestiging. Standaard uit, niet zo goed en zo kwaad als het gaat.
03FallbackOverleef een storing bij een providerFaalt een toegestaan model of loopt het uit de tijd, dan gaat de router naar het volgende in jouw volgorde. Eén provider die eruit ligt is niet langer jouw probleem.

Drie dataklassen, en de modellen die elk mag bereiken.

Waarom het anders is

Niet zomaar weer een LLM-gateway.

Generieke routers optimaliseren op kosten en latency. De Model Router optimaliseert op het antwoord dat je functionaris gegevensbescherming als eerste nodig heeft.

Residency afgedwongen, niet ingesteld
EU-only routing is de default voor gereguleerde data, vastgehouden bij de egress guard, geen instelling die je moet onthouden.
Geen stille egress
Er bereikt niets een model buiten de EU tenzij jij het toestond, met de firewall of een bevestiging vastgelegd.
Geen lock-in
Breng je eigen keys mee en houd de OpenAI-compatible client. Weggaan is één base_url.
Aantoonbaar
Residency per request en een audit trail met alleen metadata. Geef de reviewer het log.

Jij houdt de controle

Van boven tot onder.

Breng je eigen keys mee

Gebruik je eigen provider-credentials, afgerekend en vastgelegd op één plek, met je contracten en tarieven intact. Geen lock-in: de client blijft OpenAI-compatible.

Elke route vastgelegd

Welk model draaide, in welke regio, via welke provider, en waarom het mocht. Beantwoord "waar is dit heen gegaan" met het log, niet met een gok.

Transparant by default

Elke response draagt het model en de regio die hem bediend hebben. Fallback en policy gebeuren nooit achter je rug om.

FAQ

Vragen over de Model Router.

Kan een request bij een model buiten de EU komen?: Alleen als jij het toestond, en alleen met de firewall aan of een bevestiging vastgelegd. De default is stoppen, en de weigering wordt vastgelegd als elke andere gebeurtenis.
Wat gebeurt er als een provider plat ligt?: De router gaat naar het volgende toegestane model in jouw volgorde, zodat één provider die eruit ligt zelden een fout wordt die je gebruikers zien.
Kunnen we onze eigen provider keys gebruiken?: Ja. Jouw credentials, jouw contracten en jouw tarieven, afgerekend en vastgelegd op één plek.
Hoe weten we welk model een request echt bediende?: Elke response draagt het model en de regio die hem bediend hebben, en dezelfde feiten gaan naar de audit trail.
Moeten we onze client aanpassen?: Nee. Het endpoint blijft OpenAI-compatible, dus weggaan is één base_url.

Begin hier

Routeer elk model via één endpoint.

Maak een key aan, stel je policy in, en laat de router elke request in het gareel houden.