Cache
Betaal nooit twee keer voor hetzelfde antwoord.
Komt een request die je eerder bediende opnieuw binnen, dan speelt Cache het opgeslagen antwoord terug en slaat het model helemaal over, dus de herhaling is vrijwel direct en kost bijna niets. Exact matchen gaat vanzelf, semantisch matchen vangt parafrases, en een hit kort de hele pipeline af.
exact · semantisch · direct
Een hit slaat het model, de firewall en retrieval over.
Je verkeer herhaalt zich. Je betaalt elke keer de volle prijs.
Dezelfde vragen komen keer op keer binnen, vaak woord voor woord, en elke vraag draait de hele pipeline en rekent een verse model call af. Je betaalt volle latency en volle kosten om antwoorden opnieuw uit te rekenen die je minuten geleden al produceerde. Een zelfgebouwde cache moet dan nog bepalen wat veilig is om te bewaren en wanneer het verouderd is.
Hoe het werkt
Matchen, dan afkorten.
Zet hem aan en cachen gaat vanzelf. De cache sleutelt op de request zoals je hem stuurde, vóór elke andere service draait.
- 01ExactExact matchenEr wordt een sleutel gebouwd uit de request zoals verstuurd: het model, de messages, de sampling-parameters en eventuele tools. Een identieke request krijgt de opgeslagen response.
- 02SemantischEen parafrase matchenBij een exacte miss embedt het platform de prompt en zoekt het naar een bijna-duplicaat binnen een gelijkenisdrempel die jij zet, zodat parafrases ook raak zijn. Zet de drempel hoger voor strakkere matches.
- 03AfkortenKort de pipeline afEen hit komt direct terug, vóór retrieval, memory, de firewall of het model draaien. Dat is wat een hit zowel goedkoop als snel maakt.
Vier instellingen, en de laatste begrenst hoe verouderd een antwoord kan zijn.
Waarom het anders is
Een cache die weet wanneer hij níet moet.
Een botte cache geeft verouderde of verkeerde antwoorden terug en sloopt vertrouwen. Deze is voorzichtig met wat hij bewaart, hoe lang hij het houdt, en wat een hit overslaat.
Alleen reproduceerbaar, standaard
Temperature 0 of een seed. Een request die om variatie vroeg krijgt elke keer een vers antwoord, tenzij je expliciet kiest om volatiele responses te cachen.
Exact is exact
Exact matchen geeft nooit een verkeerd antwoord terug. Semantisch matchen is optioneel en op een drempel afgesteld, dus je ruilt precisie tegen hit rate alleen wanneer je dat zelf kiest.
Begrensd en te wissen
Een TTL begrenst hoe verouderd een antwoord kan worden, en Cache wissen regenereert alles in één keer wanneer een prompt-template, corpus of model stroomopwaarts verandert.
Eerlijk over de afkorting
Een hit slaat de firewall en de router over omdat het opgeslagen antwoord daar al doorheen is geweest. Nieuw beleid geldt voor verse requests, of nadat je de cache gewist hebt.
Snel en goedkoop
Zonder de voetangels.
Deterministisch by default
Alleen reproduceerbare requests worden gecached, die met temperature 0 of een vaste seed. Volatiele requests gaan er ongemoeid doorheen, tenzij je kiest ze te cachen.
Afgeschermd en begrensd
Je cache is afgebakend tot je organisatie, wordt nooit tussen tenants gedeeld, en is begrensd door een TTL die je zelf zet, van 1 uur tot 30 dagen. Wis hem wanneer je wilt.
Goedkoper en sneller
Een hit boekt een kleine cachepost en slaat de inference-post over. Die overgeslagen post is jouw besparing, en het antwoord komt in milliseconden terug.
FAQ
Vragen over Cache.
- Geeft hij ooit een verkeerd antwoord terug?
- Exact matchen kan dat niet: de request moet identiek zijn. Semantisch matchen is optioneel, en jij zet de gelijkenisdrempel waarop een parafrase meetelt.
- Wat wordt er gecached?
- Standaard alleen reproduceerbare requests, dus met temperature 0 of een vaste seed. Een request die om variatie vroeg gaat er ongemoeid doorheen, tenzij je ervoor kiest.
- Hoe verouderd kan een antwoord worden?
- Zo verouderd als de TTL die je zet, van 1 uur tot 30 dagen. Cache wissen regenereert alles in één keer als er stroomopwaarts iets verandert.
- Wordt onze cache met iemand gedeeld?
- Nee. Hij is afgebakend tot jouw organisatie en wordt nooit tussen tenants gedeeld.
- Slaat een hit de veiligheidscontroles over?
- Ja, en met opzet: het opgeslagen antwoord is daar al doorheen geweest. Nieuw beleid geldt voor verse requests, of nadat je de cache gewist hebt.
Begin hier
Stop met dezelfde antwoorden opnieuw uitrekenen.
Maak een key aan, zet Cache aan, en bedien je herhaalde verkeer in milliseconden uit een opgeslagen antwoord.