- Jev er en AI-modell som spesialiserer seg på å returnere strukturerte og maskinskrevne beslutninger i stedet for å generere konversasjonstekst.
- Den er basert på «System One»-konseptet, som prioriterer hastighet og effektivitet i sorterings-, poengsettings- og ruteoppgaver.
- Det reduserer kostnader og latens drastisk sammenlignet med tradisjonelle LLM-er ved å eliminere genereringen av exit-tokens.
Hvis du bruker dagene på å slite med forespørsler om å få en LLM til å returnere en ukorrupt JSON-fil, eller prøver å forhindre at den går amok når den klassifiserer en billett , må du sjekke ut hva TypeSafe AI gjør. De har lansert Jev, en modell som bryter fullstendig med logikken til ChatGPT eller Claude, fordi den fullstendig ignorerer å skrive setninger og fokuserer utelukkende på å ta avgjørelser som ethvert program kan lese uten å bry seg.
I bunn og grunn snakker vi om et verktøy designet for programvare, ikke mennesker. Mens konvensjonell AI forsøker å være en mangesidig assistent som resonnerer og skriver, posisjonerer Jev seg som et ultraraskt beslutningslag . Det er den manglende lenken mellom deterministisk kode (de typiske «hvis»- og «ellers»-setningene) og den semantiske kraften til språkmodeller, noe som gjør at automatisering blir mye smidigere og billigere.
Filosofien bak System En
For å forstå Jev, må man se på psykologien til Daniel Kahneman. TypeSafe AI har kalt dens skapelse for en System 1-modell . Enkelt sagt er System 1 den raske, intuitive og nesten automatiske tenkningen vi bruker til hverdagsoppgaver, mens System 2 er langsom, bevisst og kostbar resonnering. Nåværende LLM-er er rene System 2; de prøver å resonnere gjennom hvert ord, noe som gjør dem langsomme og kostbare selv for enkle oppgaver.
Jev gjør det stikk motsatte: det spesialiserer seg på raske, repeterende vurderinger . Navnet er en nikk til William Stanley Jevons og hans økonomiske paradoks, som antyder at når kostnaden for en beslutning stuper, eksploderer antallet beslutninger vi kan ta. Det ble utviklet av Diogo Almeida, som allerede hadde betydelig erfaring med OpenAI, etter å ha jobbet med InstructGPT, og prosjektet har en solid finansiering på 40 millioner dollar ledet av DCVC.
Hvordan er det egentlig forskjellig fra en LLM?
Forskjellen er ikke størrelsen på modellen, men hvordan den leverer informasjonen . En LLM genererer tekst token for token, og du må håpe at formateringen er riktig. Jev, derimot, bruker parallell sampling. Den skriver ikke; den velger. Du definerer alternativene, og den returnerer den nøyaktige verdien, noe som eliminerer behovet for å analysere tekst og dermed eliminerer typefeil . Hvis du ber den om en boolsk verdi, vil du motta en boolsk verdi, ikke en forklaring på hvorfor den er sann.
Et annet viktig poeng er trening. Mens de fleste AI-er er optimalisert ved hjelp av RLHF for å behage mennesker, bruker Jev RLCD (Reinforcement Learning for Calibrated Decisions) . Målet her er ikke at svaret skal være «pent», men snarere at sannsynligheten knyttet til beslutningen skal være ærlig. Dette betyr at når Jev sier at den har 90 % sikkerhet, er dette tallet en pålitelig indikator på nøyaktighet – noe grunnleggende for å avgjøre om en handling skal utføres automatisk eller om den må gjennomgås av et menneske.
De tre grunnleggende verktøyene: Primitive
All Jevs magi kan oppsummeres i tre typer spørsmål du kan stille ham i én enkelt forespørsel:
- Valg: Modellen velger ett alternativ fra en liste med opptil 255 muligheter. Den gir deg ikke bare vinneren, men også et sannsynlighetskart over alle alternativene og en konfidenspoengsum. Den inkluderer et "annet"-alternativ for å forhindre at modellen tvinger frem et feil svar.
- Poengsum: Tildeler en verdi på en definert skala (fra 2 til 10 nivåer). Det interessante er at den returnerer desimalverdier (som 1.4), noe som gjør det mulig å fange opp... nyanser mellom kategorier som et heltall ville ignorere.
- Noul (Evaluering): Det er den forenklede versjonen av ja eller nei. Den returnerer en sannsynlighet mellom 0 og 1. Jo nærmere 1, desto mer rungende er «ja».
Det kraftigste aspektet er at du kan stille alle disse spørsmålene samtidig om samme tilstand (tekst, JSON eller array). I en supportarbeidsflyt kan du for eksempel samtidig spørre om problemkategori, kundens frustrasjonsnivå og om de ber om refusjon – alt i én nettverksreise og på brøkdelen av et sekund.
Ytelse, kostnader og den «småskriften»
Tallene TypeSafe rapporterer er, ærlig talt, vanvittige. De snakker om latenser fra 70 til 500 millisekunder og en pris på 0,042 dollar per million tokens for inngang, med helt gratis utgang. I følge deres egne benchmarks kan Jev være hundrevis av ganger raskere og billigere enn front-end-modeller som GPT-4 eller Claude.
Disse tallene bør imidlertid tas med en klype salt. Selskapet innrømmer selv at testene deres ble utført internt, og at resultatene kan variere. Likevel bekrefter eksterne tester at besparelsene er enorme i sorteringsoppgaver med høy gjennomstrømning. For eksempel kan det å behandle tusenvis av GitHub-problemer koste småpenger med Jev sammenlignet med titalls dollar med generative modeller, samtidig som man opprettholder lignende eller enda høyere nøyaktighet på kjente stier.
Brukstilfeller: Hvor skinner det og hvor feiler det?
Jev er det perfekte verktøyet for ruting av leads, innholdsmoderering , prioritering av søknader eller oppretting av beskyttelsesrekker for andre AI-er. Et spesielt interessant bruksområde er nettnavigasjon (som i jev-ultrafast-prosjektet), der Jev bestemmer hvilket sideelement som skal klikkes på uten å måtte beskrive skjermen, noe som gjør automatisering utrolig smidig.
Men ikke prøv å bruke det til alt. Jev kan ikke skrive kode , genererer ikke kode og kan ikke resonnere gjennom komplekse trinn. Videre har det klare svakheter: det er ikke flink i matematikk, blir forvirret av datoer og kan feile hvis konteksten er for støyende. Det er heller ikke et sikkerhetssystem; det kan si at noe «ser farlig ut», men den endelige autorisasjonen må være i koden , ikke i AI-en.
Teknisk integrasjon og økosystem
For utviklere er det ganske enkelt å komme i gang med Jev. Det finnes et offisielt SDK for JavaScript og Python (versjon 0.6.0), og det kan også integreres via en enkel POST-forespørsel. Videre er det allerede tilgjengelig i Vercels AI Gateway, noe som forenkler nøkkelhåndtering og fakturering betraktelig hvis du allerede bruker det miljøet.
Den anbefalte arkitekturen er en beslutningsfoss : Jev filtrerer og klassifiserer den enorme mengden data kostnadseffektivt, koden håndterer de deterministiske reglene, og bare de mest tvetydige eller komplekse sakene sendes til en dyr LLM. På denne måten optimaliserer du budsjettet og reduserer den totale systemforsinkelsen, ved å bruke Jev som frontlinjemonitor.
Denne nye kategorien av modeller forvandler AI fra en chatbot som prøver å etterligne oss til et kirurgisk presist programvareverktøy. Ved å skille beslutningstaking fra generasjonskapasiteter, muliggjør Jev konstruksjonen av mye mer robuste agenter, der kalibrert tillit dikterer arbeidsflyten og kostnader slutter å være et hinder for storskala automatisering.
