De siste fremskrittene innen store språklige modeller (LLM) har muliggjort utviklingen av agent-systemer, som integrerer flere verktøy og API-er for å oppfylle brukerforespørsler gjennom funksjonskall. Disse systemene tolker naturlige kommandoer og kan helt selvstendig utføre avanserte oppgaver, som informasjonsinnhenting og enhetsstyring. Men en stor begrensning med å bruke disse modellene lokalt, for eksempel på bærbare datamaskiner eller smarttelefoner, er deres store størrelse og høye prosesseringskrav. Vanligvis krever disse LLM-ene skybasert infrastruktur for å fungere optimalt.
Nytt gjennombrudd med lokal kjøring
Forskere fra UC Berkeley og ICSI har introdusert TinyAgent, et innovativt rammeverk designet for å trene og implementere oppgave-spesifikke små språkmodell-agenter (TinyAgents). Disse agentene kan utføre funksjonskall direkte på lokale enheter, uten å være avhengige av skybaserte løsninger. TinyAgent fokuserer på mindre, mer effektive modeller som bevarer de viktigste funksjonene til større LLM-er, samtidig som de kan håndtere brukerkommandoer og koordinere andre verktøy og API-er, ifølge MarkTechPost.
Tilpasning av åpne modeller
TinyAgent rammeverket starter med åpne modeller som krever justeringer for korrekt utførelse av funksjonskall. Dette oppnås ved bruk av LLMCompiler, som finjusterer modellene for å sikre at de kan utføre kommandoene konsekvent. En grundig kurasjon av høykvalitets datasett, spesielt designet for funksjonsutførelsesoppgaver, er en nøkkelkomponent i denne prosessen. Basert på dette datasettet har forskerne utviklet to varianter: TinyAgent-1.1B og TinyAgent-7B. Til tross for at de er langt mindre enn større modeller som GPT-4-Turbo, viser TinyAgent seg å være meget presise når det gjelder spesifikke oppgaver.
Optimalisering og rask funksjonsvalg
En av de mest bemerkelsesverdige bidragene fra TinyAgent er en unik teknikk for verktøyinnhenting. Denne prosessen forkorter inndataene under inferens, slik at modellen kan velge riktig verktøy mer effektivt, uten å bli overbelastet med omfattende eller unødvendige data. TinyAgent benytter også kvantisering for å redusere modellens størrelse og kompleksitet. Dette er spesielt viktig for å sikre at modellen fungerer problemfritt på lokale enheter, selv med begrenset prosesseringskraft.
Lokal assistent på bærbare datamaskiner
For å illustrere TinyAgents praktiske anvendelser, har forskerne implementert det som et localisert Siri-lignende system for MacBook. Uten behov for skytilgang, kan systemet forstå og utføre brukerkommandoer sendt via tekst eller stemme. Eksempelvis kan TinyAgent åpne applikasjoner, lage påminnelser og hente informasjon. Ved å lagre brukerdata lokalt ivaretar systemet personvernet, samtidig som internett-tilkobling ikke er nødvendig. Dette kan være avgjørende i situasjoner hvor stabil nettilgang ikke er tilgjengelig.
Imponerende resultater og fremtidspotensial
TinyAgent har vist imponerende resultater. Til tross for sin mindre størrelse matcher, og i noen tilfeller overgår, den de funksjonsutførende evnene til langt større språkmodeller, som GPT-4-Turbo. Dette er en betydelig prestasjon og viser at mindre modeller kan utføre svært spesialiserte oppgaver på en effektiv og presis måte, så lenge de er riktig trent og optimalisert.
En lovende fremtid for lokal AI
Det TinyAgent rammeverket tilbyr er en stor mulighet for å aktivere lokale enheter til å dra nytte av LLM-drevne agent-systemer. Med høy ytelse i sanntidsapplikasjoner, og ved å optimalisere mindre modeller for funksjonsutførelse ved hjelp av teknikker som verktøyinnhenting og kvantisering, gir TinyAgent et effektivt og personvernvennlig alternativ til skybaserte AI-systemer.