Denne historien er en del av vår dekning av Computex, verdens største datakonferanse.
Da Microsoft annonserte Copilot+ PC-er for noen uker tilbake, var det ett spørsmål som regjerte: Hvorfor kan jeg ikke bare kjøre disse AI-applikasjonene på min GPU? På Computex 2024 ga Nvidia endelig et svar.
Nvidia og Microsoft jobber sammen om et Application Programming Interface (API) som vil tillate utviklere å kjøre sine AI-akselererte apper på RTX-grafikkort. Dette inkluderer de ulike Small Language Models (SLM) som er en del av Copilot-kjøringen, som brukes som grunnlag for funksjoner som Recall og Live Captions.
Med verktøysettet kan utviklere tillate apper å kjøre lokalt på din GPU i stedet for NPU. Dette åpner døren for ikke bare kraftigere AI-applikasjoner, ettersom AI-egenskapene til GPU-er generelt er høyere enn NPU-er, men også muligheten til å kjøre på PC-er som for øyeblikket ikke faller inn under Copilot+-paraplyen.
Få din ukentlige nedbrytning av teknologien bak PC-spilling
Det er et flott trekk. Copilot+ PC-er krever for øyeblikket en Neural Processing Unit (NPU) som er i stand til minst 40 Tera Operations Per Second (TOPS). For øyeblikket er det bare Snapdragon X Elite som tilfredsstiller disse kriteriene. Til tross for det har GPU-er mye høyere AI-behandlingsevner, med til og med low-end-modeller som når til 100 TOPS, og avanserte alternativer skaleres enda høyere.
I tillegg til å kjøre på GPU, legger den nye APIen til gjenfinningsforsterket generasjon (RAG)-funksjoner til Copilot-kjøringen. RAG gir AI-modellen tilgang til spesifikk informasjon lokalt, slik at den kan tilby mer nyttige løsninger. Vi så RAG på full visning med Nvidias Chat med RTX tidligere i år.
Utenfor APIen kunngjorde Nvidia RTX AI Toolkit på Computex. Denne utviklerpakken, som kommer i juni, kombinerer ulike verktøy og SDK-er som lar utviklere tilpasse AI-modeller for spesifikke applikasjoner. Nvidia sier at ved å bruke RTX AI Toolkit kan utviklere lage modeller fire ganger raskere og tre ganger mindre sammenlignet med å bruke åpen kildekode-løsninger.
Vi ser en bølge av verktøy som gjør det mulig for utviklere å bygge spesifikke AI-applikasjoner for sluttbrukere. Noe av det dukker allerede opp i Copilot+ PC-er, men jeg mistenker at vi vil se langt flere AI-applikasjoner på dette tidspunktet neste år. Vi har tross alt maskinvaren til å kjøre disse appene; nå trenger vi bare programvaren.
Støtt vårt arbeid ❤️
Hvis du likte denne artikkelen, vurder å gi en tips for å hjelpe oss med å fortsette å publisere kvalitetsinnhold.
