I løpet av de siste månedene har Apple gitt ut en jevn strøm av forskningsartikler som beskriver arbeidet med generativ AI. Så langt har Apple vært ordknappe om hva som egentlig koker i forskningslaboratoriene, mens ryktene går om at Apple er i samtaler med Google om å lisensiere Gemini AI for iPhones.
Men det har vært et par teasere av hva vi kan forvente. I februar beskrev en forskningsartikkel fra Apple en åpen kildekode-modell kalt MLLM-Guided Image Editing (MGIE) som er i stand til medieredigering ved bruk av naturlig språkinstruksjoner fra brukere. Nå, en annen forskningsartikkel om Ilder UI har sendt AI-fellesskapet ut i vanvidd.
Ideen er å distribuere en multimodal AI (en som forstår tekster så vel som multimedieressurser) for å bedre forstå elementer i et mobilt brukergrensesnitt. – og viktigst av alt, å levere nyttige tips. Det er en kritisk målpost når ingeniører kjemper for å gjøre AI mer nyttig for en gjennomsnittlig smarttelefonbruker enn den nåværende statusen «salongtriks».
I den retningen er det største presset å koble de generative AI-funksjonene fra skyen, avslutte behovet for en internettforbindelse og distribuere hver oppgave på enheten slik at den er raskere og tryggere. Ta for eksempel Googles Gemini, som kjører lokalt på telefonene i Google Pixel og Samsung Galaxy S24-serien – og snart OnePlus-telefoner – og utfører oppgaver som oppsummering og oversettelse.
Hva er Apples Ferret UI?
Med Ferret-UI har Apple tilsynelatende som mål å blande smartene til en multimodal AI-modell med iOS. Akkurat nå er fokuset på mer «elementære» gjøremål som «ikongjenkjenning, finn tekst og widgetoppføring.» Det handler imidlertid ikke bare om å forstå hva som vises på en iPhone-skjerm, men også å forstå det logisk og svare på kontekstuelle spørsmål fra brukere gjennom resonneringsmulighetene.
Den enkleste måten å beskrive egenskapene til Ferret UI er som et intelligent optisk tegngjenkjenningssystem (OCR) drevet av AI. «Etter trening på de kuraterte datasettene, viser Ferret-UI enestående forståelse av UI-skjermer og evnen til å utføre åpne instruksjoner,» bemerker forskningsoppgaven. Teamet bak Ferret UI har innstilt den for å imøtekomme «enhver oppløsning».
Du kan stille spørsmål som «Er denne appen trygg for mitt 12 år gamle barn?» mens du surfer gjennom App Store. I slike situasjoner vil AI lese aldersgrensen til appen og vil følgelig gi svaret. Hvordan svaret vil bli servert – tekst eller lyd – er ikke spesifisert, siden avisen ikke nevner Siri eller noen virtuell assistent, for den saks skyld.
Eple falt ikke så langt fra GPT-treet
Men ideene er langt mer panoramiske og smarte. Spør den «Hvordan kan jeg dele appen med en venn?» og AI vil fremheve «del»-ikonet på skjermen. Selvfølgelig vil det gi deg en oversikt over hva som blinker på skjermen, men samtidig vil den logisk analysere de visuelle ressursene på skjermen – akkurat som bokser, knapper, bilder, ikoner og mer. Det er en enorm tilgjengelighetsseier.
Hvis du ønsker å høre de tekniske termene, vel, refererer papiret til disse egenskapene som «persepsjonssamtale», «funksjonell slutning» og «interaksjonssamtale.» En av forskningsoppgavens beskrivelser oppsummerer faktisk Ferret UI-mulighetene perfekt, og beskriver den som «den første MLLM designet for å utføre presise henvisnings- og jordingsoppgaver som er spesifikke for UI-skjermer, mens de tolker og reagerer på åpne språkinstruksjoner.»
Som et resultat kan den beskrive skjermbilder, fortelle hva en bestemt ressurs gjør når den trykkes, og se om noe på skjermen er interaktivt med berøringsinnganger. Ferret UI er ikke bare et internt prosjekt. I stedet, for begrunnelse og beskrivelse, er den avhengig av OpenAIs GPT-4-teknologi, som driver ChatGPT, sammen med en hel haug med andre samtaleprodukter der ute.
Spesielt er den spesielle versjonen som er foreslått i papiret egnet for flere sideforhold. I tillegg til analyse- og resonneringsevnene på skjermen, beskriver forskningsoppgaven også noen få avanserte funksjoner som er ganske fantastiske å se for seg. For eksempel, i skjermbildet nedenfor, virker det i stand til ikke bare å analysere håndskrevet tekst, men kan også forutsi riktig versjon fra brukerens feilstavede skriblerier.
MIt er også i stand til å lese tekst nøyaktig som er kuttet av øverst eller nederst og ellers ville kreve en vertikal rulling. Det er imidlertid ikke perfekt. Noen ganger feilidentifiserer den en knapp som en fane og feilleser eiendeler som kombinerer bilder og tekst i en enkelt blokk.
Når det ble stilt opp mot OpenAIs GPT-4V-modell, leverte Ferret UI et imponerende nivå av samtaleinteraksjonsutganger når de ble stilt spørsmål relatert til innholdet på skjermen. Som du kan se på bildet nedenfor, foretrekker Ferret UI mer konsise og enkle svar, mens GPT-4V skriver mer detaljerte svar.
Valget er subjektivt, men hvis jeg skulle spørre en AI: «Hvordan kjøper jeg tøffelen som vises på skjermen», foretrekker jeg at det bare gir meg de riktige trinnene med så få ord som mulig. Men Ferret UI presterte beundringsverdig ved ikke bare å holde ting kortfattet, men også med nøyaktighet. Ved den nevnte oppgaven scoret Ferret UI 91,7 % ved samtaleinteraksjonsutganger, mens GPT-4V bare var litt foran med 93,4 % nøyaktighet.
Et univers av spennende muligheter
Ferret UI markerer en imponerende debut av AI som kan gi mening med handlinger på skjermen. Nå, før vi blir for begeistret for mulighetene her, er vi ikke sikre på nøyaktig hvordan Apple har som mål å integrere dette med iOS, eller om det i det hele tatt vil materialisere seg, av flere grunner. Bloomberg rapporterte nylig at Apple var klar over å være en etternøler i AI-løpet, og det er ganske tydelig av mangelen på innfødte generative AI-produkter i Apple-økosystemet.
For det første er ryktene om at Apple til og med vurderer en Gemini-lisensavtale med Google eller OpenAI et tegn på at Apples eget arbeid ikke er på samme nivå som konkurrentenes. I et slikt scenario vil det være klokere å bruke arbeidet Google allerede har gjort med Gemini (som nå prøver å erstatte Google Assistant på telefoner) enn å skyve et halvferdig AI-produkt på iPhone og iPad.
Apple har helt klart ambisiøse ideer og fortsetter å jobbe med dem, noe som demonstreres av eksperimentene som er beskrevet i flere forskningsartikler. Men selv om Apple klarer å oppfylle Ferret UI sine løfter innen iOS, vil det fortsatt utgjøre en overfladisk implementering av generativ AI på enheten.
Funksjonelle integrasjoner, selv om de bare er begrenset til interne forhåndsinstallerte apper, kan imidlertid gi fantastiske resultater. La oss for eksempel si at du leser en e-post mens AI allerede har vurdert innholdet på skjermen i bakgrunnen. Mens du leser meldingen i Mail-appen, kan du be AI med en talekommando om å lage en kalenderoppføring ut av den og lagre den i timeplanen din.
Det trenger ikke nødvendigvis å være en superkompleks flertrinnsoppgave som involverer mer enn én app. La oss si at du ser på en restaurants kunnskapsside for Google Søk, og ved ganske enkelt å si «ring stedet», leser AI telefonnummeret på skjermen, kopierer det til oppringeren og starter en samtale.
Eller la oss si at du leser en tweet om en film som kommer ut 6. april, og du ber AI-en lage en snarvei rettet mot Fandango-appen. Eller, et innlegg om en strand i Vietnam inspirerer din neste solo-reise, og en enkel «bestill meg en billett til Con Dai» tar deg til Skyscanner-appen med alle oppføringene dine allerede fylt ut.
Men alt dette er lettere sagt enn gjort og avhenger av flere variabler, hvorav noen kan være utenfor Apples kontroll. For eksempel vil nettsider fulle av popup-vinduer og påtrengende annonser gjøre det nesten umulig for Ferret UI å gjøre jobben sin. Men på den positive siden følger iOS-utviklere nøye designretningslinjene fastsatt av Apple, så det er sannsynlig at Ferret UI ville gjøre magien sin mer effektivt på iPhone-apper.
Det ville likevel vært en imponerende seier. Og siden vi snakker om implementering på enheten bakt tett på OS-nivå, er det usannsynlig at Apple vil ta betalt for bekvemmeligheten, i motsetning til vanlige generative AI-produkter som ChatGPT Plus eller Microsoft Copilot Pro. Ville iOS 18 endelig gi oss et glimt av en redesignet iOS superladet på AI smarts? Vi må vente til Apples Worldwide Developers Conference 2024 for å finne ut av det.
Støtt vårt arbeid ❤️
Hvis du likte denne artikkelen, vurder å gi en tips for å hjelpe oss med å fortsette å publisere kvalitetsinnhold.
