Google Bard Bildeopplasting: Kule Eksempler og Tips

Google har i det stille forbedret Bard og lagt til nye funksjoner med noen få ukers mellomrom, noe som bringer funksjonene på nivå med ChatGPT. Nå har selskapet lagt til muligheten til å laste opp bilder til Bard for en mye bredere opplevelse i tillegg til tekst. Gjør ingen feil, Google Bard er fortsatt en stor språkmodell som kun består av tekst. Søkegiganten har imidlertid integrert Google Lens, omvendt bildesøk og noen få VQA-systemer (Visual Question Answering) for å få Bard til å føle seg som en multimodal modell. Likevel er Bards nåværende synsevne faktisk noe overraskende, og vi har testet den nedenfor for å lære om dens evner. På det notatet, la oss ta en titt på noen kule eksempler på bildeopplastinger i Google Bard.

1. Trekk ut tekster fra bilder

Den beste nytten av Bards bildehåndteringsevne er at du nå kan laste opp et bilde ved å klikke på (+) knapp. Den kan da raskt hente tekster fra opplastingene. Google Bard da utfører automatisk OCR og gjør en nøyaktig jobb. Når det er sagt, til tross for en lang liste med språkstøtte i Bard, fungerer OCR-funksjonaliteten for øyeblikket bare for det engelske språket. Jeg prøvde flere internasjonale og regionale språk, men det klarte ikke å fange tekster fra skannede bilder. Likevel, for rask tekstutvinning fra bilder, kan Bard være svært nyttig.

2. Pakk ut tabeller med intakt formatering

Vi sliter alle når vi må trekke ut tabeller fra skannede bilder eller dokumenter. Imidlertid kan Google Bard enkelt trekke ut tabeller med formateringen intakt. Faktisk kan du eksportere tabellen til Google Sheets i tillegg og gjør ytterligere redigering eller dataknusing. Hvor kult er det? Når det er sagt, for øyeblikket hallusinerer Bard mye, og i noen tilfeller fyller det cellene med feil data, så sørg for å bekrefte dem før du eksporterer dem.

3. Generer kode for nettsteder/apper ved hjelp av modeller

For å vise frem GPT-4s multimodalitetsfunksjon, demonstrerte OpenAI i mars 2023 hvordan modellen sin forsto den skriblende lappen og laget raskt en mockup av nettstedet fra et stykke papir. Mens den multimodale funksjonen ennå ikke er kommet til GPT-4, er Google Bard i stand til å generere kode som matcher mockupen. Husk det Bard er ikke en multimodal modell men bruker bildesegmentering via Google Lens for å forstå bildet. Ikke desto mindre overrasket Bard oss ​​med resultatene.

Jeg lastet opp et skjermbilde av Facebook-landingssiden, og det ble raskt generert kode i HTML og CSS som lignet litt. Jeg lastet også opp et bilde av en enkel nettside som jeg tegnet på papir, og Google Bard gjorde en god nok jobb med å gjenskape det. Videre kan du bruke lignende metoder for å gjenskape brukergrensesnitt for smarttelefonapper og andre nettsteder.

4. Google Bard kan forklare bilder

Google Bard er flink til å forklare bilder og oppsummere hva som foregår i dem. Du kan laste opp obskure bilder, og det kan det produsere pålitelig informasjon raskt. Jeg lastet opp et lavkvalitetsbilde av en biologisk mekanisme, og det identifiserte det korrekt som cellemitose. Den forklarte prosessen videre trinn for trinn.

I et annet eksempel, I lastet opp et diagram, og den forsto bildet riktig og forklarte dataene. Den opprettet til og med en tabell over datapunktene slik at jeg kunne jobbe med den i Google Sheets. Spesielt for studenter kan Bard være behjelpelig med å forstå begreper innen naturvitenskap og andre emner. Du kan ganske enkelt laste opp et bilde og spørre Bard om det.

5. Få næringsinformasjon fra bilder

Ved å bruke Bards bildebehandlingsevne kan du få næringsverdier av mat. Bare last opp bildet av maten på tallerkenen din, så gjør det det beregne den totale kalorien innen sekunder. Dette kan være svært nyttig for folk som er på regulert diett.

I min testing kunne den ikke måle porsjonsstørrelsen, men ga eksempler slik at du kunne beregne det totale kaloriinntaket selv. Det ser ut til at Google bruker bildesegmentering for å kategorisere matvarer og komme med ernæringsinformasjon.

6. Improviser matoppskrifter

Et annet utmerket bruksområde er å legge til bildet av rå matvarer og be Google Bard komme med ulike matoppskrifter. Du kan også legge til bilder av matvarer i kjøleskapet ditt, og det vil enkelt lages personlige oppskrifter for deg. Videre kan du spørre Bard om spesielle retter fra ulike deler av verden. Og hvis du er på diett, kan du be Google Bard lage fettfrie, kalorifattige matoppskrifter for metthetsfølelse.

7. Løs matematiske spørsmål

Du kan bruke Google Bard til å løse matematiske spørsmål også. Du kan laste opp et bilde av matematikkoppgavene dine til Bard, og det vil det prøv å løse spørsmålet for deg. I min testing var Bards tilnærming riktig, men på grunn av notasjonsproblemer kom den kun med feil svar. Jeg tror det vil kreve en oppdatering av synsystemet for å gjøre Bard mer egnet til å håndtere matematiske notasjoner og spørsmål.

8. Forklar memer og vitser

Google Bard kan også forklare memer og vitser. Du kan laste opp bilder av morsomme memer og tegneserier og spør Bard hva som er morsomt omtrent det samme, og det vil gi sin egen tolkning. Jeg lastet opp det samme bildet som OpenAI demonstrerte under GPT-4-avdukingen, og Bard forsto med rette den morsomme absurditeten bak bildet.

I et annet tilfelle lastet jeg opp et bilde til Google Bard fra The New Yorker Cartoons og ba det om det forklar vitsen. Men denne gangen forklarte det ganske enkelt scenen og kunne ikke fortelle hvorfor bildet var morsomt. Den savnet fullstendig e-postfrasen som ofte brukes på arbeidsplasser. Jeg vil foreslå at du prøver Google Bard selv og sjekker om den er intelligent nok til å forstå vidd og humor.

9. Oversett ligninger til LaTeX

Det er ingen hemmelighet at mange synes det er vanskelig å skrive i LaTeX og foretrekker å bruke tekstbehandlere. Men for vitenskapelige forskningsartikler og akademisk skriving kreves LaTeX for legge til komplekse ligninger og setting av høy kvalitet. I et slikt scenario kan Google Bard være nyttig. Du kan legge til bilder av ligninger, og Bard kan oversette dem til LaTeX-kode. Det er fantastisk, ikke sant? Så fortsett og oversett ligningene til LaTeX-kode på kort tid.

10. Last opp medisinske rapporter og still spørsmål

Til slutt kan du laste opp bilder av medisinske rapporter og skanne dem til Google Bard. Du kan deretter stille medisinske spørsmål basert på dem. Noen leger på Twitter har vist at Bard er ganske grei for differensialdiagnose. Det kan også hjelpe brukere til å forstå helsen deres og forstå medisinske rapporter

Når det er sagt, husk at Google Bard kjører på en generell LLM kalt PaLM 2. Søkegiganten har utviklet en egen medisinsk-domene Med-PaLM 2-modell, som er ganske nøyaktig og avansert, men den er ikke tilgjengelig for generelle brukere ennå. Så jeg vil anbefale brukere å holde seg unna enhver form for selvdiagnose ved å bruke Bard. Det anbefales sterkt å konsultere en lege. Og til slutt, hvis du laster opp dine personlige medisinske rapporter til Bard, sørg for å slette Bard-chatter for å beskytte personvernet ditt.

Støtt vårt arbeid ❤️

Hvis du likte denne artikkelen, vurder å gi en tips for å hjelpe oss med å fortsette å publisere kvalitetsinnhold.

5 € 10 € 15 € Annet

€

Gi tips med PayPal Sikker betaling med PayPal