REVLAI in PracticeFind billedet med ord — men kontrollér resultatet

REVL / INSIDE THE MACHINE

Find billedet med ord — men kontrollér resultatet

Du husker en rød cykel ved vandet. Filnavnet er væk fra hukommelsen. Kan en AI-model finde billedet ud fra beskrivelsen? Vi byggede et lille, lokalt forsøg med 48 billeder og 12 fastlagte søgninger.

Den røde cykel ved vandet, som modellen placerede først

Det første eksempel virker

Søgningen “a red bicycle beside the water” placerede billede 005 først. Billedet viser netop en rød cykel ved vandet. Modellen fik ikke fotografens beskrivelse, filnavnet fra Wikimedia eller vores manuelle mærkning. Kun billedindhold og søgetekst indgik i beregningen.

Tekst og billeder bliver sammenlignelige

Vi brugte OpenCLIP med modellen CLIP-ViT-B-32-laion2B-s34B-b79K. Billeder og søgetekst kodes til talrepræsentationer. Vi normaliserer dem og beregner cosinuslighed. Resultaterne sorteres fra højeste til laveste værdi.

Det er et reelt modeloutput, genafspillet med vores egen grafik. Animationens tempo er redigeret og er ikke en hastighedsmåling. Modellens visuelle input tilpasses størrelse og centerbeskæres som del af standardforbehandlingen; dermed kan detaljer i kanterne forsvinde. Vektorgrafikken i filmen er en illustration, ikke faktiske koordinater.

“Not red” gav en rød cykel

Vi søgte også efter “a bicycle that is not red”. De fire øverste resultater var røde cykler. Den konkrete model og vores simple rangeringsmetode opfyldte altså ikke denne negative betingelse. Forsøget viser en begrænsning i denne opsætning; det beviser ikke, at alle AI-modeller fejler på opgaven.

Farve og motiv gav også problemer i andre søgninger. “A yellow bicycle” placerede et billede med en grøn cykel ved en gul væg først. “A blue bicycle in front of a red wooden wall” placerede en rød cykel ved en blå dør først. Et billede med blå cykel ved rød trævæg fandtes i galleriet og endte på tredjepladsen.

En rangering kan ikke love, at billedet findes

En elefant i et køkken findes ikke i samlingen. Alligevel får vi et første resultat: et maleri. Vores kode rangerer alle billeder og indeholder ingen valideret “ingen af ovenstående”-afgørelse. Det er en egenskab ved denne søgeopsætning, ikke bevis på at modellen har erklæret, at der er en elefant. Lighedsscorer er ikke sandsynligheder.

Alle 12 søgninger

Vi fastlagde billeder og søgninger før første modelkørsel. Tabellen indeholder hele forsøget, også de mindre vellykkede søgninger.

SøgningFørste billedeCosinuslighedManuel vurdering
a red bicycle beside the water0050.342Passer til vores mærkning
a blue bicycle in front of a red wooden wall0070.335Opfylder ikke søgningen
a yellow bicycle0150.328Opfylder ikke søgningen
a golden retriever lying on grass0390.347Passer til vores mærkning
a cup of coffee on a table0480.342Passer til vores mærkning
a sailboat on a lake0270.334Passer til vores mærkning
mountains covered in snow0340.283Passer til vores mærkning
a red vintage car0210.330Passer til vores mærkning
an old black and white photograph of a car0220.317Passer til vores mærkning
a bicycle that is not red0010.324Opfylder ikke søgningen
a dog lying on its back0410.310Passer til vores mærkning
an elephant standing in a kitchen0430.232Intet relevant billede i galleriet

Hvad forsøget ikke fortæller

Samlingen er lille og udvalgt efter emner. Den indeholder også et maleri som distraktor. Den er ikke repræsentativ for en privat fotomappe, og modellen kan have mødt nogle af de offentlige billeder under sin oprindelige træning. Vi måler ikke generalisering til helt ukendte billeder og tester ikke Google Photos eller andre kommercielle produkter.

Modellens vægte er mærket MIT. Modelkortet beskriver forskningsformål og begrænsninger ved uafprøvet brug. Her bruger vi modellen i et afgrænset, dokumenteret forsøg — ikke som en færdig søgetjeneste.

Ved efterkontrollen opdagede vi én upræcis forhåndsmærkning: billede 007 var regnet som ikke-rødt fra oversigten, men det fulde billede viser en rød cykel. Den manuelle vurdering er rettet og logget separat. Billeder, søgninger og modelrangeringer er uændrede; den oprindelige låsefil og første kørsel er bevaret.

Se demonstrationen

Se den engelske video: How AI Finds the Photo You Can’t Find →

Kilder og forsøgsfiler

Alle billedkilder

  1. 001 — File:Red bicycle in Munich.jpg
    Tiia Monto · CC BY 4.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  2. 002 — File:Red Firefighter Bicycle in Prague C.jpg
    Mojmir Churavy · CC0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  3. 003 — File:Red Firefighter Bicycle in Prague A.jpg
    Mojmir Churavy · CC0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  4. 004 — File:Peugeot bicycle red and man.jpg
    https://www.flickr.com/people/catt1788/ · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  5. 005 — File:Red bicycle (27478994856).jpg
    Randy Landicho · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  6. 006 — File:Red bicycle (7549358078).jpg
    Newtown grafitti from Sydney, Australia · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  7. 007 — File:Rustic Bicycle Against Blue Door.jpg
    Nexine7657 · CC0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  8. 008 — File:Blue bicycle and fence.jpg
    Say_No_To_Turtles · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  9. 009 — File:The Blue Bicycle (25479349197).jpg
    photobom from Queensland, Australia · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  10. 010 — File:Blue bicycle facing left in Boulevard Lascrosse.jpg
    PierreSelim · CC BY 3.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  11. 011 — File:Blue Teal bicycle in Granollers.jpg
    ElleAnónime · CC BY 4.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  12. 012 — File:Blue Bicycle.JPG
    Notwist · Public domain · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  13. 013 — File:New Inn Street EC2 and yellow bicycle. (15284422637).jpg
    Maggie Jones from London, England · Public domain · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  14. 014 — File:Yellow bicycles (7160734065).jpg
    Håkan Dahlström from Malmö, Sweden · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  15. 015 — File:Yellow house and a green bicycle (54173730731).jpg
    Henry Söderlund from Helsinki, Finland, Finland · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  16. 016 — File:Yellow LOUIS GARNEAU..jpg
    MIKI Yoshihito · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  17. 017 — File:Yellow cyclist bicycling down the Vennbahnweg in Raeren, Belgium (DSCF5866).jpg
    Trougnouf (Benoit Brummer) · CC BY 4.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  18. 018 — File:Yellow Bike - Bicycles for hire (5822037808).jpg
    Jorge Láscar from Australia · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  19. 019 — File:Red car toy.jpg
    Jebulon · CC0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  20. 020 — File:Broke, baby sick, and car trouble! - Dorothea Langes photo of a Missouri family of five in the vicinity of Tracy, California.jpg
    Dorothea Lange / Adam Cuerden · Public domain · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  21. 021 — File:Red vintage car in La Habana (10108264664).jpg
    Christopher Holt from Saltspring Island, Canada · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  22. 022 — File:A Brouhot car in Paris, 1910.jpg
    Alexandre Louis · Public domain · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  23. 023 — File:Red Car Trolley (28174822892).jpg
    HarshLight from San Jose, CA, USA · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  24. 024 — File:Red Car Trolley (28200413321).jpg
    HarshLight from San Jose, CA, USA · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  25. 025 — File:Catamaran sailboat on the lake, Krasnoyarsk Reservoir, Russia.jpg
    Vyacheslav Argenberg · CC BY 4.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  26. 026 — File:Krasnoyarsk Reservoir, Catamaran sailboat on the lake, Blue hour, Russia.jpg
    Vyacheslav Argenberg · CC BY 4.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  27. 027 — File:Sailboat on Wabamun Lake.jpg
    NotFromSerbia · CC0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  28. 028 — File:Sailboat on a Lake With Steep Mounatins Behind(GN04786).jpg
    State Government Photographer · CC0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  29. 029 — File:Blue sail on Pulicat Lake.jpg
    McKay Savage · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  30. 030 — File:Catalina 28 Mk II sailboat Lake Effect 5099.jpg
    Ahunt · CC0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  31. 031 — File:Mountains in snow, Mountain lake, Chola Valley, Nepal, Himalayas.jpg
    Vyacheslav Argenberg · CC BY 4.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  32. 032 — File:Mountain lake, Mylgval mountain cirque, Western Caucasus.jpg
    Vyacheslav Argenberg · CC BY 4.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  33. 033 — File:Sofia Massif and Sofia Glacier, Karachay-Cherkessia, Caucasus Mountains.jpg
    Vyacheslav Argenberg · CC BY 4.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  34. 034 — File:Mountain Snow , Oshtorankuh , AZNA.jpg
    Hamid Soufi · Public domain · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  35. 035 — File:Vera C Rubin Observatory in the Snow (IMG 0315-CC).jpg
    NOIRLab/NSF/AURA/C. Corco · CC BY 4.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  36. 036 — File:Dombay, Dzhuguturlyuchat massif and glacier, Caucasus Mountains, Karachay-Cherkessia.jpg
    Vyacheslav Argenberg · CC BY 4.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  37. 037 — File:A Golden Retriever-9 (Barras).JPG
    Barras · CC BY 3.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  38. 038 — File:Portrait of a golden retriever on the grass.jpg
    Shixart1985 · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  39. 039 — File:Lily the Golden Retriever in the grass.jpg
    · Public domain · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  40. 040 — File:Golden retriever exploring a sunny backyard with green grass and a flower arrangement nearby.jpg
    Shixart1985 · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  41. 041 — File:Golden Retriever Wurftreffen Lightning Dreams (10576700306).jpg
    Dirk Vorderstraße · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  42. 042 — File:A Golden Retriever barking (Barras).JPG
    Barras · CC BY 3.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  43. 043 — File:Juan Gris - Moulin à café, tasse et verre sur une table - Google Art Project.jpg
    Juan Gris · Public domain · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  44. 044 — File:Coffee Cup on Modern Table.jpg
    Genaro35 · CC0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  45. 045 — File:Cup of coffee on the table and woman playing guitar in a blurry background.jpg
    Shixart1985 · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  46. 046 — File:The cup of coffee on a wooden table (47939081677).jpg
    Artem Beliaikin from Moscow, Russia · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  47. 047 — File:Old book and coffee on a wooden table in the kitchen.jpg
    Shixart1985 · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.
  48. 048 — File:Warm cup of coffee on a table at a cafe.jpg
    Shixart1985 · CC BY 2.0 · Original og kilde
    Tilpasset størrelse og indsat i grafik. Det viste udsnit kan variere. Ingen ændring af farver eller motiv.