Společnost Microsoft spustila nástroj pro rozpoznávání obrázků, který se pokouší popsat obsah obrázku. Tento nástroj umělé inteligence je stále ve vývojové fázi a neustále se učí z obrázků nahraných uživateli.

Pokud jde o přesnost, někdy je popis poměrně přesný, zatímco CaptionBot někdy nabízí popisy, které nemají nic společného s tím, co je znázorněno. Existují také případy, kdy aplikace nemůže vůbec poskytnout popis kvůli svému hrubému stavu kolem okrajů.

Microsoft navrhl CaptionBot, aby se učil s větší zkušeností, s očekáváním, že jeho titulky budou časem přesnější. Čím více obrázků uživatelé nahrají, tím lépe se aplikace stává, jak popisuje CaptionBot:

Dokážu porozumět obsahu jakéhokoli obrázku a pokusím se jej popsat stejně jako každého člověka. Stále se učím, takže budu držet vaši fotku, ale žádné osobní informace.

CaptionBot používá tři technologie k popisu toho, co je znázorněno na obrázku: Microsoft Computer Vision, Emotion a Bing Image. Rozhraní Computer Vision API extrahuje bohaté informace z obrazů a roztřídí a zpracuje vizuální data spolu s identifikací a extrahováním textu z obrazu. Emotion API, jak již název napovídá, analyzuje tváře, aby odhalil řadu pocitů, vše od hněvu, pohrdání, znechucení, strachu, štěstí, neutrality, smutku a překvapení. Bing Image prohledává obrázky na webu.

Testovali jsme CaptionBot a výsledky byly přesné v 50% případů. Například jsme nahráli dva obrázky: jeden zobrazující herní myš, druhý hromadu karet. V obou případech nástroj navrhl, že se jedná o mobilní telefon. Na druhou stranu CaptionBot přesně detekoval lidi a tváře.

Zjevně má CaptionBot posedlost mobilními telefony. Jeden uživatel služby Twitter nahlásil aplikaci, že Michelle Obama je mobilní telefon. Další vtipné titulky CaptionBot najdete na této stránce Twitteru.

Můžete také otestovat CaptionBot zde. Zkuste to: buď pomůžete vylepšit nástroj, nebo se budete dobře smát!