Közösségi platform képi és szemantikus keresők kutatóinak

Mátételki Péter <>
MTA SZTAKI

Gergó Márton <>
MTA SZTAKI

Havasi László <>
MTA SZTAKI

Micsik András <>
MTA SZTAKI

Kovács László <>
MTA SZTAKI

Szirányi Tamás <>
MTA SZTAKI

Az új keresési megoldások kifejlesztése sok kísérletezést igényel, és ebben kívánjuk a kutatókat támogatni. A bemutatott megoldás egy keretet ad többféle keresési megoldás egyidejű kipróbálására, kombinálására, valamint a tesztadatok megosztására. A platform részeként a SZTAKI-ban fejlesztett újfajta képkeresőt és szemantikus keresőt is bemutatjuk.

Új e-science platformunk azt a kutatási folyamatot szeretné támogatni, amely a multimodális keresési megoldások iteratív javítása során tud kialakulni. A kutatóknak összehasonlítható keresési eredményekre van szükségük, valamint közös tesztadatokra. Ezt a legegyszerűbben úgy lehet elérni, ha egy közös portálon végzik tesztfuttatásaikat, vagyis a portál biztosítja a közös tesztadatokat (amelyben keresnek), a keresési algoritmusok futtatását, valamint a keresőfelületet. A felületen kiválasztható, hogy melyik adatbázisban, melyik algoritmus szerint akarunk keresni, így a kutatócsoportok számára összehasonlíthatóvá válnak az eredmények.

A kifejlesztett Crossmedia nevű keretrendszer elosztott, több gépből álló architektúrára épül. A rendszer részei:

Mivel a fenti komponensek (az utolsó kettő kivételével) akár mind külön gépeken üzemeltethetőek, fontos szerepük van a komponensek közti API-knak. Kiemelten említjük a Keresési API-t, amely a keresési felület számára teszi elérhetővé a kereső szolgáltatást, valamint a Médiatár API-t, amely a keretrendszer központi adatbázisát teszi minden komponens számára elérhetővé.

A Keresési API egy új keresési szisztémát valósít meg, két fő ismérve az instant keresési képesség és a több mintán alapuló találati lista kialakítása. A keresési protokoll egységesen kezeli a különböző modalitásokat/médiákat melyekből egy közös, homogén találati lista állítható elő. A találati listán keresztül a felhasználónak lehetősége van visszacsatolást létrehozni a kereső modul felé. Ez a visszacsatolás az alapja a “súlyfüggvények hangolásának”. A súlyfüggvények jelentősége a több mintán alapuló találati lista összeállítása során mutatkozik amikor több párhuzamosan kinyert listát kell egyetlen - szándékunk szerint jobb - listába összegyúrni.


A Médiatár API alapjában véve a feltöltött médiák elérését és kezelését teszi lehetővé a portálból és a feldolgozó egységekből egyaránt. Ezt kiegészítettük oly módon, hogy a különböző algoritmusok, indexek, és ütemezett folyamatok nyilvántartására és kezelésére is alkalmas, egy kapcsolódási pontot képezve a portál és a háttérben futó keresőmotorok között.

A portálon eltérő felületeket alakítottunk ki a portálra látogató (külső) érdeklődők és a regisztrált kutatók számára. Előbbi csoportba tartozó felhasználóknak a portálrendszerben publikusan is hasznosítható, a fő kutatási eredményeket bemutató felületet biztosítunk, melynek segítségével információt kapnak a portálközösség fő tevékenységéről és kipróbálhatják a kutatók által a nagyközönség felé publikált eredményeket: képi és szemantikus keresési módszereket. A regisztrált felhasználók kutatói közösségeket alakíthatnak ki a portálon. Minden közösség rendelkezik egy (belső) kollaborációs térrel, melyben megbeszélhetik eredményeiket a fórum és blog szolgáltatás segítségével, feltölthetik a tesztelésre szánt algoritmusokat, médiaállományokat, és felépíthetik a teszteléshez szükséges indexeket, majd ki is próbálhatják ezeket.

A kifejlesztett képleíró és szemantikus keresési indexek tesztelésére egy keresőfelületet hoztunk létre, mely a rendelkezésre álló média-adatbázison biztosítja a multimédia térben az indexekre vonatkozó összetett keresési feltételek megfogalmazását és az összefésült találati eredmények megjelenítését. A keresőprogramot böngésző- és platformfüggetlen web-alkalmazásként implementáltuk a Sencha platform segítségével, melynek lehetőségeit kihasználva egy jól áttekinthető, könnyen és intuitívan kezelhető, teljes mértékben Ajax technológián alapuló felhasználói felületet hoztunk létre.

Demonstrációs célokra a keretrendszerbe töltöttünk nagyjából 5 millió képet szabad szöveges annotációikkal együtt. E teszt adatbázisra módosított LHI-tree indexeket és szemantikus leírókat építettünk. A keresési folyamat során a kommunikációs protokollon keresztül a fúziós kereső a képleíró és szemantikus indexek összefésült találatait továbbítja a keresőfelületnek.