Az új keresési megoldások kifejlesztése sok kísérletezést igényel, és ebben kívánjuk a kutatókat támogatni. A bemutatott megoldás egy keretet ad többféle keresési megoldás egyidejű kipróbálására, kombinálására, valamint a tesztadatok megosztására. A platform részeként a SZTAKI-ban fejlesztett újfajta képkeresőt és szemantikus keresőt is bemutatjuk.
Új e-science platformunk azt a kutatási folyamatot szeretné támogatni, amely a multimodális keresési megoldások iteratív javítása során tud kialakulni. A kutatóknak összehasonlítható keresési eredményekre van szükségük, valamint közös tesztadatokra. Ezt a legegyszerűbben úgy lehet elérni, ha egy közös portálon végzik tesztfuttatásaikat, vagyis a portál biztosítja a közös tesztadatokat (amelyben keresnek), a keresési algoritmusok futtatását, valamint a keresőfelületet. A felületen kiválasztható, hogy melyik adatbázisban, melyik algoritmus szerint akarunk keresni, így a kutatócsoportok számára összehasonlíthatóvá válnak az eredmények.
A kifejlesztett Crossmedia nevű keretrendszer elosztott, több gépből álló architektúrára épül. A rendszer részei:
A Keresési API egy új keresési szisztémát valósít meg, két fő ismérve az instant keresési képesség és a több mintán alapuló találati lista kialakítása. A keresési protokoll egységesen kezeli a különböző modalitásokat/médiákat melyekből egy közös, homogén találati lista állítható elő. A találati listán keresztül a felhasználónak lehetősége van visszacsatolást létrehozni a kereső modul felé. Ez a visszacsatolás az alapja a “súlyfüggvények hangolásának”. A súlyfüggvények jelentősége a több mintán alapuló találati lista összeállítása során mutatkozik amikor több párhuzamosan kinyert listát kell egyetlen - szándékunk szerint jobb - listába összegyúrni.
A Médiatár API alapjában véve a feltöltött médiák elérését és kezelését teszi lehetővé a portálból és a feldolgozó egységekből egyaránt. Ezt kiegészítettük oly módon, hogy a különböző algoritmusok, indexek, és ütemezett folyamatok nyilvántartására és kezelésére is alkalmas, egy kapcsolódási pontot képezve a portál és a háttérben futó keresőmotorok között.
A portálon eltérő felületeket alakítottunk ki a portálra látogató (külső) érdeklődők és a regisztrált kutatók számára. Előbbi csoportba tartozó felhasználóknak a portálrendszerben publikusan is hasznosítható, a fő kutatási eredményeket bemutató felületet biztosítunk, melynek segítségével információt kapnak a portálközösség fő tevékenységéről és kipróbálhatják a kutatók által a nagyközönség felé publikált eredményeket: képi és szemantikus keresési módszereket. A regisztrált felhasználók kutatói közösségeket alakíthatnak ki a portálon. Minden közösség rendelkezik egy (belső) kollaborációs térrel, melyben megbeszélhetik eredményeiket a fórum és blog szolgáltatás segítségével, feltölthetik a tesztelésre szánt algoritmusokat, médiaállományokat, és felépíthetik a teszteléshez szükséges indexeket, majd ki is próbálhatják ezeket.A kifejlesztett képleíró és szemantikus keresési indexek tesztelésére egy keresőfelületet hoztunk létre, mely a rendelkezésre álló média-adatbázison biztosítja a multimédia térben az indexekre vonatkozó összetett keresési feltételek megfogalmazását és az összefésült találati eredmények megjelenítését. A keresőprogramot böngésző- és platformfüggetlen web-alkalmazásként implementáltuk a Sencha platform segítségével, melynek lehetőségeit kihasználva egy jól áttekinthető, könnyen és intuitívan kezelhető, teljes mértékben Ajax technológián alapuló felhasználói felületet hoztunk létre.
Demonstrációs célokra a keretrendszerbe töltöttünk nagyjából 5 millió képet szabad szöveges annotációikkal együtt. E teszt adatbázisra módosított LHI-tree indexeket és szemantikus leírókat építettünk. A keresési folyamat során a kommunikációs protokollon keresztül a fúziós kereső a képleíró és szemantikus indexek összefésült találatait továbbítja a keresőfelületnek.