Videó-ujjlenyomatok
DIVAS
2009.12.04.
A videó meghódította a világhálót, a drámai mértékben növekvő mozgóképanyaghoz, audiovizuális tartalmak kezeléséhez új indexelő és keresési módszerek kellenek. Európai kutatók egy ilyen, kereskedelmi alkalmazásokkal kecsegtető megoldást dolgoztak ki.

Mi az a „videó-ujjlenyomat”?

A legtöbb jelenlegi videókereső technológia szemantikus annotáción alapul: az anyagok címkézése manuálisan történik, majd e címkék alapján lesznek megtalálhatók a szöveg-alapú keresés során. Egy-két videó kézi felcímkézése (tagging) nem okoz különösebb problémát, többezeré – ahogy a tartalomszolgáltatók és médiatárak rendszeresen teszik – viszont már annál inkább. Felettébb idő- és pénzigényes tevékenység.

Gyorsabb alternatíva szoftverrel részleteket kivonatolni, majd azokból különböző audiovizuális jegyek (jelenetváltás, mozgás, zene stb.) alapján a későbbi indexelésnél és keresésnél hasznosítható egyedi azonosítót – „ujjlenyomat”-ot – létrehozni. A technológia jól működik tömörítetlen, nyers audió- és videómatériaval, viszont a gyakoribb, tömörített fájlok, a weboldalakról jövő, médiatárakban tárolt vagy televíziócsatornák által sugárzott stream-ek esetében egyáltalán nem nevezhető hatékonynak.

Eddig így volt, az európai uniós DIVAS (Direct Video & Audio Content Search Engeine, közvetlen videó- és audiótartalom-kereső) projekt viszont változást hozott.

„Új eljárást akartunk kifejleszteni tömörített videófájlok tömörítési formátumtól és a tárolás helyétől, módjától független, gyors indexelésére és keresésére” – nyilatkozta Nick Achilleopoulos projektmenedzser.

Az új technológia előnyei

Céljuk kivitelezéséhez két szoftvermotort fejlesztettek: az egyik tömörített audió- és/vagy videóanyagból készít ujjlenyomatokat, amelyeket az audiovizuális matéria tartalomalapú keresésére használ fel a másik.

Ellentétben a digitális ujjlenyomatot készítő szoftverek zömével, DIVAS technológiával a videók tömörített állapotban is kezelhetők, s így sokkal kevesebb feldolgozó kapacitás és tárhely szükséges, miközben az indexelési folyamat jócskán felgyorsul. Míg más rendszereknek alkalmasint hatvan gigányi nyersanyag kell, addig az új módszerrel már négy gigányi DVD-minőségű tömörített anyagból is előállítható ujjlenyomat. Ráadásul a DIVAS a legtöbb népszerű videó- és audiófájl-formátummal kompatibilis.

„Az ujjlenyomat-kivonatoló szoftver nagyjából ugyanúgy határozza meg az audió- és videójegyeket, ahogy az ember nézőként érzékeli az audiovizuális elemeket” – magyarázza Achilleopoulos. Az ujjlenyomatot elsősorban képi jellemzők alapján hozza létre: jelenetváltás, kameramozgás, vágások, világítás, személyek és tárgyak mozgása. A hang (beszéd, zene, háttérzaj stb.) nagyon fontos, sok esetben „perdöntő” kiegészítő információt szolgáltat: képzeljük el, hogy nagyjából ugyanazt látjuk, például valaki ül egy széken, és a hallgatóságnak énekel, míg a másik anyagon szintén egy széken ülő személy beszél. Az audiójegyek figyelembevétele nélkül azt hinnénk, hogy kétszer látjuk ugyanazt.

Sorozat, szezon, epizód, jelenet

Az eredeti tartalomnak csak töredékét kitevő ujjlenyomatokat MPEG7 szabvánnyal összekombinált XML formátumban tárolják. A videóindex egyrészt nagyon könnyen hozzáférhető, másrészt a keresés is gyors és problémamentes.

„Tételezzük fel, hogy rövid részletet láttunk egy tévésorozatból, s még többet szeretnénk megnézni belőle, viszont nem tudjuk a címét” – szemléltet a projektmenedzser. – „A részletet könnyedén feltölthetjük egy DIVAS keresőre, amellyel nemcsak a sorozatot, hanem szezont, epizódot is megtalálunk, sőt, a részlet jelenetbeli pontos időpontját is.”

Az ujjlenyomattal ellátott részlet összevetéséhez persze az kell, hogy indexált adatbázisunk legyen a videótartalomról. Ha komoly gyűjteménnyel rendelkezünk, kifejezetten hasznos lehet egy ilyen adatbázis. Például neten látott trailerek alapján találhatunk rá kollekciónk egy-egy darabjára. Ezt segítendő, a kutatók kísérleti plug-int fejlesztettek a Firefoxra.

Kereskedelmi potenciál

Az igazi kereskedelmi potenciált azonban nem feltétlenül magánfelhasználók, hanem médiavállalatok és internetes keresőszolgáltatók jelentik. Például sok cég érdekelt a televíziós műsorsugárzás folyamatos monitorozásában – alkalmasint azért, hogy megbizonyosodjanak róla: az adott csatornán tényleg akkor és annyiszor látható egy-egy reklám, ahogy a szerződésben megállapodtak. Jelenleg az adásokat drága berendezésekkel rögzítik, esetleg embereik nézik. Sokkal olcsóbb lenne felvenniük a tömörített fájlokat, majd szoftverekkel – a reklámmal összevetendő – ujjlenyomatokat készíttetni belőlük.

A DIVAS konzorcium reklámcégekkel és az internetes keresésben érdekelt vállalatokkal, potenciális vásárlókkal és befektetőkkel egyaránt folytat tárgyalásokat. Kiegészítő alkalmazásokat is terveznek.

A projektpartner izraeli Optibase EZTV internetes videószolgáltatásába máris beintegrálta az új technológiát. Vállalatok, kormányzati szervek és az oktatásban dolgozók képezik a célközönséget. Az integráció azért sem nehéz, mert a rendszer moduláris, új funkciókkal bővíthető.

(kf)