Egy labda elkapásához fontos a labda helyzete, sebessége és mozgásiránya. A rá nyomtatott márkajelzés kevésbé. Az AI tanításának egyik izgalmas kérdése, hogyan tanulhatja meg egy rendszer, mely részleteket érdemes megőriznie a világból. Ez az a terület, ahol Yann LeCun szerint az LLM-eknek súlyos korlátaik vannak. A Meta vezető AI-kutatói posztjáról távozva társalapítóként létrehozta az AMI Labsot, amely világmodellek kutatásával és fejlesztésével foglalkozik.
Yann LeCun legújabb fejlesztése, a JEPA erre a problémára ad választ. A kiindulópont: a megfigyelésekből olyan belső reprezentációt, vagyis számokkal leírt belső jellemzőket érdemes kialakítani, amely megragadja a hasznos, kiszámítható összefüggéseket.
Azt, hogy mi fontos, közvetetten a tanulási feladat alakítja. Ha ugyanarról a jelenetről eltérő megfigyeléseket kapcsolunk össze, a közös tartalom megőrzése segíti a modellt. Ugyanazt a frizbiért ugró kutyát leírhatjuk kétféleképpen, és a szóhasználat változhat, a jelenet ugyanaz lesz. Az efféle példák arra ösztönzik a rendszert, hogy ezt a közös tartalmat ragadja meg a belső reprezentációjában. Majd a JEPA ezeknek a reprezentációknak a szintjén tanul kapcsolatokat: változattól függően például egy kép látható részéből következtet egy eltakart rész reprezentációjára, vagy korábbi megfigyelésekből egy későbbi állapotéra. Így a tanítás a feladathoz hasznos összefüggések megőrzésére ösztönzi, miközben kevésbé kéri számon az apró, nehezen megjósolható részleteket.
Szakmailag az LLM-ekhez képest a tanulási célban van a lényeges eltérés. A hagyományos generatív nyelvi modell a következő token valószínűségét tanulja becsülni, míg a JEPA a belső reprezentációk közötti kapcsolatot tanulja. Az LLM-ekben is kialakulnak elvont fogalmak és világbeli összefüggések; de a JEPA ezeket más, újrahasznosítható tanulási feladaton keresztül igyekszik megragadni. Így az eredmény újra használható, általános megfigyelési képesség lesz, megfelelő további összetevőkkel vagy továbbtanítással. Egy ilyen modellnek sem kell tehát egyetlen feladatra korlátozódnia.
Ezt a megközelítést vizsgálva LeCun és Randall Balestriero friss kutatásukban azt találták, hogy egy 109 millió paraméteres szöveges JEPA reprezentációi jobban illeszkedtek képfeldolgozó modellekéihez, mint a vizsgált, akár 72 milliárd paraméteres nyelvi modellekéi. Ez figyelemre méltó eredmény egy meghatározott mérésben, bár általános intelligenciafölényt nem bizonyít. Viszont biztos, hogy ebbe az irányba fogjuk látni a következő hónapokban az AMI Labs irányát.