Ha egy önvezető autó balesetet okoz, felháborodunk. Ha az AI-fejlesztők olyan rendszerekkel versenyeznek, amelyek felett saját egykori kutatójuk szerint sincs teljes kontrolljuk, mintha kevésbé szólalna meg a társadalmi vészcsengő.
Sose felejtsük el ezt a mottót: haladj gyorsan, törj össze dolgokat, majd később megjavítod („move fast, break things, fix them later”). Jacob Coxon, az OpenAI és az Anthropic egykori kutatója szerint ez a startupmentalitás hajtja ezeket a cégeket. Ismerős gondolkodás: a Facebookot is a „Move fast and break things” mottó tette híressé.
Coxon a New York-i városi tanács meghallgatásán két veszélyes folyamat találkozásáról beszélt: az AI-rendszerek képességei gyorsan fejlődnek, miközben a teljes kontrolljuk tudományos problémáját még nem oldottuk meg. Ráadásul szerinte a cégek már az AI-kutatás automatizálására törekednek: olyan rendszereket építenek, amelyek egyre nagyobb szerepet kapnak saját utódaik fejlesztésében. Ezzel az emberi felügyelet még nehezebbé válhat, sőt, ki is szorulhatunk a folyamatból.
A verseny pedig tovább gyorsítja ezt. Coxon beszámolója szerint minden cég attól tart, hogy a másik ér oda előbb, és mindegyik úgy gondolja, hogy ő majd biztonságosabban építi meg a szuperintelligenciát. Ebből elég kényelmes önigazolás lesz: a biztonság érdekében muszáj gyorsabban haladnunk. A féket majd felszereljük menet közben.
Coxon az AI-rendszerek feletti emberi kontroll elvesztését, akár az emberiség kihalásának lehetőségét is felveti. De nem kell elfogadnunk a legsúlyosabb jóslatát, hogy belássuk: a „majd utólag kijavítjuk” hozzáállás elfogadhatatlan, ha a következményeket mindenki viseli, miközben a tempóról néhány vállalat dönt.
A „fix them later” ugyanis feltételezi, hogy a kár visszafordítható, és megmarad az irányításunk a javításhoz. Éppen ezt kellene előre igazolniuk. Független ellenőrzéssel, átláthatósággal és számonkérhető biztonsági feltételekkel. A társadalom nem lehet egy olyan bétateszt résztvevője, amelyből nincs kiszállás.