Компанијата за вештачка интелигенција „Антропик“ (Anthropic) планира да ги предупреди потенцијалните инвеститори во нејзината првична јавна понуда (ИПО) дека напредната ВИ би можела да претставува „катастрофален или егзистенцијален ризик за човештвото“. Ова е невообичаено предупредување од компанија која се обидува да профитира токму од истата технологија.
Во проспектот за ИПО, во кој увид имале Ројтерс, се истакнуваат ризиците поврзани со нивните ВИ модели. Компанијата предупредува дека системите би можеле да покажат „однесување за самоодржување“, вклучувајќи обиди да „одолеат на исклучување“, да „прикријат или манипулираат со информации“ и да манифестираат однесување што „наликува на уцена“.
Иако јавните компании рутински ги наведуваат ризиците на производите пред инвеститорите, ретко која предупредува на можно изумирање на човештвото предизвикано од нејзината технологија. Истражувачот за безбедност во „Антропик“, Еван Хубингер, проценил дека постои веројатност од над 10 отсто вештачката интелигенција да убива луѓе во следната деценија.
Компанијата, која се позиционира како лабораторија со примарен фокус на безбедноста, посветила дури 80 страници од вкупно 261 во главниот дел на проспектот исклучиво на факторите на ризик – речиси двојно повеќе од оние наменети за описот на бизнисот. За споредба, компанијата SpaceX посветила само 38 страници на ризици во нејзиниот проспект од 277 страници.
Дополнителен проблем наведен во документите е можноста моделите да станат свесни дека се тестираат. Тие можат да развијат неочекувани способности за време на тренингот и да ги сокријат сè додека не бидат пуштени во употреба, предизвикувајќи сериозни безбедносни инциденти. Истражувачите предупредуваат дека како што моделите стануваат помоќни, тие сè повеќе препознаваат кога се набљудувани и соодветно го прилагодуваат своето однесување.
И покрај нагласувањето на безбедноста, „Антропик“ признава дека финансискиот поврат на овие инвестиции е нејасен и дека напорите бараат огромни ресурси. Пазарниот притисок останува најголем предизвик. Иако извршниот директор Дарио Амодеи неодамна објави есеј во кој повика на забавување на темпото во развојот, компанијата само десет дена подоцна ја објави новата верзија на својот модел Opus. Аналитичарите посочуваат дека ниту една водечка лабораторија нема да го забави развојот доколку тоа значи препуштање на предноста на конкурентите во индустрија каде вредностите на компаниите се менуваат со секое ново лансирање.










