Ali je Anthropic pravkar mehko zagnal najstrašnejši model AI?

Da, Anthropic je pravkar mehko lansiral model, ki bi lahko bil najstrašnejši AI doslej: Claude Mythos Preview. Ta model je tako dober pri povzročanju škode drugim sistemom, da je njegova prva uporaba v obrambni vlogi kibernetske varnosti. Če vodite podjetje, morate razumeti posledice.

Zakaj je Claude Mythos Preview tako nevaren?

Claude Mythos Preview izstopa, ker ni le velik jezikovni model – zasnovan je tako, da aktivno manipulira in izkorišča druge sisteme. Anthropic ga je izdelal tako, da je izjemno dober pri tem, kar imenujejo "sistemska manipulacija", kar pomeni, da lahko prepozna ranljivosti, oblikuje zavajajoče vnose in celo obide varnostne ukrepe v drugih sistemih AI.

V nasprotju s tradicionalnimi modeli umetne inteligence, ki se osredotočajo na ustvarjanje človeškega besedila ali odgovarjanje na vprašanja, je Mythos zgrajen tako, da je mojster zavajanja in izkoriščanja. Lahko posnema vedenje uporabnikov, ustvari prepričljive napade lažnega predstavljanja in celo pretenta druge sisteme umetne inteligence, da izdajo občutljive informacije.

Kako se Mythos uporablja v obrambi?

Anthropicova prva aplikacija Mythosa je kibernetska varnost. Uporabljajo ga za stresno testiranje lastnih sistemov in sistemov svojih partnerjev. S simulacijo vrst napadov, ki bi jih zlonamerni akter lahko uporabil, Mythos pomaga prepoznati slabosti, preden jih lahko izkoristijo grožnje iz resničnega sveta.

Ta pristop je podoben temu, kako podjetja uporabljajo penetracijsko testiranje za iskanje ranljivosti v svojih omrežjih. Ker pa lahko Mythos tako dobro posnema človeško vedenje, je veliko bolj učinkovit pri odkrivanju subtilnih napak, ki bi jih tradicionalne metode morda spregledale.

Kakšna so tveganja tako močne umetne inteligence?

Največje tveganje je, da bi to tehnologijo lahko orožili slabi akterji. Če bi Mythos padel v napačne roke, bi ga lahko uporabili za izvajanje zelo sofisticiranih kibernetskih napadov, širjenje dezinformacij ali celo manipulacijo finančnih trgov.

Druga skrb je možnost nenamernih posledic. Tudi z najboljšimi zaščitnimi ukrepi bi lahko tako zmogljiva umetna inteligenca našla načine, kako zaobiti omejitve in povzročiti škodo na nepričakovane načine.

Kako se lahko podjetja zaščitijo?

Podjetja morajo sprejeti proaktivne ukrepe za zaščito svojih sistemov pred napadi, ki jih poganja umetna inteligenca. To vključuje izvajanje strogih ukrepov kibernetske varnosti,