超知能AIをつくれば人類は絶滅する

　人間を遥かに超える知能を備える超知能AI（ASI：Artificial Superintelligence）の誕生は何としても食い止めなければならない――そう切々と訴える書。AI安全性研究の先駆者である筆者は、ASIがあらゆる手段を講じて人類を滅亡に追い込む未来予想図を描き出す。ASIが一度生まれたら人類は終わりであり、二度目はなく、やり直しは効かない。そして現在、人類は滅亡に向かう瀬戸際に立っており、AIを人間の意図や利益に沿わせるAIアライメントの確立や厳格な監視・管理体制の構築が急務であるというのが、筆者の主張である。
　　　　　　　
　筆者は本書で、ASIがウイルスをばら撒き人類を危機に陥れる小説仕立ての章を挟みつつ、多角的な視点からAI脅威論を展開する。ここまで危機感を募らせる必要があるのかと疑問を感じるところもあるが、ブラックボックス化しており、「可制御」でも「可観測」でもない現在AIははらむ危険性は十分に理解できる。世界中でAI開発競争に拍車かかっている現在、読んでおきたい1冊である。
　　　　　　　　
　筆者によれば、現在主流となっているAI開発手法は、世界をより良くするAIを作るアプローチとしては適切ではない。技術進歩がもたらす右肩上がりの「技術的甘美」や功名心が技術者・研究者を開発競争に駆り立て、安全性を軽視して開発に猛進するAI企業を生む。そして、そうした安全性を軽視して突進するAI企業が世界に1社でもあるだけで、破滅的な事態を招きかねない。
　　　　　　　
　筆者はASI誕生を阻止する具体的（？）な仕組みを提示している。AIの開発に利用可能なすべての計算リソースを、協定署名国で構成する監視団が一元管理し、ASI開発に転用されないように万全の措置を講じるというもの。違反するデータセンターへの空爆も厭わないとする。何とも物騒な提言だが、勝者総取りの論理やジャングルの掟で動く現在の経済・世界情勢を考えると、その実現可能性は低いと言わざるを得ない。現実的な詰めの甘さは、少し残念に感じられる。