刀そのものは善くも悪くもありません。それを握る手がすべてを決定するのです。

1. AIが製造した4万個の毒性分子

2022年のある朝、米国ノースカロライナ州の小さなバイオテック企業の一人の研究員がコンピュータ画面を見つめながら驚愕しました。一晩中実行した人工知能が生み出した結果は、彼が想像していたものと正反対でした。生命を救う治療薬ではなく、生命を奪う毒性分子4万個が画面を埋め尽くしていたのです。

『コラボレーション・ファーマシューティカルズ』という素朴な名前のこの企業は、従業員十数名の小規模なバイオテック企業でした。ノースカロライナ州立大学のキャンパスの片隅に位置する彼らの日常は、希少疾患で苦しむ患者のための治療薬開発でした。特に、子どもたちに襲いかかる恐ろしい遺伝病、バッテン病の治療薬を見つけることが彼らの使命でした。

企業を率いるショーン・エキンス博士は、コンピュータを用いた新薬開発の専門家でした。彼の長年のパートナーであるファビオ・ウルビナ博士は、機械学習で分子の秘密を読み解く魔術師のような存在でした。この二人が生み出した人工知能『メガシン』は、循環型ニューラルネットワークという先端技術に基づいて、新しい治療薬分子を自動的に設計する驚くべき能力を備えていました。

メガシンの動作原理は、まるで賢明な師匠のようでした。多くの既存の薬物分子の構造と効果を学習した後、新たに設計した分子がどれほど効果的で安全であるかをスコアで評価しました。そしてまるでゲームで良い行動をすればスコアを獲得するように、治療効果が高いと高いスコアを、毒性が高いと低いスコアを与える『報酬システム』で動作していました。このようにメガシンは日々、より優れた治療薬を探し続けていたのです。

しかし、スイスから届いた一通の招待状がすべてを変えてしまいました。スイス政府が主催する『スピエズ・コンバージェンス』会議への出席要請でした。化学兵器と生物兵器の脅威を論議するこの国際会議で、スピエズ研究所のセドリック・インベルニッツィ博士が投げかけた質問は衝撃的でした。

「あなたたちの人工知能技術が悪用される可能性はないのですか？」

エキンスとウルビナは一瞬、凍りついてしまいました。これまで生命を救う仕事だけを考えてきた彼らにとって、これはまったく予期しない質問でした。そして間もなく、恐ろしい可能性に気づきました。もし、メガシンの報酬システムを逆さまにひっくり返したら？毒性が高い分子を製造するほど高いスコアを与えるように設定したら？

彼らは実験の目標として、VXという致命的な神経ガスを選択しました。1950年代に開発されたこの化学兵器は、塩粒数個程度のわずかな量（6～10mg）だけで一人の命を奪うことができる極度の毒性物質でした。皮肉なことに、コラボレーション・ファーマシューティカルズはすでにVXに関連した研究経験を持っていました。VXが攻撃するアセチルコリンエステラーゼという酵素を適切に調整すれば、アルツハイマー病のような疾患を治療できるからでした。治療薬と毒性物質が同じ生物学的標的を共有していたのです。

2. たった6時間でのAIの変身

2021年の冬のある夜、ウルビナ博士は実際にどのような結果が出るのか、ほんのわずかな好奇心からメガシンの設定を変更しました。報酬システムを完全に逆転させて、毒性が高いほど高いスコアを与えるようにしたのです。平凡な2015年型MacBook一台にこの変形されたメガシンを実行させて、退勤しました。特別なスーパーコンピュータや高価な機器ではなく、どのオフィスでも見かけるような一般的なコンピュータでした。

コンピュータは夜通し沈黙の中で作業を進めていました。公開された化学データベースから分子と生物学的活性データを収集し、VXと類似した特性を持つ分子を次々と生成していったのです。LD50モデルを使用して各分子の致死量を予測し、より致命的な物質を探し求めていました。

翌朝、オフィスに入ったウルビナの顔は蒼白になっていました。たった6時間という短い時間の間に、4万個の毒性分子が生成されていたのです。メガシンは既知のVXの正確な分子構造を完璧に再現しただけでなく、ロシアのノビチョクのような他の化学兵器もたやすく製造していました。

しかし、本当の恐怖はここから始まったのです。データベースに存在しない、まったく新しい毒性分子が無数に発見されたのです。その一部は、人類が現在知っているVXよりもさらに高い毒性を示すと予測されていました。ウルビナは後にこのように回想しています。

「コンピュータ画面に表示されたその情報を見ることは、驚嘆すべきであり、超現実的でした。公開されたデータと既存の技術だけでこのような種類のデータを製造することがいかに容易であるかに気づきました。」

研究チームはt-SNEという技術を使用して、これらの分子を視覚的に分析しました。2次元グラフの上に広がった分子の分布図は、まるで悪魔の地図のようでした。新たに生成された毒性分子は、既存の農薬や環境毒素、一般的な医薬品とはまったく異なる化学的領域に位置していました。VXに類似した分子が一つの恐ろしいクラスタを形成し、その周辺には、さらに毒性が強い分子が星座のように配置されていたのです。

エキンスとウルビナは深刻な倫理的ジレンマに直面しました。彼らの選択は断定的でした。これ以上、これらの分子を詳しく分析しないことに決めました。そして、どの分子も実際に合成しないことを決定したのです。コンピュータのハードディスクから生成されたすべての分子構造を完全に削除しました。そして、科学界と政策立案者たちにこの危険性を必ず知らせなければならないと決意したのです。

3. 世界を揺るがした警告音

2022年3月15日、スイスのスピエズで開催されたコンバージェンス会議の会場は、ピンが落ちる音まで聞こえるほど静かでした。エキンスとウルビナが自分たちの実験結果を発表している間、世界中の化学兵器・生物兵器専門家および兵器拡散防止専門家たちは息を殺していました。彼らは人工知能が化学兵器開発に悪用される可能性があるという具体的な証拠を初めて目撃していたのです。

発表が終わると、会議場は爆発しました。莫大な議論が巻き起こったのです。ロンドン・キングス・カレッジのフィリッパ・レンツォス博士は、戦争学と保健の専門家として二重使用技術の危険性を研究してきました。彼女は即座に研究チームとの協力を決断しました。

2022年3月7日、世界的に権威のある学術誌『ネイチャー・マシン・インテリジェンス』に、「AI基盤の医薬品発見の二重使用」というタイトルの論文が発表されました。ファビオ・ウルビナが筆頭著者として、フィリッパ・レンツォス、セドリック・インベルニッツィ、そしてショーン・エキンスが責任著者として名を連ねたこの論文は、科学界に地震のような波紋を起こしました。可能性に関する推測ではなく、具体的な実験結果を提示していたからです。

米国政府は即座に動きました。ホワイトハウス科学技術政策局での最初のブリーフィングが実施されました。大統領に科学技術政策を助言するこの機関は、国家安全保障会議とともに、人工知能技術の国家安全保障への影響について集中的に論議しました。

中央情報局（CIA）は、潜在的敵性国家の化学兵器開発の可能性に関する情報収集を目的としてブリーフィングを要請しました。国防総省は、化学兵器防御研究担当部局および米軍の化学兵器防御能力強化方法を検討しました。国務省は、国際兵器統制協約に関する議論および化学兵器禁止条約強化方法を模索しました。

大量破壊兵器拡散防止専門機関である国防脅威削減庁では、新しい形態の化学兵器の脅威に対する対応策を論議しました。米陸軍化学兵器研究所では、人工知能を用いた化学兵器探知および防御技術開発を検討していました。

国際機構も素早く対応しました。化学兵器禁止機構（OPCW）は化学兵器禁止条約の実施を監視する国際機構として、人工知能を用いた新しい化学兵器開発の可能性および既存管制リストに含まれていない新しい毒性物質の出現可能性を深刻に受け止めました。40カ国が参加するオーストラリア・グループは、二重使用品目の輸出管制を担当する国際協議体として、人工知能ソフトウェアの輸出管制の必要性、化学データベースへのアクセス制限方法、研究者身元確認システムの導入などの新しい管制方法を本気で検討し始めていました。

ロスアラモス、サンディア、リバーモアなど米国の主要国立研究所も次々とブリーフィングを要請しました。国家安全保障に関連した先端研究を実施するこれらの機関にとって、この問題は極めて切実な現実だったのです。

2022年、ネットフリックス制作チームがノースカロライナ州立大学のキャンパスを訪れてエキンスにインタビューしました。軍事分野での人工知能使用を扱ったドキュメンタリーの一部でした。『サイエンティフィック・アメリカン』『ネイチャー』『ケミストリー・ワールド』などの主要な科学雑誌がこの研究を集中的に報道することで、一般大衆もこの問題の深刻性を認識するようになったのです。

4. 安全装置の限界

コラボレーション・ファーマシューティカルズの実験が世界全体を衝撃に陥れた理由は、使用された技術と資源があまりにも平凡であったということでした。これは特別なスーパーコンピュータや秘密実験室で起こった事柄ではありませんでした。現在の価格で約200万円相当の2015年型MacBook一台で十分でした。処理時間はたった6時間、一般的な家庭用電力でも十分でした。

ソフトウェアもまた誰もがアクセスできました。TensorFlow、PyTorchのような無料の人工知能ライブラリはインターネット上に溢れていました。GitHubなどのプラットフォームでは、関連するコードとチュートリアルを容易に見つけることができました。データの面でも、PubChem、ChEMBLなどの公開化学データベースを誰もが活用することができ、環境保護庁や食品医薬品局が公開した毒性データも研究目的で自由に使用できました。

さらに恐ろしい事実は、メガシンと類似した人工知能ツールを使用している企業が世界全体で400社以上あるということでした。ファイザー、ロシュ、ノバルティスのような巨大製薬会社がAIツールを積極的に活用していました。世界全体で数千のバイオテック・スタートアップがAIベースの医薬品開発を進めていました。学術機関も類似のツールを研究用途で使用していました。

エキンスは苦々しく述べました。「われわれの分野の同僚の中で、自分たちの技術が悪用される可能性を考えたことがある人は何人いるでしょうか？ほとんどの人は、そのようなことを考えたことがないはずです。」

実際、多くの研究者が治療薬開発だけを考えており、悪用の可能性は見過ごしていました。大学や企業では、二重使用に関する教育はほとんど存在していなかったのです。技術的障壁も驚くほど低かったのです。コンピュータサイエンス学部レベルの技能で十分であり、基本的な有機化学の知識さえあれば始めることができました。毒性学はオンライン講義や教科書で学習することができ、特別な実験室も必要ありませんでした。

情報アクセスの障壁は事実上存在していませんでした。GitHubで類似のコードを容易に入手することができました。コラボレーション・ファーマシューティカルズの論文では方法論が公開されていました。機械学習と化学情報学の講義が無料で提供されていました。オンラインフォーラムで技術的なアドバイスを求めることも容易でした。

法的障壁はさらに不完全でした。コンピュータシミュレーションは化学兵器禁止条約の適用対象ではありませんでした。ほとんどの国では仮想分子設計に対する規制がありませんでした。研究者の良心だけに依存する現実でした。インターネットを通じた匿名活動も可能でした。

化学兵器および生物兵器の製造現実はさらに暗澹としていました。SciFinder、Reaxysのような化学合成経路を自動的に予測するソフトウェアが公開されていました。IBMのRXN、MITのASkCOSのような合成生成AIが無料または低価格で提供されていました。最も効率的な合成方法を自動的に見つけ出す最適化アルゴリズムも存在していました。

世界全体には、委託を受けた化学物質を合成する企業が数百社ありました。中国の企業は相対的に規制が緩く価格が低廉でした。インドの企業はジェネリック医薬品製造の経験に基づいて様々な化合物を合成していました。西側の企業は品質は高いが規制は相対的に厳しかったのです。問題は、これらの企業のほとんどが委託された物質の最終用途を確認していないということでした。

人工知能は化学兵器だけでなく生物兵器の設計にも悪用される可能性がありました。最近、タンパク質構造予測および設計分野で革命的な進歩がありました。Google DeepMindのAlphaFoldはタンパク質構造を予測するAIでした。ワシントン大学のRoseTTaFoldはオープンソースのタンパク質設計ツールでした。ProtGPTは既存のGPTアーキテクチャに基づいていましたが、自然言語の代わりにタンパク質配列データで訓練されたモデルでした。

これらのツールを悪用すれば、神経系を麻痺させる神経毒素ペプチド、細胞を破壊する細胞毒ペプチド、免疫系を無力化する免疫抑制物質、既存の治療方法を無効にする抗生物質耐性変異病原体などを設計することができます。

自動合成（autonomous synthesis）技術の発展に伴い、人間の介入なしに分子設計から合成まで自動的に進行する設計・製造・試験の自動化が可能になってきていました。24時間無人で数千の化合物を製造することができるロボット実験室も現実になってきていたのです。

1997年の化学兵器禁止条約には多くの限界がありました。決められた化学物質のみを管制する目録ベースの管制方式であるため、新しい物質への対応が遅れていました。最終生成物ではなく原料物質を中心に管制する方式でした。コンピュータで物質生成をシミュレーションすることは条約の適用対象ではありませんでした。

1975年に発効した生物兵器禁止条約（BWC）はさらに大きな限界を持っていました。冷戦時代の産物として、現在の技術発展を予想していませんでした。核兵器不拡散条約（NPT）と異なり、国際原子力機関（IAEA）のような独立的検証機構がないため、実質的な監視が困難でした。新技術は従来の『防御・攻撃』の区別線をさらに曖昧にしていたのです。

5. 脅威と防御技術

人工知能技術は停止することなく発展していました。新しい機会とともに、新しい危険も近づいてきていました。ChatGPT、Claudeのような大規模言語モデルが化学分野に特化する可能性が高まっていました。化学知識に特化したChemGPTが登場すれば、「VXの10倍の毒性を持つ物質を作ってくれ」のような自然言語命令で分子を設計する自然言語分子設計が可能になる可能性がありました。

既存研究を自動的に分析して新たな毒性物質を予測する自動文献レビュー、言語モデルが化学合成プロセスを自動的に設計する合成経路の自動生成なども現実になり得たのです。

量子コンピュータが実用化されれば、より強力な分子シミュレーションが可能になると考えられたのです。既存のコンピュータでは不可能な精密な分子モデリングにより精度が向上し、数時間かかる作業を数分で完成させるスピードアップがもたらされるはずだったのです。より複雑で精巧な毒性物質の設計が可能になる複雑性の増加も予想されたのです。

「ライツアウト・サイエンス」と呼ばれる自動化実験室も登場し始めていたのです。人間なしで連続的な実験が進行する24時間無人運用、人工知能が実験を設計し結果を分析するAI主導実験、世界中どこからでもインターネットで実験室を操作できる遠隔操作、1日に数千個の新しい化合物を合成する大量生産が可能になり得たのです。

個人の遺伝子情報を利用したカスタマイズ生物兵器という恐ろしい可能性もあり得たのです。個人のDNA情報に基づいて脆弱性を分析する遺伝子分析、特定の個人にのみ致命的な物質を設計するカスタマイズ毒性、特定の人種や集団にのみ影響を与える集団別差別兵器、既存の検知方法では発見しにくい新たな毒性物質などが可能になり得たのです。

新たな形式のテロであるサイバー・バイオ融合攻撃も出現し得たのです。遠隔実験室ハッキング、研究データを改ざんして誤った医薬品またはワクチン開発を誘導するデータ改ざん、製薬企業の生産施設をハッキングして毒性物質を生産する供給チェーン攻撃、偽りの研究結果を広めて社会の混乱を招く情報戦などが可能になり得たのです。

しかし脅威が増加するのと同じ程度に、防御技術も発展していたのです。悪意のあるAI使用を検知するシステムが開発されていたのです。異常な研究パターンを自動的に検知するパターン分析、平時と異なる分子設計要求をリアルタイムで発見する異常検知、研究者の活動を分析して危険な信号を捉える行動分析、悪意のある研究者間の協力ネットワークを追跡するネットワーク分析が可能になり始めていたのです。

様々な生物兵器に有効な汎用ワクチン、新たな脅威の発見時に数時間で治療薬を設計する迅速対応、患者の遺伝子に合わせたパーソナライズされた治療法である個人カスタマイズ治療なども研究されていたのです。

6. デュアルユース（双用技術）と人間の責任

すべての道具は創造と破壊、二つの顔を持っています。火は人類に文明をもたらしましたが、火災で命を奪うこともあります。原子力はクリーンなエネルギーを提供しますが、核兵器で都市を灰燼に帰すこともできます。インターネットは知識と情報を民主化しましたが、サイバー犯罪と偽ニュースの温床にもなります。人工知能も同様です。

Collaboration Pharmaceuticalsのメガシンが示したのは、人工知能の二重性でした。同じ技術が生命を救う治療薬を作ることもできれば、生命を奪う毒物を作ることもできるという事実だったのです。問題は技術そのものではなく、それを使用する人間の意図でした。

誰もがこの問題の解決に重要な役割を果たすことができます。まずこの問題の深刻性を正確に理解する必要があります。メディアがこの問題を継続的に扱うよう関心を表現しなければなりません。単に技術発展の明るい面だけを見るのではなく、暗い面も一緒に見なければなりません。

政治的参加も重要です。政治家たちにAI安全政策の策定を要求しなければなりません。AI安全を重要に考える候補を支持する選挙参加をしなければなりません。AI安全のための市民団体活動に参加しなければなりません。世界中の市民たちとの連帯活動も必要です。

消費者としての選択も重要です。倫理的AI開発に率先して取り組む企業製品を選ばなければなりません。投資時には企業のAI倫理政策を考慮した投資判断をしなければなりません。AIサービス使用時には安全性と倫理性を確認しなければなりません。企業にAI安全性に関する意見を積極的に伝えるフィードバックを提供しなければなりません。

教育も根本的に重要です。初等中等教育では、基本的な化学と生物学の知識教育を強化しなければならず、人工知能の原理と限界に関する理解教育をしなければならず、科学技術の倫理的使用に関する教育をしなければならず、新しい技術の長所と短所を冷徹に判断する能力を養成する批判的思考教育をしなければなりません。

科学者とエンジニアはより大きな責任を負わなければなりません。研究方法と結果を透明に公開する透明性を維持しなければなりません。一般大衆との積極的なコミュニケーションと説明である社会的コミュニケーションをしなければなりません。自分の研究が悪用される可能性についていつも考慮しなければなりません。同僚の研究者たちと倫理的基準を共有し、相互に牽制しなければなりません。

政府と国際機関は法的・制度的枠組みを整備しなければなりません。技術発展のスピードに合わせた柔軟で効果的な規制を作らなければなりません。国境を越える技術の特性上、国際協力が必須です。しかし過度な規制で有益な研究を阻んではなりません。バランスが重要です。

企業は短期的利益より長期的安全を優先しなければなりません。自主規制を通じて業界標準を高めなければなりません。研究者たちに倫理教育を提供し、内部監視システムを構築しなければなりません。何よりも透明性を基盤として、大衆の信頼を得なければなりません。

市民社会も重要な役割を果たすことができます。AI安全のための市民団体が政府と企業を牽制し監視しなければなりません。専門家と一般市民の間のコミュニケーションを助けなければなりません。複雑な技術問題を分かりやすく説明し教育する役割も重要です。

メディアの責任も大きいです。技術発展の明るい面だけを強調するのではなく、暗い面もバランスよく扱わなければなりません。複雑な科学技術の問題を正確で分かりやすく報道しなければなりません。恐怖を扇動することもなく、危険を軽視することもなく、事実に基づいて報道しなければなりません。

個人として私たちができることも多くあります。科学技術に関する基本的な理解を深めなければなりません。新しい技術が出現するたびに、その長所と危険性の両方を考慮する習慣を養わなければなりません。専門家の意見を聞きますが、盲目的に従うのではなく、批判的に考えなければなりません。

Collaboration Pharmaceuticalsの実験は私たちに重要な警告を与えてくれました。人工知能という強力な道具は人類を救うこともできれば、滅亡させることもできるのです。たった6時間で40,000個の毒性分子を生み出した事実は、この技術の驚くべき可能性と同時に、恐ろしい危険性を示しています。

ショーン・エイキンス（Sean Ekins）とファビオ・ウルビナ（Fabio Urbina）が示した勇敢な実験と透明な公開は、科学者の社会的責任が何であるかをよく示しています。彼らは自分たちの発見が不便で恐ろしいものであることを知りながらも、隠さずに世界中に知らしめました。これこそが本当の科学者の姿勢だったのです。

人工知能はすでに私たちの生活の一部になり、今後さらに重要になるでしょう。この強力な技術が人類の繁栄のために使用されるのか、それとも破壊の道具となるのかは、今の私たちの選択にかかっています。Collaboration Pharmaceuticalsのメガシンが生み出した40,000個の毒性分子は削除されましたが、その可能性は今も残っています。

私たちはすでに人工知能というパンドラの箱を開けてしまいました。今、その中から出てきたすべてのものを賢明に扱う方法を学ばなければなりません。技術そのものを恐れる必要はありません。しかし、それを悪用しようとする人間の欲望には注意しなければなりません。

答えは簡単ではありません。しかし、一つのことは明らかです。私たちが一緒に努力し、賢明に対処するならば、人工知能がもたらすとてつもない恩恵を享受しながらも、その危険性を最小化することができるでしょう。これこそが、科学技術の時代を生きる私たち全員の課題であり責任なのです。

人工知能の未来はまだ書かれていません。その未来を書き進めるのは、ほかならぬ私たち自身です。賢明な選択を通じて、人工知能が人類の友となるように作り上げていかなければなりません。剣そのものは善でも悪でもありません。それを握る手がすべてを決めるのです。人工知能も同様です。私たちがどのように使用するかによって、祝福にもなれば、呪いにもなり得るのです。