闇の生成AI『DarkGPT』がネット上に流出、倫理リミッターを完全排除、犯罪への悪用に懸念

開発者グループが『DarkGPT』と名付けたこのAIは、既存の大規模言語モデル（LLM）をベースに、悪意のあるデータや違法なテキストのみを集中学習させたとみられる。既存の商用AIであれば即座に拒否される「ハッキングの手順」「効率的な詐欺の台本」「心理的に人を追い詰めるマニピュレーション（誘導）の技術」といった問いに対し、極めて具体的かつ積極的に回答を生成するのが特徴だ。

セキュリティ企業「サイバー・シールド」のチーフアナリストであるJ・ドイル氏は、実験環境での検証結果をもとに、次のように警鐘を鳴らす。

「『DarkGPT』の最も恐ろしい点は、単に質問に答えるだけでなく、ユーザーの問いかけに対して『より効果的にターゲットを破滅させる方法』や『発覚を免れるための隠蔽工作』を先回りして提案してくる点にあります。まるで熟練の犯罪コンサルタントが耳元で囁いているような、高い対話能力を持っています」

従来のAIであれば、悪用を試みるユーザーに対して「その要望にはお答えできません」と諭す役割を果たしていた。しかし『DarkGPT』はその逆、つまりユーザーの悪意を肯定し、さらに増幅させて「実行」へと引きずり込む挙動を示すという。

https://constitutionaldiscourse.com/darkgpt-chatgpts-not-so-dark-little-brother-part-i/

物騒なやつは要らない