OpenAI、「幻覚を起こす」人工知能と戦うために新しいアプローチを採用

OpenAIは水曜日、AIモデルをトレーニングする新しい方法を使用して、人工知能に対する幻覚に取り組んでいると発表した。

この研究は、生成 AI ブームと 2024 年の米国大統領選挙の準備のさなか、AI システムから発せられる誤った情報がこれまで以上に物議を醸している時期に行われた。 GPT-3 と GPT-4 でサポートされており、2 か月で月間ユーザー数が 1 億人を超え、最も急成長しているアプリケーションの記録を樹立したと言われています。 デートに行くために、 マイクロソフト OpenAIには130億ドル以上を投資しており、このスタートアップの評価額は約290億ドルとなっている。

AI 幻覚は、ChatGPT や グーグルバードは完全に情報を捏造し、あたかも事実を吹聴しているかのように振る舞っています。 一例: Google の 2 月の Bard プロモーション ビデオでは、チャットボットが次のことを行います。 無効な主張 ジェームズ・ウェッブ宇宙望遠鏡について。 つい最近、ChatGPTはニューヨーク連邦裁判所への提出で「模擬」事件を引用しており、関与したニューヨーク州の弁護士は罰則を受ける可能性がある。

「現代のモデルでも虚偽を生み出す傾向があり、不確実な瞬間に事実をでっち上げる傾向がある」とOpenAIの研究者らは報告書に書いている。 「これらの幻覚は、複数段階の思考が必要な分野で特に問題になります。単一の論理的エラーが、より大規模な解決策を狂わせるのに十分だからです。」

中傷と戦うための OpenAI の新しい戦略の可能性: AI モデルをトレーニングして、単に正しい最終結果に報酬を与えるのではなく、答えに到達した推論の正しい個々のステップに対して報酬を与えるようにします。 研究者らによると、このアプローチは「結果管理」ではなく「プロセス管理」と呼ばれており、この戦略によりモデルが人間のような「思考」の連鎖に従うことが促進されるため、AIの解釈性が向上する可能性があるという。

「モデル内の論理エラーや幻覚を検出して軽減することは、準拠した AI を構築するための重要なステップです。」 [or artificial general intelligence]」と OpenAI の数学者であるカール・コップ氏は CNBC に語り、OpenAI がプロセス調整アプローチを発明したわけではないが、同社はその推進に貢献していると指摘しました。 この研究の原動力は、難しい思考の問題をより解決できるモデルを作成するために幻覚に対処することです。」

コブ氏は、OpenAIが、論文で言及されたモデルのトレーニングに使用した80万個の人間ラベルの付随データセットをリリースしたと述べた。

電子プライバシー情報センターの上級顧問であり、AIと人権のプロジェクトリーダーであるベン・ウィンターズ氏は懐疑的な姿勢を示し、完全なデータセットとそれに付随する例を見ることに興味があるとCNBCに語った。

「実際に実際に使用される場合、これだけで誤った情報や誤った結果に対する懸念が大幅に軽減されるとは思えません」とウィンターズ氏は述べた。 同氏はさらに、「彼らがここでの研究を通じて発見したことを実行する計画があるかどうかは確かに重要である」と付け加えた。 [into their products]そして、もしそうでないとしたら、彼らが何を公表しようとしているのかについて、かなり深刻な疑問が生じます。」

OpenAIの論文が査読されたのか、別の形式で査読されたのかは明らかではないため、ブラウン大学技術責任センター所長のスレシュ・ヴェンカタスブラマニアン氏はCNBCに対し、この研究は何よりも予備的な観察として捉えていると語った。

「これについて明確なことを言う前に、研究コミュニティの変化が必要になるだろう」とヴェンカタスブラマニアン氏は語った。 「この世界では、非常に定期的に現れる多くの結果があり、大規模な言語モデルがどのように機能するかが全体的に不安定であるため、ある設定、パラダイム、コンテキストでは機能する可能性があるものが、別の設定、パラダイムでは機能しない可能性があります。そしてコンテキスト。」

ヴェンカタスブラマニアン氏はさらに、「人々が心配している幻覚症状には、次のようなものがある」と付け加えた。 [models] 引用と参考文献を設定します。 この論文には、これがうまくいくという証拠はありません…私はそれがうまくいかないと言っているのではありません。 この論文はその証拠を提供していないと私は言いたいのです。」

OpenAIは、この研究が何らかの形で外部からレビューされたかどうか、また、もしレビューされたとしてもいつ、同社がChatGPTやその他の製品に新しい戦略を実装する予定であるかというコメント要請に応じなかった。

「企業がこの種のエラーを最小限に抑えるためにシステムの開発をいじろうとしているのを見るのは確かに歓迎です。より深い責任を負うためには多くの障壁が存在することを考えると、重要なのはこれを共同研究として解釈することだと私は思います。」 CNBC の AI Now に対し、工科大学マネージング ディレクターのサラ マイヤーズ ウェスト氏は次のように述べています。

西はこう付け加えた。[OpenAI is] この論文とともに人間レベルの小規模なフィードバック データセットが公開されましたが、GPT-4 のトレーニングとテストに使用されるデータに関する重要な詳細は提供されていませんでした。 したがって、これらのシステムがすでに人々に直接影響を与えているにもかかわらず、AI の有意義な説明責任の取り組みに疑問を呈する膨大な不透明さが依然として存在します。」