Apple、デバイス上で動作するオープンソース AI モデルをリリース

Apple は本日、クラウド サーバー経由ではなくデバイス上で実行するように設計されたオープンソースの大規模言語モデル (LLM) をいくつかリリースしました。 OpenELM (オープンソース効率的言語モデル) と呼ばれる LLM プログラムは、次の場所で入手できます。 ハグ顔の目玉、AI コードを共有するためのコミュニティ。

ホワイトペーパーに示されているように [PDF]OpenELM モデルは合計 8 つあり、そのうち 4 つは CoreNet ライブラリを使用して事前トレーニングされ、4 つは命令調整モデルです。 Apple は、精度と効率の向上を目的としたレイヤー スケーリング戦略を採用しています。

Apple は、最終的なトレーニング モデルだけでなく、コード、トレーニング ログ、および複数のバージョンを提供しました。プロジェクトの背後にいる研究者たちは、これが自然言語 AI の分野でのより迅速な進歩と「より信頼できる結果」につながることを期待しています。

OpenELM、オープンに進化する言語モデル。 OpenELM は、レイヤー スケーリング戦略を使用して、トランスフォーマー モデルの各レイヤー内でパラメーターを効率的に割り当て、その結果、精度が向上します。 たとえば、約 10 億のパラメータのパラメータ バジェットを使用すると、OpenELM は OLMo と比較して精度が 2.36% 向上し、事前トレーニングに必要なトークンの量が 2 倍少なくなります。

モデルの重み、推論コード、プライベート データセットでの事前トレーニングのみを提供する以前のプラクティスから脱却し、私たちのバージョンには、トレーニング ログ、複数のチェックポイント、事前トレーニングなど、公開されているデータセットで言語モデルをトレーニングおよび評価するための完全なフレームワークが含まれています。ポイント。 トレーニング構成。

Apple は、最先端の言語モデルで「オープンな研究コミュニティに力を与え、豊かにする」ために OpenELM モデルを発表すると述べています。 オープンソースのモデルを共有することで、研究者はリスク、データ、モデルのバイアスを調査する方法が得られます。 開発者と企業は、テンプレートをそのまま使用することも、テンプレートを変更することもできます。

情報のオープンな共有は、Apple がトップのエンジニア、科学者、専門家を採用するための重要なツールとなっています。これは、Apple の機密保持ポリシーの下では通常公開されない研究論文の機会を提供するためです。

Apple はまだこの種の AI 機能を自社のデバイスに導入していませんが、iOS 18 には多くの新しい AI 機能が含まれる予定であり、Apple がプライバシー目的で独自の大規模な言語モデルをデバイス上で実行する計画であるという噂もあります。