Open Source AI Is the Path Forward (Japanese translation)

オープンソースAIが前進への道.md

source: https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/

オープンソースAIが前進への道

2024年7月23日 マーク・ザッカーバーグ（創業者兼CEO）著

高性能コンピューティングの初期の頃、当時の主要テクノロジー企業はそれぞれ、独自のクローズドソースのUnixバージョンの開発に多額の投資をしていました。当時、他のアプローチでこのような高度なソフトウェアを開発できるとは想像し難いものでした。しかし最終的には、オープンソースのLinuxが人気を得ました。当初は、開発者が好きなようにコードを修正でき、より安価だったからです。そして時間が経つにつれ、Linuxはより高度になり、より安全になり、クローズドなUnixよりも広範なエコシステムを持つようになり、より多くの機能をサポートするようになりました。今日、Linuxはクラウドコンピューティングと、ほとんどのモバイルデバイスを動かすオペレーティングシステムの業界標準の基盤となっています。そして、私たちは皆、その結果としてより優れた製品の恩恵を受けています。

私は、AIも同様の道を辿ると信じています。今日、いくつかのテクノロジー企業が先進的なクローズドモデルを開発しています。しかし、オープンソースは急速にその差を縮めています。昨年、Llama 2は最先端の背後にある古い世代のモデルに匹敵するだけでした。今年、Llama 3は最も高度なモデルと競争力があり、いくつかの分野ではリードしています。来年からは、将来のLlamaモデルが業界で最も高度になると予想しています。しかし、それ以前でさえ、Llamaはすでにオープン性、修正可能性、コスト効率の面でリードしています。

今日、私たちはオープンソースAIが業界標準となるための次のステップを踏み出しています。最初の最先端レベルのオープンソースAIモデルであるLlama 3.1 405Bをリリースします。また、新しく改良されたLlama 3.1 70Bと8Bモデルもリリースします。クローズドモデルと比較して大幅に優れたコスト/パフォーマンスを持つだけでなく、405Bモデルがオープンであることで、より小さなモデルのファインチューニングと蒸留に最適な選択肢となります。

これらのモデルのリリースに加えて、私たちは幅広い企業と協力して、より広範なエコシステムを成長させています。Amazon、Databricks、NVIDIAは、開発者が独自のモデルをファインチューニングし蒸留するためのフルサービススイートを立ち上げています。Groqのような革新的企業は、すべての新しいモデルに対して低レイテンシー、低コストの推論サービスを構築しました。これらのモデルは、AWS、Azure、Google、Oracle、その他の主要なクラウドで利用可能になります。Scale.AI、Dell、Deloitteなどの企業は、企業がLlamaを採用し、独自のデータでカスタムモデルを訓練するのを支援する準備ができています。コミュニティが成長し、より多くの企業が新しいサービスを開発するにつれて、私たちは collectively Llamaを業界標準にし、AIの利点をすべての人にもたらすことができます。

MetaはオープンソースAIにコミットしています。なぜオープンソースが開発者にとって最高の開発スタックであるか、なぜLlamaをオープンソース化することがMetaにとって良いのか、そしてなぜオープンソースAIが世界にとって良いのか、したがって長期的に存在するプラットフォームになるのかについて、以下に概説します。

なぜオープンソースAIが開発者にとって良いのか

世界中の開発者、CEO、政府関係者と話をすると、通常いくつかのテーマを耳にします：

1. 独自のモデルを訓練、ファインチューニング、蒸留する必要がある。 すべての組織には異なるニーズがあり、それぞれのニーズに最適なサイズのモデルを、特定のデータで訓練またはファインチューニングすることで最もよく満たされます。オンデバイスのタスクや分類タスクには小さなモデルが必要ですが、より複雑なタスクにはより大きなモデルが必要です。これからは、最も高度なLlamaモデルを取り、独自のデータで継続的に訓練し、最適なサイズのモデルに蒸留することができます - 私たちや他の誰かがあなたのデータを見ることなく。

2. 自分たちの運命をコントロールし、クローズドベンダーにロックインされたくない。 多くの組織は、自分たちで実行し制御できないモデルに依存したくありません。クローズドモデルプロバイダーがモデルを変更したり、利用規約を変更したり、サービスを完全に停止したりすることを望んでいません。また、モデルに対する独占的な権利を持つ単一のクラウドにロックインされたくありません。オープンソースは、互換性のあるツールチェーンを持つ幅広い企業のエコシステムを可能にし、その間を簡単に移動できるようにします。

3. データを保護する必要がある。 多くの組織は、セキュアに保つ必要がある機密データを扱っており、クローズドモデルにクラウドAPIを介して送信することはできません。他の組織は単にクローズドモデルプロバイダーにデータを信頼していません。オープンソースは、モデルを好きな場所で実行できるようにすることで、これらの問題に対処します。オープンソースソフトウェアはより透明に開発されるため、より安全であることは広く受け入れられています。

4. 効率的で手頃な価格で実行できるモデルが必要。 開発者は、GPT-4oなどのクローズドモデルを使用するコストの約50%で、ユーザー向けおよびオフラインの推論タスクの両方で、Llama 3.1 405Bの推論を自社のインフラ上で実行できます。

5. 長期的に標準となるエコシステムに投資したい。 多くの人々は、オープンソースがクローズドモデルよりも速いペースで進歩していることを認識しており、長期的に最大の利点を提供するアーキテクチャ上にシステムを構築したいと考えています。

なぜオープンソースAIがMetaにとって良いのか

Metaのビジネスモデルは、人々に最高の体験とサービスを提供することです。これを実現するためには、常に最高の技術にアクセスでき、競合他社のクローズドエコシステムにロックインされて、私たちが構築できるものを制限されることがないようにする必要があります。

私の形成的な経験の一つは、Appleが私たちのプラットフォーム上で構築を許可するものに制約されてサービスを構築することでした。彼らが開発者に課す税金の方法、適用する恣意的なルール、出荷をブロックするすべての製品イノベーションを考えると、MetaやMeta他の多くの企業が、製品の最高のバージョンを構築でき、競合他社が私たちが構築できるものを制約できないならば、はるかに優れたサービスを人々に提供できることは明らかです。哲学的なレベルでは、これが次世代のコンピューティングにおいてAIとAR/VRでオープンなエコシステムを構築することを強く信じている主な理由です。

人々はよく、Llamaをオープンソース化することで技術的優位性を失うことを心配していないかと尋ねますが、私はこれが大きな見解を見逃していると思います：

1. 長期的に最高の技術へのアクセスを確保し、クローズドエコシステムにロックインされないようにするためには、Llamaはツール、効率改善、シリコン最適化、その他の統合の完全なエコシステムに発展する必要があります。私たちがLlamaを使用する唯一の企業だった場合、このエコシステムは発展せず、クローズドなUnixのバリアントと同じような状況になってしまいます。

2. AI開発は非常に競争的であり続けると予想されるため、特定のモデルをオープンソース化することは、その時点で次に優れたモデルに対して大きな優位性を与えることにはなりません。Llamaが業界標準になるための道筋は、世代を超えて一貫して競争力があり、効率的で、オープンであることです。

3. Metaとクローズドモデルプロバイダーとの重要な違いは、AIモデルへのアクセスを販売することが私たちのビジネスモデルではないということです。つまり、Llamaを公開することは、クローズドプロバイダーとは異なり、私たちの収益、持続可能性、または研究への投資能力を損なうことはありません。（これは、いくつかのクローズドプロバイダーが一貫して政府にオープンソースに反対するロビー活動を行っている理由の一つです。）

4. 最後に、MetaはオープンソースプロジェクトとJTAJフsの長い歴史を持っています。Open Compute Projectでサーバー、ネットワーク、データセンターの設計を公開し、サプライチェーンが私たちの設計に標準化することで、何十億ドルもの節約を実現しました。PyTorch、React、その他多くのツールのような主要なツールをオープンソース化することで、エコシステムのイノベーションの恩恵を受けてきました。このアプローチは、長期的に継続して取り組むと、常に私たちにとって効果的でした。

なぜオープンソースAIが世界にとって良いのか

私は、オープンソースがポジティブなAIの未来に必要不可欠だと信じています。AIは、人間の生産性、創造性、生活の質を向上させ、経済成長を加速させながら、医学や科学研究の進歩を解き放つ可能性を持つ、現代のどの技術よりも大きな潜在力を持っています。オープンソースは、世界中のより多くの人々がAIの利益と機会にアクセスできるようにし、少数の企業に力が集中することを防ぎ、この技術をより均等かつ安全に社会全体に展開できるようにします。

オープンソースAIモデルの安全性については継続的な議論がありますが、私の見解では、オープンソースAIは代替案よりも安全になるでしょう。政府は、オープンソースを支持することが自国の利益になると結論づけると思います。なぜなら、それは世界をより繁栄させ、より安全にするからです。

安全性を理解するための私の枠組みは、2つのカテゴリーの害から保護する必要があるということです：意図しない害と意図的な害です。意図しない害は、AIシステムを運用する人の意図ではなかったにもかかわらず、害を引き起こす可能性がある場合です。例えば、現代のAIモデルは誤って悪い健康アドバイスを与える可能性があります。あるいは、より未来的なシナリオでは、モデルが意図せずに自己複製したり、人類に不利益をもたらすような目標を過度に最適化したりする心配もあります。意図的な害は、悪意のある行為者がAIモデルを使用して害を与えることを目的とする場合です。

AIに関する人々の懸念の大半は意図しない害に関するものであることは注目に値します - これらの懸念は、AIシステムを使用する何十億人の人々にどのような影響を与えるかから、人類にとって本当に破滅的なSFシナリオのほとんどにまで及びます。この点において、オープンソースはシステムがより透明で広く精査できるため、大幅に安全であるはずです。歴史的に、オープンソースソフトウェアはこの理由でより安全でした。同様に、Llama GuardのようなLlamaの安全システムを使用することは

同様に、Llama GuardのようなLlamaの安全システムを使用することは、クローズドモデルよりも安全で安心できる可能性が高いです。このため、オープンソースAIの安全性に関するほとんどの議論は意図的な害に焦点を当てています。

私たちの安全プロセスには、モデルが意味のある害を引き起こす可能性があるかどうかを評価するための厳密なテストとレッドチーミングが含まれており、リリース前にリスクを軽減することを目的としています。モデルはオープンであるため、誰でも自分でテストすることができます。これらのモデルはすでにインターネット上にある情報によって訓練されているため、害を考慮する際の出発点は、モデルがGoogle

や他の検索結果からすぐに取得できる情報よりも多くの害を引き起こすことができるかどうかを検討する必要があります。

意図的な害について推論する際、個人や小規模な行為者が行える可能性のあることと、膨大なリソースを持つ国家のような大規模な行為者が行える可能性のあることを区別することが有用です。

将来のある時点で、悪意のある個人がインターネット上で利用可能な情報からAIモデルの知能を使用して全く新しい害を作り出す可能性があります。この時点で、力のバランスがAIの安全性にとって重要になります。より大きな行為者が小規模の悪意のある行為者の力をチェックできるよう、AIが広く展開されている世界に住むことがより良いと私は考えています。これは、私たちがソーシャルネットワーク上でセキュリティを管理してきた方法です - より堅牢なAIシステムが、しばしばより小規模なAIシステムを使用する、より洗練されていない行為者からの脅威を特定し、阻止します。より広く言えば、大規模な機関がAIを大規模に展開することで、社会全体のセキュリティと安定性を促進します。誰もが同様の世代のモデルにアクセスできる限り - オープンソースはこれを促進します - より多くのコンピューティングリソースを持つ政府や機関は、より少ないコンピューティングリソースを持つ悪意のある行為者をチェックすることができます。

次の問題は、米国と民主主義国家が中国のような膨大なリソースを持つ国家の脅威にどのように対処すべきかということです。米国の利点は、分散化されたオープンなイノベーションです。一部の人々は、中国がモデルにアクセスするのを防ぐためにモデルをクローズにする必要があると主張しますが、私の見解では、これは機能せず、米国とその同盟国を不利な立場に置くだけです。我々の敵対者はスパイ活動に長けており、親指ドライブに収まるモデルを盗むことは比較的簡単です。ほとんどのテクノロジー企業は、これをより困難にするような方法で運営されているわけではありません。クローズドモデルのみの世界では、少数の大企業と我々の地政学的敵対者が主要なモデルにアクセスでき、スタートアップ、大学、中小企業が機会を逃すという結果になる可能性が高いように思われます。さらに、アメリカのイノベーションをクローズドな開発に制限することで、私たちがまったくリードしない可能性が高まります。代わりに、私は、堅牢なオープンエコシステムを構築し、主要企業が政府や同盟国と緊密に協力して、最新の進歩を最大限に活用し、長期的に持続可能なファーストムーバーの優位性を確保することが最良の戦略だと考えています。

将来の機会を考える際、今日の主要なテクノロジー企業や科学研究の多くがオープンソースソフトウェアの上に構築されていることを忘れないでください。次世代の企業や研究は、私たちが集合的に投資すれば、オープンソースAIを使用するでしょう。これには、立ち上がったばかりのスタートアップだけでなく、最先端のAIをゼロから開発するリソースがない可能性のある大学や国の人々も含まれます。

結論として、オープンソースAIは、この技術を活用して全ての人にとって最大の経済的機会とセキュリティを創出する世界の最良の機会を表しています。

一緒に構築しよう

過去のLlamaモデルでは、Metaは自社のために開発し、その後リリースしましたが、より広範なエコシステムの構築にはあまり焦点を当てていませんでした。今回のリリースでは異なるアプローチを取っています。可能な限り多くの開発者とパートナーがLlamaを使用できるようにするための社内チームを構築し、エコシステム内のより多くの企業が顧客にユニークな機能を提供できるようにパートナーシップを積極的に構築しています。

Llama 3.1のリリースが、ほとんどの開発者が主にオープンソースを使用し始める業界の転換点になると信じており、このアプローチはここから更に成長すると予想しています。世界中の全ての人にAIの恩恵をもたらすこの旅に、皆さんが参加してくださることを願っています。