「我々には防御力のある盾がなく、OpenAIにもない」と主張するGoogleのメモが流出し、AI界を震撼させる
GoogleエンジニアのLuke Sernauが流出させたメモでは、オープンソースのAIがいずれGoogle、Meta、OpenAIの独自モデルを凌駕する可能性があると主張しています。
このメモは、AIの競争力に関する議論に火をつけ、GoogleやOpenAIによるクローズドモデルに対して、オープンソースの急速なイノベーションと費用対効果の高い代替案を強調しました。
オープンソースAIの台頭により、責任あるAIの公開や犯罪目的での悪用の可能性が懸念され、AI企業による安全性へのコミットメントが問われます。
ソース
https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
もっとわかりやすく要約すると
GoogleとOpenAIは、AIと呼ばれる賢いコンピュータープログラムを作っている2つの大きな会社です。彼らはAIを使って、人と話したり、物語を書いたり、ゲームをしたりします。彼らはAIを作ることで一番になりたいと考えていますが、問題があります。AIを作る人は他にもたくさんいて、その人たちは自分の作品を無料でみんなに公開しています。この人たちはオープンソースエンジニアと呼ばれています。彼らは安価でシンプルなツールを使って、GoogleやOpenAIよりも速く、より良く、よりプライベートなAIを作っています。Googleで働くある人は、GoogleとOpenAIはオープンソースのエンジニアにAI競争を奪われていると論文を書きました。彼は、GoogleとOpenAIは彼らオープンソースエンジニアから学び、彼らと協力すべきであり、そうでなければ遅れをとることになるだろうと述べた。また、GoogleとOpenAIには、自分たちのAIを他より優れたものにするための秘密のトリックがないとも言っています。この論文はネット上に流出し、多くの人が読みました。この論文が真実だと思う人もいれば、そうでないと思う人もいます。
名無しの外国人１
素晴らしい分析です。多くの人が、小さなモデルからまだ絞り出せるものや、オープンなモデルにまだ取り入れられていない低空飛行の果実を過小評価しているように思います。蒸留によって、私たちは日常的に、桁外れに少ないパラメータで同じ性能を得ることができます。
名無しの外国人２
Googleに必要なのは、まったく新しいアーキテクチャで、彼らが積極的に取り組んでいるものだと思います。ゼロから再学習する必要のない、疎な、巨大な、マルチモーダルモデルは、PathwaysやmuNetのようなもので、その方向性を探っているようです。他にも多くの取り組みを隠蔽していることは知っていますが、それを共有することについては、より慎重な姿勢を見せています。
その代わり、現在のサービスとの統合に力を入れるかもしれません。1週間後にはもっとわかるでしょう
名無しの外国人３
Googleが焦っている。社内ではマジでパニック状態です。
名無しの外国人４
Alphabetは、OpenAIが持っているものよりも優れたものを作ろうと、日夜努力しています。
これは本当に軍拡競争であり、プレーヤーはOpenAI+Microsoft、Google、オープンソース、そしておそらくHuawei/Chinaである。
名無しの外国人５
Bingの検索はGPT4のおかげで、3ヶ月の間に、基本的につまらないゴミから、googleよりも優れたものになった。
名無しの外国人６
Aiのビジネスは、データを収集し、モデルを訓練し、入力に対して出力を提供するものです。今、あなたが送信した入力と受信した出力を収集し、はるかに少ないデータとコストで、相手のモデルを近似するように独自のモデルを訓練することができます これは最近見られることです
名無しの外国人７
GPT-4とオープンソースの取り組みにはまだ大きな隔たりがあり、結論に同意できるわけではありませんが、オープンソースの分野における急速なイノベーションを示す年表として、素晴らしい記事です。
名無しの外国人８
同感です。スケーリングの法則は明確であり、その証明は明白です。オープンソースのシーンでは、RLHFなしのGPT-4ほど壮観なものはありませんでした。GPT-4のapiとBing chat Betaが厳しく制限される前に使ったときは、目を見張るものがありました。
名無しの外国人９
私はオープンソースに全く反対ではありませんが、大型トランスモデルのハードウェア要を理解しています。LLMはトランスフォーマーという発想で作られているので、大きければ大きいほどいいというわけではないことを、皆さんよく忘れています。可能な限り効率的なモデルを作ることはできますが、限られたリソースの中でできることは限られています。
名無しの外国人１０
OpenAIは安全上の問題から、本当に強力なものは胸にしまっている。オープンソースのモデルは無制限
名無しの外国人１１
オープンソースは、クローズドソースの大物たちを出し抜き、スマートにしています。安定した普及を見ると、初期の品質と安定性は中級以下のものでした。しかし、それは急速に、本当に急速に追いついたのです！そして、SDのイノベーションには驚かされました。AGIを達成するためには、オープンソースが必要なのです。