gpt-2とgpt-4の違いを見てください。2～3年以内に100倍のモデルが登場する
ディープマインド共同創設者がツイートしました。
ディープマインド共同創設者ムスタファ・スレイマン
https://en.wikipedia.org/wiki/Mustafa_Suleyman#AI_ethics
12カ月以内にGPT-4の10倍（トレーニングFLOP数）、2～3年以内に100倍のモデルが登場するだろう。それがどれほどすごいことなのか、人々はまだ十分に理解していない。
Gpt-2とGpt-4の違いを考えてください。
https://twitter.com/mustafasuleymn/status/1667610643439173632?s=20
名無しの外国人１
この調子だと、2030年にはGPT-12が私の自伝を書き、税金を払い、大統領選に立候補するかもしれませんね！
名無しの外国人２
GTP4は、これまでのトランプ大統領よりも桁違いに頭が良くて、馬鹿なトランプでもアメリカの大統領になることができました。だから私は、AIはすでに大統領に立候補することが可能だと思っているのです。
名無しの外国人３
指数関数的な成長は、自然界の不変の事実ではないということが、なぜ理解できないのでしょうか。新しいアプローチで既存のインフラを急速に拡大できる時期があり、そのときに、低いところにある果実をすべて手に入れ、効率は指数関数曲線かそれ以上になる。そして、明らかなレバーをすべて引いた後、誰かが根本的に新しいアプローチを発見するまで、控えめな改善に落ち着くのです。
私たちは、このパターンをテクノロジーで何度も何度も見てきましたが、いまだに誰もが数年分のデータポイントをグラフ化して、気が狂いそうになります。
名無しの外国人４
しかし、私の理解では、現在のモデルは最適化されているとは言い難く、改良の余地がたくさんあります。アルトマンは、新しい世代になるたびにモデルを3倍くらいに増やせるかもしれないと考えていたようです。
名無しの外国人５
歴史的に見ると、より多くの計算機を追加することでAIシステムはより良くなります。これには、古典的な手法や深層学習も含まれます。同じことがLLMにも当てはまらないと考える理由はありません。
名無しの外国人６
さらなる進歩は、より慎重に選択されたトレーニングデータからもたらされる必要がありますし、もしかしたら、モデルの動作方法を変更する必要があるかもしれません。
例えば、何が良いのか？ウィキペディアのすべてで訓練したLLMと、フェイスブックのすべてで訓練したLLMとでは、どちらが優れているでしょうか？Facebookの方が大きくなることは間違いないでしょう。
名無しの外国人７
テキストがなくなるのは確実ですが、百聞は一見にしかずで、画像や動画、音声の記録があれば、（ペタバイト、エクサバイトのデータを持つという意味で）そこそこいけるかもしれません。
LHCやJWTのデータにもGPTモデルを適用すべきです。これらのデータは、ペタバイトとは言わないまでも、毎日テラバイトのデータを生成していると思いますので、自然現象のデータからGPTが何を見るか、興味深いですね。
もしGPTが、ソートアルゴリズムの改善やタンパク質の折り方を見つけることができれば、私たちが発見していない自然界の発見を見つけることができるはずです。
名無しの外国人８
テキストはたくさんありますね。GPT3.5は約40テラバイトで学習しました。GPT4は不明ですが、インターネットは1兆テラバイト、1ヨタバイトを超えると言われています。その1000分の1がテキストで、GPT4はChatGPTの1000倍必要だったとしても、GPT4のトレーニングに使われたテキストの100万倍が利用できることになります。