muNetは、GPT-4トランスフォーマーよりもパワフルで柔軟な機械学習技術です。AGIのカギとなります。
情報はこちらから
https://arxiv.org/abs/2205.10937
Github:
https://github.com/google-research/google-research/tree/master/muNet
名無しの外国人１
いろいろ検索してみたのですがまだ使い方がよくわからない
名無しの外国人２
muNetはマルチタスクアプローチであり、タスク横断的な知識伝達を行うため、トランスフォーマーと異なり拡張性が高い
名無しの外国人３
"munet "でググると、miami universityが最初に表示されるので、おそらくGoogleが宣伝していないのでしょう。
名無しの外国人４
Google muNetは、事前に学習させたディープニューラルネットワークを用いて、スケーラブルなオートチューニング・マルチタスクシステムを構築する機械学習技術です。
muNetは、まず大規模なタスクのデータセットに対してディープニューラルネットワークを事前学習させることで動作します。そして、この事前学習されたネットワークを出発点として、任意の数のタスクを解決できる新しいネットワークを構築します。
muNetは、従来の機械学習技術に比べていくつかの利点がある。第一に、タスク間の知識移転を活用することができ、新しいタスクに対する新しいネットワークのパフォーマンスを向上させることができます。第二に、壊滅的な忘却やネガティブトランスファーといった、マルチタスクアプローチに共通する欠点がないことである。第三に、スケーラブルであるため、多数のタスクの解決に利用できることである。
名無しの外国人５
要するにこういうことらしい
機械学習とは、コンピュータがデータから学習し、学習した内容に基づいて意思決定や予測を行うことです。通常は、画像の認識や言語の翻訳など、特定のタスクを実行するモデルを学習させることが必要です。
しかし、新しいタスクが発生するたびに、ゼロから始めるか、すでに同様のタスクで訓練されたモデルを微調整する必要があるため、時間とコストがかかることがあります。
提案する方法は、複数のタスクの出発点として、事前に訓練されたモデルを使用することを提案しています。つまり、タスクごとに新しいモデルを構築するのではなく、既存のモデルの一部を利用し、それらを異なる方法で組み合わせることで、複数のタスクを解決することができるのです。この方法は、タスク間で知識を伝達することができ、複数のモデルを一度に訓練する際に生じるいくつかの一般的な問題を回避できるため、より効率的である。
また、本手法では、進化的アプローチにより、事前に学習させたモデルのどの部分が各タスクに関連しているか、どの部分をさらに学習させるか、性能を向上させるためにモデルの設定をどのように調整するかを判断します。さらに、スケールコントロールと呼ばれる新しい技法を用いて、モデルのサイズと品質のバランスをとり、より少ないパラメータでより良い性能を実現します。
10個の画像分類タスクからなるベンチマークでテストしたところ、提案モデルは、標準的な微調整方法よりもタスクごとに47%少ないパラメータを使用しながら、平均精度を2.39%向上させました。
まとめると、提案手法は、事前に学習させたモデルの一部を利用し、進化的アプローチとスケール制御技術によって最適化することで、より効率的に複数のタスクを解決する方法を生み出すことを目的としています。