近年のAIの進化は実は理解されていない。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
ChatGPTを筆頭に、信じられないレベルでAIが進化している。
そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。
おそらく発明した研究者本人たちですら。
どういうことか。
1/n
AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
研究の進化とは
1. モデルやアルゴリズムの進化
2. 計算量の増加
3. データ量の増加
などだ。10年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。
2/n
反面、計算量やデータ量の増加によって、「驚くべき」進化があるとは誰も思っていなかった。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
計算量を倍、倍としていけば、それに応じて精度がちょっとずつ上がっていく、と想定したからだ。そこには驚きはないはず。
今までの論文ではそうだった。むしろ量の増加による精度改善は飽和していた
3/n
ところがこの数年で研究者はびっくりする結果を目にする。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
なんと、計算量やデータ量を増やしたところ、
完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。
下記の図の横軸が計算量、縦軸が精度だ。
まじか、とみんな思った。
4/n pic.twitter.com/V51NVCDBWf
上記のグラフは、複数ステップの計算、大学レベルの試験、文脈の言葉の意味を読み取る精度だ
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
この急激なAIの進化は他のところでも観測されており、
例えば「質問の仕方を変えればAIのアウトプットが圧倒的によくなる」という現象も、ある一定の計算量がなければ起こらない
5/n pic.twitter.com/Z2XfPL3gLf
この現象は実はいまだに理解されていない。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
なぜこんな転換点が存在するのか。
実は人類がこのような現象に出会ったのは初めてではない。
これこそが物理学においてこの100年間研究されてきた「相転移」という現象なのだ。
6/n
昔に、物理学者は還元主義を信じ、
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
「世界の最小単位のものの振る舞いを理解すれば、世界の全てを理解できるはず」
と思っていた時代があった。
これをPhilip Andersonという稀代の物理学者が
More is Different (量が質を変える)
という論文でパラダイムシフトを起こした
7/n
端的にいえば、原子が1個2個と増えたところで物理が変わるわけがない、と思われてたところに
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
いや、1個の原子では水が氷になる、という現象はおこらないが、10の23乗の原子があれば、水は氷になる
と論じた。今では、この世界の物質の最も本質的な理解は相転移にある、と受け入れられている
8/n
物理の場合、この量が質を変える「相転移」を理解することが
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
半導体や量子コンピューターを産むことにつながり
この100年間の科学技術の進化を支えた。
Philip Andersonはこの哲学は、物理から化学へ、化学から生物へ、生物から社会学へと移行する時にも当てはまるのではないか、とも考えた
9/n
AIに戻ると、
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
去年はComputer scienceの領域で、AIの学習で量が質を変える現象が「発見」された年だった。
今年からはこの現象を説明し、より加速度的にAIが進化する時代に突入する。
第1次、2次産業革命が各種ノーベル物理・化学賞の仕事に支えられたとすれば、それがまたやってくる
10/n
今成果を出しているAI研究者は物理で言えば実験科学者に近い。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
これからはより深い理論構築ができるAI研究者がどんどん出てくる。
興奮の渦だ。
11/n
上記の現象についてはGoogle researchのブログに詳しいので是非読んでみてほしい。12/nhttps://t.co/M9Bp1leIDs
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
また、Philip AndersonのMore is differentも、原論文が読みやすいので、この伝説的な文章も原文から是非読んでほしい 13/nhttps://t.co/FfKntuPwcw
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
ちなみにMore is differentについては私がICCで解説したものもあるので、興味ある人は是非。14/nhttps://t.co/MxMqTCgMLv
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
オタクニュース
がしました