DeepSeekが出てきたことで、「生成AI開発で大規模投資って本当に要るんですかね」ということが話題になってきてる。
皆さんはもう使っただろうか？DeepSeek。これめっちゃええわ。一番気に入っているのはLong-CoT（o1の深い思考的なやつ）と検索機能をセットで使えるところ。これ使うと、例えば以下のようなことが可能になる。
- 日本人で30代で1億円以上を持ってる人は何%か、という直接的な統計結果はない
- 別々のソースで「30代以上で3000万円以上持っている人の割合」と、「全世代で3000万円以上持ってる人のうち、1億円以上持ってる人の割合」はある。
- この2つの総数の情報を掛け合わせて、おおよそ30代で1億円以上持ってる人が何%かを類推してくれる。
検索機能を使うとデータソースの方に引っ張られて単純に「こんなファクトがあったよ」程度のことしか出て来ないことが多い。でもこれにLong-CoTを組み合わせることで、集めたファクトを元にしてフェルミ推定的な推計もできるようになってるのだ。そうそう、まさしくこういうのが欲しかったのよね。
直接的に欲しいファクトがネットにない時、得られるファクト同士を掛け合わせて人間は推定をするよね。まさしくこれなのよ。
で、このDeepSeekなんだが、中国の新興企業が極めて安いコストで学習させたらしい。バリバリに設備投資してデータセンターを持ってるメガテック企業を差し置いて、GPU規制を食らってる中国のよくわからん企業がほぼ世界最先端の計算能力を持つAIをいきなり出してきたもんだから、みんなビビるよねと。そうなると、本当にモデル作る上でバカでかい設備投資必要なんですかと。
今週末の話題はDeepseekのせいでAI用の巨額の設備投資っていらなかったんじゃね？となるリスクです。 https://t.co/xs8Dy0TDLo
— Shen (@shenmacro) 2025年1月25日
ただ一方で、GPU規制を食らう前なのか何なのかわからんけど、当該企業はNVIDIAのH100を相応に持ってるんでこれができたんだ、みたいな情報もTwitterで流れてる。この辺の真偽はもうよくわからん。
Scale AI CEO アレクサンドル・ワン氏
— FabyΔ (@FABYMETAL4) 2025年1月26日
「DeepSeekは約50,000台のNVIDIA H100を保有している。しかし、米国の輸出規制があるため、彼らはそれについて公に話すことができない🤐」 pic.twitter.com/OL9ugVJIEW
この話題で思い出すのが俺たちの孫正義の巨額投資なんだが、個人的には現時点で何とも言えんなと。
確かに学習方法の工夫で性能をアップするんだろうけど、そうした工夫をしてさらにクソデカデータセンターで学習させればもっと性能が上がるんじゃねえかという発想もあるわけで。規模のスケールだけが到達できる領域ってのもあるんじゃねえかと。何にせよこの領域はテクノロジーのアップデートが激しすぎて現時点で云々ってのはあんまり意味がないと思ってる。だもんで、現時点では「はえ～」とか言いながら全然様子見しとります。
応援クリックいただけますと、励みになります！
