【米国株】要は学習効率が上がったということ…?


289: 山師さん 2025/01/29(水) 21:56:34.52 ID:+53atqXRd

NVDAのGPUで4ビット浮動小数点でも性能が出るという研究結果をMSFTが発表
deepseekの8ビット浮動小数点よりも高効率になる可能性も指摘

://twitter.com/FABYMETAL4/status/1884496028231163986?t=9EslPdrKJ6Y7A3IRbrqT-A&s=19


293: 山師さん 2025/01/29(水) 21:57:31.03 ID:DIx3difX0
>>289
うおおおおおおお
 
294: 山師さん 2025/01/29(水) 21:57:34.01 ID:30NHJ08C0
>>289
1bit演算もあるけどどうなんだろ
 
295: 山師さん 2025/01/29(水) 21:58:02.44 ID:gETAW32/0
>>289
なるほどわからん
 
297: 山師さん 2025/01/29(水) 21:58:13.41 ID:Dc5DFFjo0
>>289
うおおおおおお!
 
305: 山師さん 2025/01/29(水) 21:59:55.89 ID:BkLzbOWH0
>>289
よくわからんけど、うおおおおお!
 
333: 山師さん 2025/01/29(水) 22:03:51.88 ID:jFs6EX6c0
>>289
どゆことうおおおおおお😁😁😁
378: 山師さん 2025/01/29(水) 22:11:38.99 ID:FY+jac/h0
>>289
よく分からんがGPU少なくて済むってこと?
 
385: 山師さん 2025/01/29(水) 22:13:42.73 ID:+53atqXRd

>>378
切り口による
要は学習効率が上がったという話なので

・少ないGPUでも学習できる
・GPUガン積みすると超爆速で学習完了する

という二つの見方ができる

 
398: 山師さん 2025/01/29(水) 22:16:03.86 ID:FY+jac/h0
>>385
とにかくAI開発が加速していくってことね
 
410: 山師さん 2025/01/29(水) 22:17:27.72 ID:+53atqXRd
>>398
それは確定
学習が速くなる=実験して結果分かるまでが速くなる
なので研究者からするとどんどん実験効率が上がっていく
 
392: 山師さん 2025/01/29(水) 22:15:30.30 ID:STc0axzw0
>>289
これNVDAにとって完全にマイナスじゃん
 
302: 山師さん 2025/01/29(水) 21:59:17.36 ID:DIx3difX0
ブラックウェルを制するものはAIを制するということか
 
304: 山師さん 2025/01/29(水) 21:59:48.19 ID:30NHJ08C0
CUDA使ってないからチューニングコストがかかりそうだけど
簡単にチューニングできるようになったらメリットあるっぽい
 
336: 山師さん 2025/01/29(水) 22:04:01.20 ID:+53atqXRd
なんか、4ビット計算はblackwellならいけて、フルパワーblackwell環境なら超高速に学習を完了させられるようになるかも
という感じらしい
365: 山師さん 2025/01/29(水) 22:07:57.45 ID:+53atqXRd
なんにせよGPUガン積みで高効率学習するとあっという間に学習が終わるから、研究開発上は相当楽になるわね
モデルのデータ範囲更新とかもどんどんリリースされるようになるかも
 
373: 山師さん 2025/01/29(水) 22:11:18.06 ID:+53atqXRd
てかLLMのデータ更新が1年とかかかる今の状況は普通に不便よな
せめて1ヶ月ごとには最新知識を取り込んでほしい
 
384: 山師さん 2025/01/29(水) 22:13:37.42 ID:Jc6hTlVg0
>>373
geminiはリアルタイム検索とリンクしてるから数ヶ月で更新してるとか何とか
 
380: 山師さん 2025/01/29(水) 22:12:14.59 ID:OfGbZ6zD0
なるほど更新早くなると最新のデータ使えるのか
そら凄いわ
 
395: 山師さん 2025/01/29(水) 22:15:46.99 ID:/qM3j3lI0
事前学習高速化しても学習データ枯渇してるのがボトルネックやねんな😴
 
396: 山師さん 2025/01/29(水) 22:16:00.55 ID:+53atqXRd
もしこのまま計算効率が上がり続ければ、毎日最新データを取り込んでも即学習完了するLLMが誕生する可能性すらある
 
400: 山師さん 2025/01/29(水) 22:16:37.43 ID:rqsfqMmDd
言葉のやり取りだけだとそこまで計算力必要無いんやろ
でもAIの真価はそこやないで

引用元: https://egg.5ch.net/test/read.cgi/stock/1738149206/