289: 山師さん 2025/01/29(水) 21:56:34.52 ID:+53atqXRd
NVDAのGPUで4ビット浮動小数点でも性能が出るという研究結果をMSFTが発表
deepseekの8ビット浮動小数点よりも高効率になる可能性も指摘
://twitter.com/FABYMETAL4/status/1884496028231163986?t=9EslPdrKJ6Y7A3IRbrqT-A&s=19
286: 山師さん 2022/01/25(火) 00:42:48.68 ID:9k13QVTR0 年末にノーポジが正解だったってこと? インデックスファンドも含めて 295: 山師さん 2022/01/25(火) 00:43:11.33 ID:cBIB709hM >>286 結果論 313: 山師さん 2022/01/25(火) 00:43:42.23 ID:Anz56ZcQ0 > […]
293: 山師さん 2025/01/29(水) 21:57:31.03 ID:DIx3difX0
>>289
うおおおおおおお
うおおおおおおお
294: 山師さん 2025/01/29(水) 21:57:34.01 ID:30NHJ08C0
>>289
1bit演算もあるけどどうなんだろ
1bit演算もあるけどどうなんだろ
295: 山師さん 2025/01/29(水) 21:58:02.44 ID:gETAW32/0
>>289
なるほどわからん
なるほどわからん
297: 山師さん 2025/01/29(水) 21:58:13.41 ID:Dc5DFFjo0
>>289
うおおおおおお!
うおおおおおお!
305: 山師さん 2025/01/29(水) 21:59:55.89 ID:BkLzbOWH0
>>289
よくわからんけど、うおおおおお!
よくわからんけど、うおおおおお!
333: 山師さん 2025/01/29(水) 22:03:51.88 ID:jFs6EX6c0
>>289
どゆことうおおおおおお😁😁😁
どゆことうおおおおおお😁😁😁
378: 山師さん 2025/01/29(水) 22:11:38.99 ID:FY+jac/h0
>>289
よく分からんがGPU少なくて済むってこと?
よく分からんがGPU少なくて済むってこと?
385: 山師さん 2025/01/29(水) 22:13:42.73 ID:+53atqXRd
>>378
切り口による
要は学習効率が上がったという話なので
・少ないGPUでも学習できる
・GPUガン積みすると超爆速で学習完了する
という二つの見方ができる
398: 山師さん 2025/01/29(水) 22:16:03.86 ID:FY+jac/h0
>>385
とにかくAI開発が加速していくってことね
とにかくAI開発が加速していくってことね
410: 山師さん 2025/01/29(水) 22:17:27.72 ID:+53atqXRd
>>398
それは確定
学習が速くなる=実験して結果分かるまでが速くなる
なので研究者からするとどんどん実験効率が上がっていく
それは確定
学習が速くなる=実験して結果分かるまでが速くなる
なので研究者からするとどんどん実験効率が上がっていく
392: 山師さん 2025/01/29(水) 22:15:30.30 ID:STc0axzw0
>>289
これNVDAにとって完全にマイナスじゃん
これNVDAにとって完全にマイナスじゃん
302: 山師さん 2025/01/29(水) 21:59:17.36 ID:DIx3difX0
ブラックウェルを制するものはAIを制するということか
304: 山師さん 2025/01/29(水) 21:59:48.19 ID:30NHJ08C0
CUDA使ってないからチューニングコストがかかりそうだけど
簡単にチューニングできるようになったらメリットあるっぽい
簡単にチューニングできるようになったらメリットあるっぽい
336: 山師さん 2025/01/29(水) 22:04:01.20 ID:+53atqXRd
なんか、4ビット計算はblackwellならいけて、フルパワーblackwell環境なら超高速に学習を完了させられるようになるかも
という感じらしい
という感じらしい
365: 山師さん 2025/01/29(水) 22:07:57.45 ID:+53atqXRd
なんにせよGPUガン積みで高効率学習するとあっという間に学習が終わるから、研究開発上は相当楽になるわね
モデルのデータ範囲更新とかもどんどんリリースされるようになるかも
モデルのデータ範囲更新とかもどんどんリリースされるようになるかも
373: 山師さん 2025/01/29(水) 22:11:18.06 ID:+53atqXRd
てかLLMのデータ更新が1年とかかかる今の状況は普通に不便よな
せめて1ヶ月ごとには最新知識を取り込んでほしい
せめて1ヶ月ごとには最新知識を取り込んでほしい
384: 山師さん 2025/01/29(水) 22:13:37.42 ID:Jc6hTlVg0
>>373
geminiはリアルタイム検索とリンクしてるから数ヶ月で更新してるとか何とか
geminiはリアルタイム検索とリンクしてるから数ヶ月で更新してるとか何とか
380: 山師さん 2025/01/29(水) 22:12:14.59 ID:OfGbZ6zD0
なるほど更新早くなると最新のデータ使えるのか
そら凄いわ
そら凄いわ
395: 山師さん 2025/01/29(水) 22:15:46.99 ID:/qM3j3lI0
事前学習高速化しても学習データ枯渇してるのがボトルネックやねんな😴
396: 山師さん 2025/01/29(水) 22:16:00.55 ID:+53atqXRd
もしこのまま計算効率が上がり続ければ、毎日最新データを取り込んでも即学習完了するLLMが誕生する可能性すらある
400: 山師さん 2025/01/29(水) 22:16:37.43 ID:rqsfqMmDd
言葉のやり取りだけだとそこまで計算力必要無いんやろ
でもAIの真価はそこやないで
でもAIの真価はそこやないで
引用元: https://egg.5ch.net/test/read.cgi/stock/1738149206/