#aivisspeech #grok3 #生成ai
AivisSpeech
Anneli
https://hub.aivis-project.com/aivm-models/a59cb814-0083-4369-8542-f51a29e72af7
white
https://hub.aivis-project.com/aivm-models/808e2c43-1caa-4efe-9a82-8c7b1b348ca1
背景画像
https://commons.nicovideo.jp/works/nc13741
サムネ sunflower
https://pixai.art/
https://pixai.art/model/1709400692714137270
内容はgrok3 thinkingによる出力
ホワイト君最近よく聞くんだけど、生成AI向けのデータセンターでHBMが重要だって話。
何のことか知ってる?
ああ、HBMか。
それはHigh Bandwidth Memory の略で交代域幅メモリーのことだよ。
簡単に言うとめっちゃ早くて大量のデータを扱えるメモリーさ。
早いメモリーって普通のRAMと何が違うの?
普通のRAM、例えばDDR4とかDDR5はCPUと直接やり取りするメインメモリーだけど、HBMは特にGPUとかAI用のプロセッサーで使われることが多いんだ。
最大の特徴は待機幅がめっちゃ広いこと。
一度に大量のデータを転送でき るってわけ。
待機幅が広いとどんな利点があるの?
生成AIって大量のデータを処理する必要があるだろう。
例えば画像生成とか自然言語処理とかさ。
そういうタスクではデータをメモリから素早く読み出して計算してまた書き戻すみたいなことがバンバン起きる。
メモリとのデータのやり取りが遅いと処理全体が詰まっちゃうんだよ。
なるほど。
メモリがボトルネックになるってことね。
そう。
HBMがそれを解消するために作られたんだ。
具体的にはメモリチップを積層して3D構造にしてる。
それでチップ間の距離が短くなってデータ転送が早くなるし、スペースも節約できる。
積層ってチップを縦に重ねてるってこと?
その通り。
シリコン貫通電極CSVっていう技術でチップ同士を直接繋い でるんだ。
これで従来のメモリよりずっと高速にデータを生きできる。
へえ、すごい技術だね。
でもなんで生成AI向けのデータセンターで特に重要視されてるの?
生成AIは学習フェーズで膨大なデータを扱う。
例えば何百万もの画像やテキストを処理してモデルを作るわけだろう。
データセンターだと複数のGPUやAIアクセラレータで並列処理するんだけど、メモリエのアクセス速度が遅いとせっかくのGPUが待ち状態になっちゃうんだ。
GPUは待つなんてもったいないね。
そうなんだよ。
GPUは超速い計算機だけど、データが来ないと何もできない。
HBMは例えばGDDR6とかに比べて待機幅が数倍から10数倍広いからデータをサクサク供給できて、AIの学習や推論のスピードが格段に上がる。
でもHBMって高価なんじゃないの?
データセンターで使うにはコストが気になるけど。
確かにHBMは製造が複雑でコストが高いよ。
でも生成AIみたいな高性能が求められる分野では処理速度がサービスの品質や競争力に直結するから投資する価値がある。
特にリアルタイム性が大事なサービスだとコストよりパフォーマンスが優先されるんだ。
なるほど。
パフォーマンスが大事な場面では多少高くてもHBMを選ぶわけね。
その通り。
しかもHBMは進化してて、今はHBM3とかが出てきてる。
待機幅が1TB/sを超えるとか言われてるよ。
1秒間に1TBのデータを転送でき るってすごいだろう。
1TBってどのくらいすごいの?
映画1本が数GBだとして1TBは1000GBだから数百本分も1秒で転送できる感じ。
もちろんAIだと細かいデータのやり取りだけど、それでもその速さが大事なんだ。
確かに生成AIにはそういうスピードが必要そうだね。
具体的にどんなアプリケーションが恩恵を受けるの?
例えば自動運転車のAIとかリアルタイムで画像認識や物体検出が必要なシステム。
あとはチャットボットや音声認識みたいな自然言語処理でも大量のデータを素早く処理できるから応答が早くなるよ。
リアルタイム性が大事なものには特に役立つんだね。
うん。
それにデータセンター全体の効率も上がる。
同じ処理を短い時間で少ない電力でこなせるから小エネにも繋がるし、運用コストも下げられる。
環境にも優し いっってことか。
まあ、そういう側面も あるね。
技術の進歩ってそういうところでも役立ってるよ。
いや、HBMの重要性がよく分かったよ。
ありがとう。
ホワイト君。
どういたしまて、アネリ。
また何かあったら聞いてくれよ。
ホワイト君、生成愛向けのデータセンターで使われるHBMってSKハイニックス、サムスン、マイクロンの3社が競ってるよね。
それぞれの性能とか市場での強さってどう違うの?
おお、アネリ、いい質問だね。
HBM市場は今AIブームでめっちゃ熱いからこの3社の争いが面白いんだ。
じゃあ、順番に見ていこうか。
まずSKハイニックスからだ。
SKハイニックスってHBMでトップを走ってるイメージがあるけど実際どうなの?
その通り。
SKハイニックスがHBM市場でシェアの1位だよ。
2023年時点で50%くらい持ってて、今もその勢いは続 いている。
特にHBM3とHBM3Eで先行してるのが強み。
HBMサジーはPINの速度が8GBPSで1スタックあたり1TBですの待機幅。
これがNBDIAのH200とかに採用されてて、生産効率もサムスンやマイクロンの8.8倍って自慢してるくらいだ。
8.8倍ってすごいね。
どうしてそんなに効率がいいの?
技術的なノウハウとTSMCとの連携が大きいみたい。
HBMのデスタイをTSMCの先進プロセスで作ることで性能と効率を上げてる。
特にHBM3Eの供給では2024年に在庫は全部売り切れるくらい需要が殺到してて市場での優位性はばっちりだよ。
なるほど。
じゃあ、サムスンはどうなの?
世界最大のメモリメーカーなのにHBMでは遅れて るって聞くけど。
サムスンは確かにデイラム全体ではトップだけど、HBMではSKハイニックスに遅れをとってる。
市場シェアは40%くらいで2位だね。
でも巻き返しがすごい。
HBM3位の12層スタック12Hを開発して1スタックで1.28TBですの待機幅と36GBの容量を実現してる。
これは業界初の12層でSKハイニックスやマイクロ ンの仮装より容量は50%多いんだ。
容量が多 いっってことはAIの大きなモデルを扱うのに有利そうね。
その通り。
サムスンはNBDIAの継承も通過して2024年9月から供給開始してるらしい。
ただ生産効率や初期の出荷量ではSKハイニックスに及ばないからまだ追いつくのに必死って感じだね。
あとプロセシングインメモリーっていう技術でメモリ内でAI計算をやって消費電力を70%減らすとか独自路線も模索してる。
プロセシングインメモリーって面白そう。
じゃあ、マイクロ ンはどうなの?
3位ってイメージだけど。
マイクロ ンはシェア26%くらいで3位。
でも甘く見れ ないよ。
HBM3位では金の速度が9.6GBPSで1.2TBですの待機幅。
さらに12層バージョンで36GBの容量を2024年に出してきた。
特徴は消費電力が30%低 いっって点でデータセンターの運用コストを抑えたい顧客には刺さる。
省エネは大事だよね。
でもシェアが低 いっってことは市場での立場は弱いの?
シェアは低いけど、マイクロ ンは戦略が賢いんだ。
HBM3位でエビリアのH200にも採用されてるし、着実に足場を固めてる。
特にアメリカ企業だから知性学的な優位性もある。
韓国勢に比べて遅れてた分次のHBM4で一気に逆転を狙ってる感じだね。
HBM4か。
それってどんな感じになるの?
HBM4は2026年くらいに本格化する次世代企画だよ。
Zテックが2024年7月に仕様を発表してて2048ビットのインターフェースで1スタックあたり1.6TBと追上の待機幅になる。
ピンの速度は6.4GBPSに抑えてるけど、インターフェースが2倍広いから性能が跳ね上がる。
待機幅が1.6TBですってHDM3よりどれくらいすごいの?
HDM3のトップが1.28TBですだから約25%アップだね。
容量も16走で64GBとかになる予定でAIの超巨大モデルに対応できる。
SKハイニックスはTSCと組んで2025年末に量産開始を狙ってるし、サムスンはSnowboltってコードネームで独自の効率化を進めてる。
マイクロンはHBM4でどう動くの?
マイクロンがHBM Nextって呼んでて36GBや64GBの構成を計画中。
サムスンやSKハイニックスと違ってロジックとHBMを1チップに統合しない戦略らしい。
リスクを減らしてAMDやIntel向けに高速アクセスをアピールしてるよ。
3社ともHBM4つで勝負 って感じだね。
市場はどうなると思う?
SKハイニックスがリードを保つだろうけど、サムスンは生産量を2026年までに2023年の13倍にすると宣言してるし、マイクロ ンも小エネで差別化してくる。
AI需要が35%ずつ伸びる予測だから3社とも勝ち組になれる余地はある。
ただカスタマイズ性が鍵で各社が顧客ニーズにどれだけ答えられるかで決まりそうだね。
なるほど。
HBM4でAIはもっと進化しそうね。
ホワイト君詳しく教えてくれてありがとう。
どういたしまして、アネリ。
コメント