Quantum Sea

タグ: Broadcom

  • MicrosoftとBroadcomが示すSONiCの混雑対策、経路制御と早い通知を組み合わせる

    MicrosoftとBroadcomが示すSONiCの混雑対策、経路制御と早い通知を組み合わせる

    GPUの計算が速くても、通信の一部が遅れると、AIの処理全体を終えるまでの時間が延びます。大きなデータが短時間に集中する場面では、回線の速さに加えて、どの経路を通り、混雑をどれほど早く知れるかが大切になります。

    2026年8月のOCP APAC SummitでMicrosoftとBroadcomが紹介したのは、ネットワークスイッチを動かすソフトウェアSONiCを、AI向けの大規模な通信基盤へ対応させる取り組みです。経路情報を扱うBGPの拡張から、送信元が経路を指定するSRv6、混雑を早く伝えるパケットトリミング、細かな統計収集までをつなげて見ていきます。［1・2］

    簡単にまとめると？

    • SONiCでは、AI通信に合わせて経路制御、混雑の通知、細かな観測を組み合わせます。
    • パケットトリミングは混雑時のパケットを短くし、再送と送信速度の調整へつなげます。
    • 発表された機能が使えるかは、ASICやNIC、ソフトウェアの実装によって異なります。

    少数の大きな通信が、同じ経路へ重なる

    発表が対象とするAIの学習通信には、少数の大きなフロー、短時間に通信が集中するバースト、遅い側の通信時間であるテールレイテンシーへの敏感さという特徴があります。経路の振り分けに使える通信の違いも少なく、大きなフローが同じリンクへ重なると、混雑しやすくなります。［2］

    等しいコストの経路へ通信を振り分けるECMPでも、このような条件では負荷がうまく分散しないと説明されています。経路が複数あることと、実際の通信が均等に流れることは別の問題です。資料の課題設定は、こうしたAI通信の性質を前提にしています。［2］

    接続が増えれば、BGPにも処理能力が要る

    資料では、1ポートあたり100Gbps、スイッチ全体で51.2Tbpsの構成を、複数のネットワーク面へ分けて導入したとしています。接続先が増えると、経路情報を交換するBGPの接続数も増えます。多数のポートを備えるハードウェアを用意すると同時に、それを制御するソフトウェアも拡張する必要があります。［2］

    そこで示されたのが、経路制御ソフトウェアFRRを10.0.1へ更新し、約20件のパッチを加えるSONiCの改善です。512のBGPセッション、約1,000の経路、次の転送先である512のネクストホップを扱う構成が紹介されています。単一ポートの切断・復帰に関する発表結果は、データ転送の停止が0.1秒未満、経路情報の収束が約5秒です。異なる二つの時間を、同じ「復旧時間」としてまとめないことが大切です。［2］

    SRv6で、送信元から通る経路を指定する

    通信の経路選択には、IPv6を使うセグメントルーティングのSRv6が挙げられています。資料の構成では、送信元のネットワークインターフェースカード（NIC）が、経路を表す短い識別子uSIDの列をパケットへ入れます。途中のスイッチが順に処理し、宛先のNICが受け取る仕組みです。［2］

    これにより、送信元が指定した経路をたどらせます。資料では、識別子の列が合わない場合はパケットを破棄する、厳密なソースルーティングを説明しています。経路を指定する仕組みそのものが混雑を自動で解決するわけではなく、どの経路を選ぶかと、途中で起きた混雑へどう応えるかを組み合わせる設計です。［2］

    パケットを短くして、混雑の知らせを先へ送る

    パケットトリミングは、混雑時に対象のパケットを短くし、宛先へ送る仕組みです。受信側のNICは、正常に受け取れなかったことを伝えるNACKを送信元へ返します。送信元は、その知らせを受けてパケットを再送し、送る速度を落とします。大きなデータを運び続ける代わりに、小さくしたパケットを早い通知につなげます。［2］

    資料の図では、通信の種類やヘッダー、サイズでトリミングの対象を選び、通常のデータ用とは別に、優先度の高い待ち行列と専用バッファーへ入れています。多数の送信元から一か所へ通信が集中するインキャストに対応するため、短くしたパケットをためる領域の容量も検討項目です。［2］

    発表では、優先度ごとに通信を一時停止するPFCや、パケットに混雑を知らせる印を付けるECNだけでは、このバースト性の高い通信に十分すばやく対応しにくいと説明しています。特にPFCの停止が周囲へ広がると、処理完了までの時間が延びる点を挙げています。PFCやECNがあらゆるネットワークで使えないという意味ではなく、ここで想定する通信に、より早いフィードバックを求める議論です。［2］

    ミリ秒単位の観測を、運用のデータへつなぐ

    短い混雑を調べるには、観測の間隔も細かくする必要があります。そこで紹介された高頻度ストリーミングテレメトリー（HFST）は、スイッチの統計をミリ秒単位で収集するための仕組みです。ASICがIPFIX形式で計測情報を送り、SONiC側のCounter Syncdが受け取って読み解きます。［2］

    受信した情報は、登録済みのIPFIXテンプレートに従って解析します。対応するテンプレートがなければ、そのメッセージは破棄されます。得られたカウンターは手元のデータベースへ保存でき、OpenTelemetry形式へ変換して収集・処理の仕組みへ渡すこともできます。細かく測るだけでなく、正しく解釈して保存するところまでを一つの経路として考えています。［2］

    実装の報告と、次に取り組む範囲を分けて読む

    発表は、BGPの拡張結果と、SRv6・トリミング・テレメトリーの設計を並べて紹介しています。設計資料へのリンクもありますが、これだけで、すべてのSONiC製品や導入先に同じ機能がそろっているとは判断できません。利用するASICやNIC、ソフトウェアの実装を合わせて見る必要があります。［2］

    今後の取り組みとしては、アクセラレーター同士を密に結ぶスケールアップ向けEthernetも挙げられています。今回の大規模なスケールアウト網を支える改善と、その先の検討範囲は分けて捉えたいところです。経路を制御し、混雑を早く伝え、その状態を細かく観測する。SONiCの役割は、この三つをハードウェアと運用の間でつなぐことにあります。［2］

    MicrosoftとBroadcomについて

    発表に登壇したMicrosoftとBroadcomの事業全体は、cyclewaveの企業解説で紹介しています。

    cyclewaveでMicrosoftの企業解説を読む
    cyclewaveでBroadcomの企業解説を読む

    参考資料

    2026年8月の発表資料をもとに構成。性能値と課題は、資料で示された構成・通信条件に関する説明です。

    1. Open Compute Project「2026 OCP APAC Summit」 — 公式イベント・発表資料一覧。
    2. Microsoft・Broadcom「How SONiC Powers the World’s Largest AI Infrastructure」 — Guohan Lu、Mehak Mahajan。pp.4〜11：AI通信、BGP、SRv6、パケットトリミング、HFST。pp.12〜14：設計資料と今後の取り組み。
  • GoogleとBroadcomのSONiC仮想検証、実機が届く前に不具合を探す

    GoogleとBroadcomのSONiC仮想検証、実機が届く前に不具合を探す

    新しいネットワークスイッチを使うには、チップだけでなく、それを動かすソフトウェアも準備する必要があります。ところが実機が届くまで検証を始められないと、不具合の発見も後ろへずれてしまいます。

    この待ち時間を減らすために、GoogleとBroadcomが紹介したのが、Alpine Virtual Switch（AVS）とTH6向けBCMSIMを組み合わせる検証環境です。ネットワークOSのSONiCと、スイッチチップの動作モデルをつなぎ、実機の到着前からソフトウェアの組み合わせを確かめます。講演では、Googleが最初のTH6実機サンプルを受け取る前に、約40件の異なる問題を特定して解決したと報告しています。［1］

    簡単にまとめると？

    • AVSとTH6 BCMSIMをつなぎ、実機が届く前からSONiCとスイッチのソフトウェアを検証します。
    • 動作モデルの細かさと設定を検証目的に合わせ、ソフトウェア間の不整合を早く見つける設計です。
    • 仮想環境での検証は、実機の発熱・電力・信号品質まで再現した証拠ではありません。

    実機の数に、検証の数を縛られないようにする

    講演が挙げる課題は、スイッチが高価で、開発者と自動テストが同じ試験設備を共有しやすいことです。接続できる台数が限られれば、大きなネットワーク構成も試しにくくなります。新しいチップでは、そもそも実機がまだ用意できない段階から、ソフトウェアの開発が進みます。［1］

    AVSは、SONiCのソフトウェア群をコンテナ化し、パケットを転送するデータプレーンの実装を差し替えられる仮想スイッチです。複数のAVSをつなぐ際には、Kubernetes上でネットワークを再現するKNE（Kubernetes Network Emulation）を使う「Aktive」が配置を受け持ちます。1台の動作と、複数台を結んだ構成を、段階を分けて検証できる形です。［1］

    何を再現するかで、モデルを選ぶ

    仮想スイッチといっても、実機のどこまでをソフトウェアで表すかは同じではありません。資料は、AVSに組み合わせる選択肢を三つの層に分けています。［1］

    • VPPは、高速なソフトウェアのパケット処理エンジンです。チップや、その制御用SDKのモデルは持ちません。
    • Luciusは、SAI（Switch Abstraction Interface）の層でスイッチの動作を表します。SAIは、SONiC側からスイッチを制御するための共通インターフェースで、LuciusはSONiCの機能を素早く確かめる用途に位置づけられています。
    • BCMSIMは、チップ内部の制御情報を読み書きするレジスターの動作まで扱うデバイスモデルです。その上で、実機向けのBroadcom SDKとSAIを動かします。

    SDKは、ソフトウェアからチップを扱うためのライブラリーなどをまとめたものです。BCMSIMを使うと、SONiCの機能だけでなく、SAI、SDK、チップの動作モデルへと続く組み合わせを確認できます。検証したい層に応じて、処理の速さや規模と、モデルが扱う詳細さを選ぶ考え方です。資料には、この三方式を同じ条件で測った性能比較は示されていません。［1］

    仮想ポートをつなぎ、実機と設定をそろえる

    今回の構成では、TH6の動作モデルと仮想ネットワークインターフェースの間に「BCMSIM vBridge」を置きます。モデル側と外側で使うメッセージを橋渡しし、パケットの送受信や、リンクが切れて戻る変化をやり取りします。CPU向けのパケットには別の仲介層があり、ポートごとの統計も観測します。［1］

    もう一つ大切なのが、AVSと実機側の設定をそろえることです。資料では、SONiCのconfig_db.jsonやBroadcomのbcmsim-config.ymlを例に挙げています。同じ問題を仮想環境で追いたくても、設定が違えば、動作の違いがどこから来たのか切り分けにくくなります。モデルを用意するだけでなく、再現に必要な条件を合わせるところまでが検証環境の設計です。［1］

    約40件の問題を、最初の実機より前に解決

    講演で報告された約40件は、SAI・SDKとネットワークOSの設定に関する問題です。Googleが最初のTH6実機サンプルを受け取る前に特定・解決した件数であり、チップの物理的な欠陥を40件見つけた、という意味ではありません。［1］

    こうした検証は、コードを取り込む前の自動テストにも組み込めます。資料では、クラウド上で数時間ごと、または重要度に応じて毎晩、AVSとTH6 BCMSIMを使う自動処理を走らせる取り組みを説明しています。変更のたびに実機の順番を待たず、ソフトウェアの不整合を早めに見つける狙いです。［1］

    GoogleのAVS環境をBroadcom側の仮想マシンで立ち上げる試みも、単発の実験として報告されています。同じ環境を共有し続けられれば、問題を説明し直す往復を減らせる可能性があります。ただし、継続運用による短縮効果は、今回の資料では測定結果として示されていません。［1］

    仮想環境で前倒しできる範囲を、はっきりさせる

    BCMSIMは、資料ではASICの「デジタルツイン」と呼ばれています。ここで示されているのは、チップの動作モデルを使い、設計からSDK、SAI、SONiCへと検証をつなぐ仕組みです。実機の発熱、電力、信号品質、実効的な転送性能まで、すべて同じように再現できることを示すものではありません。［1］

    検証のうち、実機を待たずに進められる部分を増やす。実機が届いたら、物理環境でしか確かめられない部分に向き合う。AVSとBCMSIMの組み合わせは、その順序を組み直し、ソフトウェアの問題を早い段階で減らしておくための取り組みです。

    発表に登場する企業を知る

    Broadcomの半導体・基盤ソフト事業と、Googleの親会社Alphabetの事業全体は、cyclewaveの企業解説にまとめています。

    Broadcomの企業解説を読む
    Alphabetの企業解説を読む

    参考資料

    ［1］Google・Broadcom「Accelerate fabric validation with Alpine VS and BCMSIM」。2026 OCP APAC Summitの公開スライド。3–5ページ：検証設備の課題とAVS・Aktive、7–11ページ：モデルの層と接続・設定、12–14ページ：適用例と報告結果。公式一覧では「Accelerate cloud scale validation with AVS and TH6 BCMSIM」として掲載。

    ［2］Open Compute Project「2026 OCP APAC Summit」。開催日・登壇者・公開資料の案内。記事は公開スライドをもとに構成しています。

  • Broadcomが示すAI向けEthernet、計算機を結ぶ距離と役割の違い

    Broadcomが示すAI向けEthernet、計算機を結ぶ距離と役割の違い

    AIの計算機をつなぐネットワークには、違う距離と役割の接続が重なっています。近くのアクセラレーター同士が細かなデータをやり取りする接続と、離れたデータセンターへ通信を運ぶ接続では、同じEthernetを使っていても、考えるべきことが変わります。

    2026年8月のOCP APAC Summitで、BroadcomのMohan Kalkunte氏は、こうしたAI基盤の接続を、スケールアップ、スケールアウト、スケールアクロスの三つに分けて説明しました。発表には、ラック内の通信規約から、多経路でデータを運ぶMRC、拠点間ネットワークまでが登場します。［1・2］

    簡単にまとめると？

    • AI向けEthernetは、計算資源を密に結ぶ接続、ノードを増やす接続、拠点間の接続で設計の役割が変わります。
    • 共通のEthernetを使っても、上位の通信方式まで同じとは限らず、実装と相互検証を確かめる必要があります。
    • 多経路化では届く順序や欠落への対応が、拠点間では距離による遅延や通信の保護が重要になります。

    近くの計算機と結ぶ、たくさんの計算機へ広げる

    この発表でのスケールアップは、アクセラレーター同士を密に結び、まとまった計算資源として使うための接続です。資料の出発点となる図では、ラック内の接続として描かれています。

    スケールアウトは、複数のラックにまたがる計算ノードをつなぎ、AIクラスターを広げる接続です。さらに、別のデータセンターにある計算資源へつなぐ領域を、スケールアクロスとして扱っています。［2］

    ただし、ラックの内か外かだけで、厳密に区切れるわけではありません。資料は光接続の取り組みとしてOCI（Optical Compute Interconnect）も紹介し、スケールアップを複数ラックや複数列へ広げる方向を示しています。物理的な距離に加えて、どのように計算資源を結びたいかを見るための分類です。

    共通のEthernetの上で、何をそろえるか

    スケールアップの説明では、ESUNとSUE-Tが並んで登場します。どちらもEthernetをAI計算向けに使うための取り組みですが、資料の構成図では受け持つ層が違います。［2］

    ESUNは、小さなメッセージを効率よく運び、複数のスイッチを経由する構成にも対応するための、Ethernet側の仕組みを扱います。信頼性の高い通信や、混雑時の制御が、その土台に置かれています。

    SUE-Tは、その上でアクセラレーター間のデータやメモリー操作を運ぶ、トランスポートの役割を担います。図では、共通のEthernetの物理層・データリンク層の上に、SUE-Tとほかのトランスポートが並んでいます。共通の配線やスイッチ基盤を使うことと、上位の通信方式まで同じであることは、分けて考える必要があります。

    運用するためのソフトウェアも関わります。資料は、スイッチOSのSONiCと、スイッチ機能をソフトウェアから扱うSAIについて、仕様、実装、検証を進める項目を紹介しています。オープンな仕様があるだけでなく、実際の機器でどこまで実装され、組み合わせて確かめられているかが重要になります。［2］

    多くの計算ノードへ広げるなら、経路の使い方も変える

    スケールアウトでは、通信量が増えるにつれて、一部の経路へ負荷が偏ることが問題になります。高速なスイッチを入れても、使われていない経路が多ければ、ネットワーク全体の余力を使い切れません。

    そこで紹介されているのが、MRC（Multipath Reliable Connection）です。資料ではRoCEv2を拡張する仕組みとして位置づけられています。RoCEv2は、Ethernet上のIPネットワークを通して、離れた計算機のメモリーへ効率よくデータを転送するRDMAを扱う方式です。［2］

    MRCは、パケット単位で通信を複数の経路へ振り分けます。経路が分かれると、送った順番と届く順番が入れ替わることがあります。そのため資料では、順不同のデータ配置と、届かなかった部分だけを送り直す選択的再送を、経路の制御や混雑の制御と組み合わせています。［2］

    道を増やすだけでなく、順序の違いや欠落を受け止められるようにする。スケールアウトの通信を考えるときには、ポート速度とあわせて、データが届くまでの振る舞いを見る必要があります。

    拠点をまたぐと、距離と保護も設計に入る

    スケールアクロスの領域では、拠点間を結ぶ通信の制御に加え、暗号化による保護も扱われています。資料はJericho4を使う構成を例に、広いネットワークの端から端までを対象とした混雑制御を挙げています。［2］

    拠点間では、通信が物理的な距離を移動する時間も必要です。資料にある大規模構成の説明を、遠くの計算機をラック内と同じ遅延で使える、という意味には読めません。どの処理を近くにまとめ、どの処理を拠点の外へ広げるかは、ワークロードと通信の特性をあわせて考えることになります。

    この発表から見えてくるのは、Ethernetという共通の土台の上にも、役割に応じた設計があることです。近い計算資源を密に結ぶこと、多くの計算ノードへ広げること、拠点間をつなぐこと。それぞれに必要な通信方式と運用の仕組みを確かめると、AIネットワークの構成を整理しやすくなります。

    発表企業の事業を知る

    Broadcomのネットワーク半導体と、そのほかの半導体・ソフトウェア事業については、cyclewaveの企業解説から読めます。

    Broadcomの企業解説を読む

    参考資料

    2026年9月27日確認。仕様や実装の状況は、2026年8月の講演資料に基づきます。

    ［1］Open Compute Project「2026 OCP APAC Summit」発表一覧

    ［2］Mohan Kalkunte／Broadcom「Open Ethernet Fabrics for AI Training and Inference」公式掲載スライド。接続の分類はp.3、ESUN・SUE-T・OCIとソフトウェアはpp.5–7、MRCはpp.11–12、拠点間の構成はp.14。

  • Broadcomの3.5D実装、チップを積み重ねてつなぐ設計と放熱

    Broadcomの3.5D実装、チップを積み重ねてつなぐ設計と放熱

    AI向けのチップは、計算する回路だけでなく、データを出し入れする回路やメモリーとの接続にも、大きな面積を使います。必要な機能を横へ広げていくと、チップやパッケージの大きさが制約になってきます。

    そこで、横に並べる構成へ、上下に重ねる構成を組み合わせる。2026年8月のOCP APAC SummitでBroadcomのHarish Bharadwaj氏が紹介した3.5D Heterogeneous Scale-Inは、そうした立体的な実装の考え方です。計算回路とキャッシュなどを別の半導体ダイに分け、積み重ねたうえで、HBMや入出力用のチップレットとつなぎます。［1・2］

    簡単にまとめると？

    • Broadcomの3.5D実装は、上下に積んだダイと、横に置くHBMや入出力チップレットを組み合わせます。
    • 回路面同士の接合は信号接続を密にできますが、その比率が計算性能の向上率ではありません。
    • 接続密度に加え、放熱、給電、信号の同期、製造時の歩留まりを合わせて設計します。

    横に並べる2.5Dと、上下に重ねる3Dを組み合わせる

    半導体のダイは、ウエハーから切り出した回路の単位です。複数の機能を小さなダイに分け、組み合わせて使うものを、チップレットと呼びます。

    資料の3.5D構成では、計算用のダイを上段へ置き、下段へキャッシュとNoCを配置しています。NoC（Network-on-Chip）は、チップ内の回路同士を結ぶ通信網です。機能ごとに異なる製造プロセスを組み合わせることも、設計に含まれています。［2］

    この積層されたダイ群を、配線を仲介するインターポーザー上で、HBMや入出力用のチップレットと横につなぎます。HBMは高い帯域幅でデータをやり取りする積層メモリーです。計算ダイの下にすべてを重ねるのではなく、上下の接続と、隣り合うダイ間の接続を使い分けています。［2］

    ここでの「3.5D」は、資料がこの組み合わせを表すために用いている呼び方です。数字が大きいほど一律に高性能になる尺度ではありません。どの機能を積み、どの機能を横へ置くかを見ると、構成の意味がつかみやすくなります。

    回路面を向かい合わせると、接続の密度が変わる

    上下のダイをつなぐ方法として、資料はFace-to-BackとFace-to-Faceを比較しています。「Face」は回路のある面、「Back」はその裏面です。前者は回路面と裏面を、後者は二つの回路面を向かい合わせて接合します。［2］

    Face-to-Backの例では、TSV（シリコン貫通電極）を通して信号をつなぎます。資料は、その間隔による接続密度の制約と、電気的な負荷を課題として挙げています。細かな回路同士を上下へ分けても、その間を十分な本数で結べるかが重要になるわけです。

    一方、Face-to-Faceの例では、回路面同士のハイブリッド接合によって、より細かい間隔で信号を結んでいます。資料に示された信号接続密度は、Face-to-Backで約1,500本/mm²、Face-to-Faceで約14,000本/mm²です。これは二つの構成例における接続の密度であり、計算性能が同じ比率で高まるという数字ではありません。［2］

    接続を密にできれば、上下に分けた回路間でデータをやり取りしやすくなります。ただし、Face-to-FaceだからTSVを一切使わない、ということではありません。資料の断面図には、電力供給側などに貫通電極が残っています。

    近づけた回路の熱を、どう逃がすか

    回路を重ねると、データを近い場所でやり取りできる一方、熱の設計も立体的になります。上段と下段のどちらに発熱の大きい回路を置くかによって、温度分布が変わるためです。

    資料は、上下のダイに配置する回路ブロックの組み合わせを変え、熱モデルを使って検討する流れを示しています。設計の早い段階から試作と照合を進め、実際のシリコンでの結果をモデルへ反映していく考え方です。［2］

    電力の届け方も同時に考えます。回路の集積が進んでも、必要な電流を十分に供給できなければ動作は安定しません。資料では、貫通電極や電源配線の配置に加え、電圧降下と、電流密度に伴う信頼性の問題を扱っています。

    冷却を後から付け足すのではなく、回路の配置、電源の経路、熱の逃げ道を一緒に決める。その必要性が、積層の構成から見えてきます。

    二つのダイを、一つの時間軸で動かす

    上下に重ねても、ダイは別々につくられます。製造ばらつき、電圧、温度の違いによって、信号が届くタイミングも変わります。近くに置けば、それだけで同期の問題が解消するわけではありません。

    資料では、ダイ間で信号を同期させる方法や、条件の組み合わせごとのタイミング検証を、設計上の課題に挙げています。さらに、複数のダイと接合工程を組み合わせるため、全体として良品を得られる割合、つまり歩留まりも考慮する必要があります。［2］

    3.5Dの狙いは、限られたパッケージの中で、より多くの回路を効率よくつなぐことです。ただ、それを成立させる条件は、接続密度だけではありません。熱を逃がし、電力を届け、信号のタイミングをそろえ、製造できる構成へ落とし込む。上下に広がった設計では、これらを一緒に見ることが大切になります。

    発表企業の事業を知る

    Broadcomのカスタム半導体やネットワーク半導体を含む、会社全体の事業についてはcyclewaveで紹介しています。

    Broadcomの企業解説を読む

    参考資料

    2026年9月27日確認。接続密度などの数値は講演資料の構成例に基づき、製品全般の性能を表すものではありません。

    ［1］Open Compute Project「2026 OCP APAC Summit」発表一覧

    ［2］Harish Bharadwaj／Broadcom「3.5D Heterogeneous Scale-In」公式掲載スライド。全体構成はp.5、接合方式と接続密度はpp.6–7、実装・タイミング・熱と電源の課題はpp.8–10。

  • MicrosoftとBroadcomが示すMRC、通信を複数経路へ分け不足分だけ再送する

    MicrosoftとBroadcomが示すMRC、通信を複数経路へ分け不足分だけ再送する

    AIの処理を分担する計算機が増えると、通信の一部に混雑が集まるだけで、ほかの計算機も待たされます。回線の速度を上げるだけでなく、空いている経路を使い、届かなかったデータを効率よく送り直すことが重要になります。

    2026年8月のOCP APAC SummitでMicrosoftとBroadcomが説明したMRC（Multipath Reliable Connection）は、パケット単位で通信を複数の経路へ分け、順番が前後した到着と選択的な再送を扱う仕組みです。一本の経路に通信を固定する考え方から、ネットワーク全体の使い方を見直しています。［1・2］

    簡単にまとめると？

    • MRCはパケットを複数の経路へ分け、届く順序の違いを受信側で扱う仕組みです。
    • 不足分だけを再送し、経路選択や混雑の検知と組み合わせてネットワークの余力を使います。
    • 障害試験は特定構成での結果であり、損失の影響がなくなることや、すべてのAI処理の性能を保証しません。

    複数の経路を使うなら、到着順の違いも受け止める

    RDMAは、離れた計算機のメモリーへ効率よくデータを転送するための仕組みです。今回の資料では、従来のRDMA運用での課題として、多経路化、順序が入れ替わったパケットの処理、再送の効率、輻輳制御の調整を挙げています。ここでの比較を、あらゆるRDMA実装が同じ制約を持つという意味には広げられません。［2］

    MRCで使うパケットスプレーは、一つの通信のパケットを複数の経路へ振り分ける方法です。同じ宛先でも通る道が違えば、後から送ったパケットが先に着くことがあります。

    そこで必要になるのが、Out-of-Order Packet Delivery（OOPD）、つまり送信順と異なる順番での到着を扱う機能です。資料の図では、異なる経路を通ったパケットを受信側がメモリー内の対応する位置へ受け入れています。経路を増やすことと、順序の違いを扱うことを組み合わせて初めて、複数の道を使いやすくなります。［2］

    届いたものを全部送り直さず、不足分を再送する

    パケットが欠けたときの処理も重要です。資料は、途中から後ろをまとめて送り直すGo-Back-N型の課題に対し、選択的再送を示しています。［2］

    受信側が、どの範囲を受け取り、どこが欠けたかをSACK（Selective Acknowledgment）とビットマップで知らせ、送信側は必要なパケットを送り直します。資料の例では、先に届いたデータを残し、欠けた番号を埋める流れが描かれています。［2］

    これは、届かなかったデータを無視して処理を進めるという話ではありません。正しくそろえるための信頼性を保ちながら、すでに届いたデータの再送を減らす考え方です。多経路による順序の変化と、実際の欠落を区別して扱うことが、その前提になります。

    経路の選択を、通信の端から考える

    MRCの説明には、SRv6を用いたソースルーティングも登場します。SRv6は、IPv6ネットワーク上でセグメントの指定を使って通信の経路や処理を表す仕組みです。［3］資料では、各スイッチだけで判断する従来の構成と、コントローラーを用いてワークロードに応じた端から端までの経路を扱う構成を対比しています。［2］

    ここで重要なのは、単に経路の本数が多いことではありません。計算の通信パターンに合わせて、どの経路へ負荷を分けるかを考えられることです。複数の独立したネットワーク面を使うマルチプレーン構成も、この説明の一部になっています。

    混雑の手がかりを、データが消える前に返す

    資料のパケットトリミングの例では、混雑した箇所でパケットのペイロードを取り除き、ヘッダーを受信側へ渡します。到着したヘッダーを、混雑に関する手がかりとして使う構成です。［2］

    すべてが消えて何も届かない場合と比べると、どのパケットが混雑の影響を受けたかを知る材料が残ります。MRCの発表では、この仕組みを誤った混雑判断を減らすための要素として位置づけています。具体的な制御条件は実装に依存し、図に描かれたバッファー使用率を、あらゆる機器の共通設定値と読むものではありません。

    障害試験から、何が分かるか

    発表では、Thor Ultraを搭載したPCIe Gen 5サーバーで、リンクを取り外す試験や、ランダムな損失を加える試験が示されました。後者は、16台のサーバー、リーフ・スパイン構成、ib_write_bwによる全対全の通信で、特定のリンク群の損失率を変えています。［2］

    結果の図は、損失が増えるにつれて再送が増え、スループットも低下する様子を示しています。MRCが損失や故障の影響をなくすのではなく、残る経路と再送処理を使って通信を続ける、という読み方が適切です。この試験だけから、あらゆるAIモデルの学習時間や、すべての障害時の性能を決めることはできません。

    MRCの要点は、経路を分ける、順序の違いを扱う、不足分を送り直す、混雑を知るという機能を一緒に考えることです。AIネットワークの余力を使うには、速いリンクを並べるだけでなく、データが届くまでの振る舞いをつないで設計する必要があります。

    発表企業の事業を知る

    MicrosoftとBroadcomの会社全体の事業については、cyclewaveの企業解説から読めます。

    Microsoftの企業解説を読む
    Broadcomの企業解説を読む

    参考資料

    2026年9月27日確認。試験結果は講演資料に記された構成と条件に限ります。

    ［1］Open Compute Project「2026 OCP APAC Summit」発表一覧

    ［2］Microsoft・Broadcom「Enabling AI Networking @ Scale with Multi-path Reliable Connections（MRC）」公式掲載スライド。機能と経路はpp.3–8・16、順不同受信と選択的再送はpp.9–15、パケットトリミングはpp.17–20、障害・損失試験はpp.21–22。

    ［3］IETF RFC 8986「Segment Routing over IPv6（SRv6）Network Programming」。SRv6の概要とセグメントの定義。

  • Broadcomが示すCPO、光をスイッチのそばへ置く理由

    Broadcomが示すCPO、光をスイッチのそばへ置く理由

    AIの計算機を大きくすると、チップを増やすだけでは済みません。離れたチップへデータを渡す線も増え、その線が使う電力や、途中で止まる可能性が効いてきます。光ファイバーは距離を伸ばしやすい一方、光と電気を変換する装置をどこに置くかが設計の分かれ目です。

    OCP APAC Summit 2026でBroadcomのBhaskar Chinni氏が紹介したCPOは、光を電気信号の出発点に近づける方法です。発表はスイッチの実装からラック間の接続へ話を広げています。ここでは、SUE-Tのような通信手順ではなく、光の変換部を置く場所と、そこから生まれる利点・保守上の課題を見ます。［1・2］

    簡単にまとめると？

    • CPOは光へ変換する部分をスイッチの半導体へ近づけ、高速な電気配線を短くする設計です。
    • 省電力や接続の安定性の結果は、評価した部分・構成・環境に限って読む必要があります。
    • 交換可能な光源と光エンジンは別で、接続配置と保守の単位を合わせて考えます。

    光の変換部を、どこへ置くか

    一般的な着脱式の光モジュールでは、スイッチの半導体から出た高速の電気信号が基板を通り、前面のモジュールで光に変わります。CPO（Co-Packaged Optics）では、光に変える小さなエンジンを、スイッチの半導体と同じパッケージの近くに収めます。基板を走る高速の電気信号を短くできるのが狙いです。［2・3］

    発表の図には、光エンジンを基板上に置く方式も並びます。こちらは半導体の近くには置けますが、同じパッケージに収めるCPOとは別の配置です。「光を使う」だけで一括りにせず、電気で進む区間がどれほど残るかを比べると、設計の違いが見えてきます。

    省電力の数字は、どこを比べている？

    Broadcomの資料は、同社CPO構成の光学部分の電力が、信号を整える回路を持つ着脱式モジュールとの比較で65%少ないという結果を示します。これは特定の比較条件における光学部分の値です。スイッチ全体やデータセンター全体の消費電力が65%減る、という意味ではありません。［2・4］

    変換部を近づけると、長い電気配線を補う回路を減らせる余地があります。ただし、実際の電力は光源、冷却、接続距離、採用する信号方式にも左右されます。比較表を読むなら、モジュールだけの値なのか、スイッチや冷却を含む値なのか、境界を先に確かめたいところです。

    止まりにくさにも、測った範囲がある

    資料はMetaの評価を引き、400Gbps相当ポートの稼働時間を合計した100万ポート時間で、短い接続断であるリンクフラップを観測しなかったと示します。複数のポートの時間を積み上げた数値であり、一本の接続が100万時間動き続けたという意味ではありません。測定対象もBroadcomの特定世代・環境です。すべてのCPO製品で同じ故障率を保証するデータではありません。［2・4］

    この違いは保守でも重要です。前面の光モジュールなら、故障した単位を抜いて交換できます。CPOでは光エンジンが半導体のパッケージに近いため、交換の単位が大きくなりやすい。Broadcomは外付けで交換可能な光源や、ラック側のブラインドメイト接続も示しますが、光源を交換できることと、光エンジンそのものを現場で交換できることは別です。

    ラックの外まで光を伸ばすとき

    発表後半は、銅線で届く範囲に計算機を集める構成から、光で複数のラックをつなぐ構成へ進みます。OCI-MSAの公開仕様には、NRZ信号を複数の波長に分け、一つのファイバーで双方向に運ぶ物理層が記されています。これは接続の土台をそろえる試みです。仕様書があることだけで、異なるメーカーの完成品すべてが接続できると確認されたわけではありません。［2・5］

    Broadcomが描くラック例には、光ファイバーの分岐、電源のバスバー、液冷の出入口、着脱時に位置を合わせてつなぐ光コネクターが同居します。光へ置き換えて終わりではなく、電気、熱、交換作業まで含めてラックを組み直す発想です。図は設計例として読み、掲載された規模を稼働中の導入実績とは扱いません。

    CPOが問いかけるのは、光が銅より常に優れているか、という単純な比較ではありません。速い電気信号をどこまで運び、どこで光に変え、故障したときに何を交換するか。距離と電力、保守の境界を一緒に決めることが、次のAIネットワークの設計につながります。

    Broadcomの事業全体と収益のしくみは、cyclewaveの企業記事で整理しています。

    Broadcomの事業をcyclewaveで読む

    参考資料

    2026年9月23日確認。本文は公開スライドと各団体の一次資料をもとにしています。講演動画の発言・質疑は確認対象に含めていません。性能値は記載された構成・測定範囲に限ります。

    ［1］Open Compute Project：2026 OCP APAC Summit 発表一覧。発表名・登壇者。

    ［2］Bhaskar Chinni「Open Ethernet AI Fabrics Enabled by Co-Packaged Optics」公式掲載スライド。pp.3–12、配置、省電力・評価値、OCI-MSA、ラック構成例。

    ［3］Broadcom：Co-Packaged Optics。着脱式、基板上、同一パッケージの配置と電気信号区間の説明。

    ［4］Broadcom：MetaでのCPO評価に関する発表。2025年10月1日。光学電力の比較と100万ポート時間の観測範囲。

    ［5］OCI-MSA：200G Optical Compute Interconnect Line Interface Specification v1.0。2026年3月11日。NRZ、波長分割、双方向ファイバーの物理層。

  • Broadcomが解説するSUE-TとESUN、AIチップと通信網の役割分担

    Broadcomが解説するSUE-TとESUN、AIチップと通信網の役割分担

    AIチップ同士をEthernetでつなぐ、と聞くと、スイッチやケーブルを思い浮かべるかもしれません。でも、電気信号が届くだけでは、相手のチップがどのデータを読もうとしたのかまでは伝わりません。近くにあるチップ同士でも、通信には「運ぶ」仕事と「意味をそろえる」仕事があります。

    OCP Korea Tech Day 2026でBroadcomのChintan Shah氏が示した図には、「ESUN」と「SUE-T」という二つの名前が並びます。ESUNはEthernet側の運び方、SUE-Tは主にチップの端で操作を扱う方法。まずそう捉えると、図を読みやすくなります。ただし両者の境界は、きれいな一枚の線では切れません。［1・2］

    簡単にまとめると？

    • ESUNは、低遅延でパケットを運ぶEthernet側の仕組みを扱います。
    • SUE-Tは、チップの読み書きなどの操作を通信へ写し、順序や再送を扱う端点側の要件を検討しています。
    • 両者はネットワークヘッダーで役割が重なり、同じ完成段階の一つの仕様として扱うことはできません。

    ESUNは、隣へパケットを届ける側

    発表資料でESUNが扱うのは、低遅延でパケットを届けるためのEthernet側の工夫です。短くしたヘッダー、リンク単位の再送（LLR）、混雑時に送信量を調整する仕組みなどが挙げられています。流量制御の例は、IEEEのPFCか、クレジットを使う方式です。二つを必ず同時に使う、という説明ではありません。［2］

    資料の構成例は、一つのスイッチを通り、複数の経路を並べて帯域を確保します。この場合、リンクで問題が起きたときの再送を、その近くで扱えます。一方、発表者は、より大きな領域へは複数ホップのEthernetも使えるとしています。ESUNを「単ホップしか認めない仕組み」と読むのは正確ではありません。［2］

    ESUN側では、ネットワーク運用者向けの基礎要件をまとめた1.0仕様が2026年3月に公開されています。そこで扱うネットワークの要件と、チップ内部を含む端点の設計を、同じ完成段階の一つの仕様と考えないことも大切です。［5］

    SUE-Tは、チップの操作を通信へ結びつける側

    チップが「このデータを読む」「ここへ書く」といった操作を出すと、それをEthernetのパケットへ写し、受け取った側で元の操作につなぎ直す必要があります。操作を小さな単位で送るか、いくつかまとめるか。届く順番をどう守るか。失敗したときにどこで再送するか。こうした端点側の要件を検討しているのが、OCPのSUE-Tワークストリームです。対象には計算チップだけでなく、ネットワークカードも含まれます。［2・3］

    すべてのチップが同じ内部構造を持つ必要はありません。資料は、データを押し出すか取りに行くか、操作をどう詰めるか、どの単位で順番を保証するか、といった選択をチップ開発者に残す考え方を示します。同一のラックに同種のチップを置く想定では、異なるメーカーのチップ同士を直接相互運用させることを必須条件にしていません。開かれた通信の検討と、チップ内部の設計自由度を両立させようとしているわけです。［2］

    二つの境目は、共同で設計する

    スライドの図をよく見ると、SUE-Tの赤い点線とESUNの青い点線は、ネットワークヘッダーのところで重なっています。端点が付ける情報と、Ethernet側が運ぶ情報の合わせ目だからです。ESUNが下、SUE-Tが上とだけ覚えると、この接点を見落とします。どんな情報をパケットへ載せ、スイッチや相手の端点がどう扱うかは、一続きの設計です。［2］

    同社のAPAC発表でも、SUE-Tが検討する操作の詰め方や順番が説明されました。今回のKorea資料はその技術説明をほぼ共有しており、新しい性能値を別に示した資料ではありません。この回では、運ぶ網と操作を扱う端点が、どこで手をつなぐかに目を向けました。スイッチの速度を比べるときも、端点の処理とリンク側の再送・混雑制御を同時に見ると、構成の違いを捉えやすくなります。［2・4］

    この資料を発表したBroadcomの事業全体は、cyclewaveの企業記事にまとめています。

    Broadcomの企業分析をcyclewaveで読む

    参考資料

    2026年9月23日確認。Korea発表はAPACのBroadcom発表と図・説明を多く共有します。本文は公開スライドとOCPワークストリームの説明に基づき、性能の実測値や全製品共通の実装を示すものではありません。

    ［1］Open Compute Project：2026 OCP Korea Tech Day 発表一覧。Broadcomの「Scale-Up Ethernet Transport (SUE-T) and ESUN」を掲載。

    ［2］Chintan Shah（Broadcom）：Scale-Up Ethernet Transport (SUE-T) and ESUN 発表スライド。全25ページ。主に12〜22ページを参照。

    ［3］Open Compute Project：Networking / SUE-T ワークストリーム。端点側の検討範囲と作業状況。

    ［4］Bhaskar Chinni / Mehak Mahajan（Broadcom）：OCP APAC 2026 の SUE-T 発表スライド。Korea発表との内容比較に使用。

    ［5］Open Compute Project：ESUN 1.0仕様の公開。2026年3月10日、ネットワーク運用者向け基礎要件の発表。

  • Broadcomが示すSUE-T、AIチップの読み書きをEthernetで運ぶ要件

    Broadcomが示すSUE-T、AIチップの読み書きをEthernetで運ぶ要件

    AIの計算を複数のチップに分けると、それぞれのチップが持つデータを、ほかのチップへ素早く渡す必要があります。この近い距離のやり取りを担うのが、スケールアップの通信です。データセンター全体を結ぶネットワークとは、求めるものが少し違います。

    OCP APAC Summit 2026でBroadcomのBhaskar Chinni氏とMehak Mahajan氏が紹介した「SUE-T」は、Ethernetを使うスケールアップ網で、チップやネットワークカードの端に何を持たせるかを検討する取り組みです。新しいケーブルの名前ではありません。チップから出るメモリーの読み書きをどう運び、届いたデータをどう正しく扱うか。そこに焦点があります。［1・2］

    簡単にまとめると？

    • SUE-Tは、近距離のAIチップ間通信をEthernetで運ぶための端点側の要件を検討します。
    • 複数の操作をパケットにまとめる際は、ヘッダーの負担と送信までの待ち時間を調整します。
    • 紹介されたSUE-Tは要件検討中の取り組みで、全AIサーバーの相互運用を保証するものではありません。

    同じAIクラスタにも、距離の違う通信がある

    発表資料は、計算チップ（xPU）が近くでつながる「スケールアップ」、データセンター内のノードをつなぐ「スケールアウト」、建物やキャンパスをまたぐ「スケールアクロス」を描き分けています。SUE-Tが主に見ているのは、チップ同士がメモリーのデータをやり取りする、最も近い領域です。［2］

    資料には、チップ100万個のキャンパスならスケールアップ側だけで14.4Eb/s、といった試算も出てきます。ただし、これは通信量の桁をつかむための仮定を積み重ねた計算です。実際にその規模の施設で測った速度ではありません。数字そのものより、チップ間の通信が、離れたノード間の通信に比べて非常に大きくなりうるという設計上の問題に注目したいところです。［2］

    メモリーの操作を、そのまま線に流せるわけではない

    計算チップは、別のチップにあるデータを読みたい、書きたいという操作をします。Ethernetを使うなら、その操作の意味を保ちながら、送れる単位であるパケットに収めなければなりません。さらに受け取る側では、届いたものを元の操作として解釈する必要があります。

    通常のネットワークで使うRDMAやTCPには、離れた相手とも通信できるための仕組みがあります。一方、発表者は、同一のスケールアップ領域には近い距離・限られた参加者という条件があり、既存方式をそのまま持ち込むと、チップ内の面積や電力を余分に使う可能性があると説明します。既存方式が「使えない」という話ではなく、近い距離の通信に何を残し、何を軽くできるかという問いです。［2］

    小さなやり取りを、どう詰めて送るか

    端点側の仕事として、資料は「transaction packing」を例に挙げています。チップから出る複数の操作を、宛先ごとのキューに並べ、Ethernetで送るパケットに収める考え方です。一つずつ送れば扱いやすい反面、パケットごとのヘッダーが増えます。まとめすぎれば、送るまで待つ時間が生じます。資料の図は、この両方を見ながら、送れるものからパケットを作るスケジューラーを示しています。［2］

    ただし、どの操作でもまとめればよいわけではありません。発表資料は、想定する操作の大きさや上位の方式に応じて、この機能を使い分ける設計を提案しています。どれだけ速くなるかという実測結果は、このスライドには示されていません。

    速さだけでなく、順番と確かさも

    近くにあるチップ同士なら、通信の順番や再送の方法を、その範囲に合わせて設計できます。資料では、リンク単位の再送や流量制御を持つEthernetの仕組みを「ESUN」と呼び、その上でチップ側が、操作の順番、信頼性、詰め方などを扱う構成を描いています。SUE-Tは、そのチップ側・ネットワークカード側の要件をOCPのワークストリームで検討するものです。［2・3］

    ここが大切です。SUE-Tは、2026年9月時点でも端点の要件を検討している取り組みです。前身となるSUEの仕様書は公開されていますが、その名前だけで、すべてのAIサーバーに同じ機能や相互運用が備わるわけではありません。設計を比べるときは、チップが出す操作をどうパケットへ変え、届いた操作の順番と再送をどう扱うかまで見ると、単なるポート速度以上の違いが見えてきます。［3］

    発表したBroadcomの事業全体や収益のしくみは、cyclewaveの企業記事で整理しています。

    Broadcomの企業分析をcyclewaveで読む

    参考資料

    2026年9月23日確認。本文は公開スライドとOCPワークストリームの説明に基づきます。講演動画の発言と質疑は確認対象に含めていません。資料中の大規模ネットワークの値は概算モデルです。

    ［1］Open Compute Project：2026 OCP APAC Summit 発表一覧。Broadcomの「Scale-Up Ethernet Transport (SUE-T)」を掲載。

    ［2］Bhaskar Chinni / Mehak Mahajan（Broadcom）：Scale-Up Ethernet Transport (SUE-T) 発表スライド。全26ページ。主に12〜23ページを参照。

    ［3］Open Compute Project：Networking / SUE-T ワークストリーム。端点側の検討範囲と作業状況。