タグ: MRC

  • Broadcomが示すAI向けEthernet、計算機を結ぶ距離と役割の違い

    Broadcomが示すAI向けEthernet、計算機を結ぶ距離と役割の違い

    AIの計算機をつなぐネットワークには、違う距離と役割の接続が重なっています。近くのアクセラレーター同士が細かなデータをやり取りする接続と、離れたデータセンターへ通信を運ぶ接続では、同じEthernetを使っていても、考えるべきことが変わります。

    2026年8月のOCP APAC Summitで、BroadcomのMohan Kalkunte氏は、こうしたAI基盤の接続を、スケールアップ、スケールアウト、スケールアクロスの三つに分けて説明しました。発表には、ラック内の通信規約から、多経路でデータを運ぶMRC、拠点間ネットワークまでが登場します。[1・2]

    簡単にまとめると?

    • AI向けEthernetは、計算資源を密に結ぶ接続、ノードを増やす接続、拠点間の接続で設計の役割が変わります。
    • 共通のEthernetを使っても、上位の通信方式まで同じとは限らず、実装と相互検証を確かめる必要があります。
    • 多経路化では届く順序や欠落への対応が、拠点間では距離による遅延や通信の保護が重要になります。

    近くの計算機と結ぶ、たくさんの計算機へ広げる

    この発表でのスケールアップは、アクセラレーター同士を密に結び、まとまった計算資源として使うための接続です。資料の出発点となる図では、ラック内の接続として描かれています。

    スケールアウトは、複数のラックにまたがる計算ノードをつなぎ、AIクラスターを広げる接続です。さらに、別のデータセンターにある計算資源へつなぐ領域を、スケールアクロスとして扱っています。[2]

    ただし、ラックの内か外かだけで、厳密に区切れるわけではありません。資料は光接続の取り組みとしてOCI(Optical Compute Interconnect)も紹介し、スケールアップを複数ラックや複数列へ広げる方向を示しています。物理的な距離に加えて、どのように計算資源を結びたいかを見るための分類です。

    共通のEthernetの上で、何をそろえるか

    スケールアップの説明では、ESUNとSUE-Tが並んで登場します。どちらもEthernetをAI計算向けに使うための取り組みですが、資料の構成図では受け持つ層が違います。[2]

    ESUNは、小さなメッセージを効率よく運び、複数のスイッチを経由する構成にも対応するための、Ethernet側の仕組みを扱います。信頼性の高い通信や、混雑時の制御が、その土台に置かれています。

    SUE-Tは、その上でアクセラレーター間のデータやメモリー操作を運ぶ、トランスポートの役割を担います。図では、共通のEthernetの物理層・データリンク層の上に、SUE-Tとほかのトランスポートが並んでいます。共通の配線やスイッチ基盤を使うことと、上位の通信方式まで同じであることは、分けて考える必要があります。

    運用するためのソフトウェアも関わります。資料は、スイッチOSのSONiCと、スイッチ機能をソフトウェアから扱うSAIについて、仕様、実装、検証を進める項目を紹介しています。オープンな仕様があるだけでなく、実際の機器でどこまで実装され、組み合わせて確かめられているかが重要になります。[2]

    多くの計算ノードへ広げるなら、経路の使い方も変える

    スケールアウトでは、通信量が増えるにつれて、一部の経路へ負荷が偏ることが問題になります。高速なスイッチを入れても、使われていない経路が多ければ、ネットワーク全体の余力を使い切れません。

    そこで紹介されているのが、MRC(Multipath Reliable Connection)です。資料ではRoCEv2を拡張する仕組みとして位置づけられています。RoCEv2は、Ethernet上のIPネットワークを通して、離れた計算機のメモリーへ効率よくデータを転送するRDMAを扱う方式です。[2]

    MRCは、パケット単位で通信を複数の経路へ振り分けます。経路が分かれると、送った順番と届く順番が入れ替わることがあります。そのため資料では、順不同のデータ配置と、届かなかった部分だけを送り直す選択的再送を、経路の制御や混雑の制御と組み合わせています。[2]

    道を増やすだけでなく、順序の違いや欠落を受け止められるようにする。スケールアウトの通信を考えるときには、ポート速度とあわせて、データが届くまでの振る舞いを見る必要があります。

    拠点をまたぐと、距離と保護も設計に入る

    スケールアクロスの領域では、拠点間を結ぶ通信の制御に加え、暗号化による保護も扱われています。資料はJericho4を使う構成を例に、広いネットワークの端から端までを対象とした混雑制御を挙げています。[2]

    拠点間では、通信が物理的な距離を移動する時間も必要です。資料にある大規模構成の説明を、遠くの計算機をラック内と同じ遅延で使える、という意味には読めません。どの処理を近くにまとめ、どの処理を拠点の外へ広げるかは、ワークロードと通信の特性をあわせて考えることになります。

    この発表から見えてくるのは、Ethernetという共通の土台の上にも、役割に応じた設計があることです。近い計算資源を密に結ぶこと、多くの計算ノードへ広げること、拠点間をつなぐこと。それぞれに必要な通信方式と運用の仕組みを確かめると、AIネットワークの構成を整理しやすくなります。

    発表企業の事業を知る

    Broadcomのネットワーク半導体と、そのほかの半導体・ソフトウェア事業については、cyclewaveの企業解説から読めます。

    参考資料

    2026年9月27日確認。仕様や実装の状況は、2026年8月の講演資料に基づきます。

    [1]Open Compute Project「2026 OCP APAC Summit」発表一覧

    [2]Mohan Kalkunte/Broadcom「Open Ethernet Fabrics for AI Training and Inference」公式掲載スライド。接続の分類はp.3、ESUN・SUE-T・OCIとソフトウェアはpp.5–7、MRCはpp.11–12、拠点間の構成はp.14。

  • MicrosoftとBroadcomが示すMRC、通信を複数経路へ分け不足分だけ再送する

    MicrosoftとBroadcomが示すMRC、通信を複数経路へ分け不足分だけ再送する

    AIの処理を分担する計算機が増えると、通信の一部に混雑が集まるだけで、ほかの計算機も待たされます。回線の速度を上げるだけでなく、空いている経路を使い、届かなかったデータを効率よく送り直すことが重要になります。

    2026年8月のOCP APAC SummitでMicrosoftとBroadcomが説明したMRC(Multipath Reliable Connection)は、パケット単位で通信を複数の経路へ分け、順番が前後した到着と選択的な再送を扱う仕組みです。一本の経路に通信を固定する考え方から、ネットワーク全体の使い方を見直しています。[1・2]

    簡単にまとめると?

    • MRCはパケットを複数の経路へ分け、届く順序の違いを受信側で扱う仕組みです。
    • 不足分だけを再送し、経路選択や混雑の検知と組み合わせてネットワークの余力を使います。
    • 障害試験は特定構成での結果であり、損失の影響がなくなることや、すべてのAI処理の性能を保証しません。

    複数の経路を使うなら、到着順の違いも受け止める

    RDMAは、離れた計算機のメモリーへ効率よくデータを転送するための仕組みです。今回の資料では、従来のRDMA運用での課題として、多経路化、順序が入れ替わったパケットの処理、再送の効率、輻輳制御の調整を挙げています。ここでの比較を、あらゆるRDMA実装が同じ制約を持つという意味には広げられません。[2]

    MRCで使うパケットスプレーは、一つの通信のパケットを複数の経路へ振り分ける方法です。同じ宛先でも通る道が違えば、後から送ったパケットが先に着くことがあります。

    そこで必要になるのが、Out-of-Order Packet Delivery(OOPD)、つまり送信順と異なる順番での到着を扱う機能です。資料の図では、異なる経路を通ったパケットを受信側がメモリー内の対応する位置へ受け入れています。経路を増やすことと、順序の違いを扱うことを組み合わせて初めて、複数の道を使いやすくなります。[2]

    届いたものを全部送り直さず、不足分を再送する

    パケットが欠けたときの処理も重要です。資料は、途中から後ろをまとめて送り直すGo-Back-N型の課題に対し、選択的再送を示しています。[2]

    受信側が、どの範囲を受け取り、どこが欠けたかをSACK(Selective Acknowledgment)とビットマップで知らせ、送信側は必要なパケットを送り直します。資料の例では、先に届いたデータを残し、欠けた番号を埋める流れが描かれています。[2]

    これは、届かなかったデータを無視して処理を進めるという話ではありません。正しくそろえるための信頼性を保ちながら、すでに届いたデータの再送を減らす考え方です。多経路による順序の変化と、実際の欠落を区別して扱うことが、その前提になります。

    経路の選択を、通信の端から考える

    MRCの説明には、SRv6を用いたソースルーティングも登場します。SRv6は、IPv6ネットワーク上でセグメントの指定を使って通信の経路や処理を表す仕組みです。[3]資料では、各スイッチだけで判断する従来の構成と、コントローラーを用いてワークロードに応じた端から端までの経路を扱う構成を対比しています。[2]

    ここで重要なのは、単に経路の本数が多いことではありません。計算の通信パターンに合わせて、どの経路へ負荷を分けるかを考えられることです。複数の独立したネットワーク面を使うマルチプレーン構成も、この説明の一部になっています。

    混雑の手がかりを、データが消える前に返す

    資料のパケットトリミングの例では、混雑した箇所でパケットのペイロードを取り除き、ヘッダーを受信側へ渡します。到着したヘッダーを、混雑に関する手がかりとして使う構成です。[2]

    すべてが消えて何も届かない場合と比べると、どのパケットが混雑の影響を受けたかを知る材料が残ります。MRCの発表では、この仕組みを誤った混雑判断を減らすための要素として位置づけています。具体的な制御条件は実装に依存し、図に描かれたバッファー使用率を、あらゆる機器の共通設定値と読むものではありません。

    障害試験から、何が分かるか

    発表では、Thor Ultraを搭載したPCIe Gen 5サーバーで、リンクを取り外す試験や、ランダムな損失を加える試験が示されました。後者は、16台のサーバー、リーフ・スパイン構成、ib_write_bwによる全対全の通信で、特定のリンク群の損失率を変えています。[2]

    結果の図は、損失が増えるにつれて再送が増え、スループットも低下する様子を示しています。MRCが損失や故障の影響をなくすのではなく、残る経路と再送処理を使って通信を続ける、という読み方が適切です。この試験だけから、あらゆるAIモデルの学習時間や、すべての障害時の性能を決めることはできません。

    MRCの要点は、経路を分ける、順序の違いを扱う、不足分を送り直す、混雑を知るという機能を一緒に考えることです。AIネットワークの余力を使うには、速いリンクを並べるだけでなく、データが届くまでの振る舞いをつないで設計する必要があります。

    発表企業の事業を知る

    MicrosoftとBroadcomの会社全体の事業については、cyclewaveの企業解説から読めます。

    参考資料

    2026年9月27日確認。試験結果は講演資料に記された構成と条件に限ります。

    [1]Open Compute Project「2026 OCP APAC Summit」発表一覧

    [2]Microsoft・Broadcom「Enabling AI Networking @ Scale with Multi-path Reliable Connections(MRC)」公式掲載スライド。機能と経路はpp.3–8・16、順不同受信と選択的再送はpp.9–15、パケットトリミングはpp.17–20、障害・損失試験はpp.21–22。

    [3]IETF RFC 8986「Segment Routing over IPv6(SRv6)Network Programming」。SRv6の概要とセグメントの定義。