タグ: 液体冷却

  • Metaらの液冷コネクターBMQC試験、互換性と流量差の条件

    Metaらの液冷コネクターBMQC試験、互換性と流量差の条件

    液冷用のコネクターを複数のメーカーから調達できれば、機器やラックの設計で選べる部品が増えます。ただし、形が合うだけで相互運用できるとは限りません。接続時の力、流れやすさ、液漏れ、繰り返し接続した後の状態まで、組み合わせて確かめる必要があります。

    ORv3向けBMQC(Blind Mate Quick Connector)について、2024年のOCP Global SummitではMeta、SafeWay、Parkerの登壇者が、弁の試験とラック全体の流量試験を報告しました。この記事では「どこまで試験で確かめられ、手元の設計へ何をそのまま移せないのか」を読み解きます。接続構造とホース設計はBMQCの仕組みを扱う記事を参照してください。[1][4]

    簡単にまとめると?

    • 相互運用性は、異なる供給元のプラグとソケットを組み合わせ、流量・接続力・漏れなどの条件を確かめる課題です。
    • 12台のシャーシを載せたラックで報告された流量差は8〜9%で、最大値と最小値の差を平均値で割った指標です。
    • 最大流量9 L/min、作動圧力50 PSIG、温度条件は別々の仕様であり、全構成で同じ流量や冷却能力を保証する数字ではありません。

    相互運用試験は「つながるか」の先まで見る

    BMQCは、ラックのマニホールドにあるソケットと、機器の背面にあるプラグを接続します。供給元を混ぜて使うには、両者が接続できることに加え、接続した状態での性能が要件に収まる必要があります。

    2024年6月のBMQC仕様書は、同じ供給元同士と異なる供給元同士の試験を定め、対象となる承認済み供給元との相互運用試験を要求しています。圧力損失試験では、各組み合わせを少なくとも3サンプルで調べる要件があり、流す向きもプラグからソケット、ソケットからプラグの両方を確認します。したがって、ある一組が接続できたという観察だけでは、相互運用性の確認を代替できません。[2, pp.54・58–59]

    発表スライドは弁とラックの試験が合格したと報告していますが、これは開発チームによる当時の試験報告です。新しい供給元や異なる部品を追加すれば、組み合わせの試験範囲も広げる必要があります。仕様書に試験要件があることと、市場の全製品がその試験に合格していることは区別して読みます。[1, pp.9・15][2, pp.58–59]

    弁の圧力損失と、ラック内の流量差は別の指標

    弁を通るときには圧力が下がります。この圧力損失は、決めた流量を流すためにポンプ側が受け持つ負荷の一部です。発表では、流量と接続距離を変えて弁の性能を評価し、目標を満たしたと報告しています。仕様書は流量ごとの圧力損失の上下限を定め、試験液には40℃のDowfrost LC25(25%プロピレングリコール水溶液)を指定しています。[1, p.10][2, pp.53–54]

    BMQCの流量を横軸L/min、圧力損失を縦軸psiで示した原図。Avg、Upper、Lowerの3曲線と数値表があり、流量が増すほど圧力損失が大きくなる。
    図1:発表で示されたBMQCの流量と圧力損失の関係。Glenn Charest、Nick Goenner、Timothy Marquis「OCP ORv3 Blind Mate Liquid Cooling (BMQC) Interfaces Updates」、OCP Global Summit 2024、p.10のグラフを抜粋。出典[1]

    図1の横軸は流量、縦軸は圧力損失です。流量を増やすほど圧力損失が大きくなること、上下限とともに読む必要があることが分かります。この図を「冷却能力が±10%以内」や「ラック内のどの機器にも同じ流量が流れる」という保証へ置き換えることはできません。

    発表はさらに、コールドプレート側の回路が弁よりも大きな圧力損失を担う設計なら、弁の小さな性能差を回路全体で受け止めやすいと説明しています。弁だけを低抵抗化すればラックの流量分配まで決まる、という話ではなく、各機器の冷却回路を含めた抵抗の配分が関係します。[1, p.10]

    12シャーシで8〜9%だった結果をどう使うか

    ラック全体の試験では、BMQC一組あたり最大9 L/minを目指し、供給元の混在、シャーシ構成、ラック配管の上部接続と下部接続が、流量のばらつきへ与える影響を調べています。発表スライドの指標は、(最大流量 − 最小流量)÷ 平均流量です。12台のシャーシを載せた構成では8〜9%となり、発表者はラック段階の目標内だったとしています。[1, p.14]

    これは、各流量が平均からそれぞれ±8〜9%ずれた、という意味ではありません。たとえば、平均流量を仮に8 L/min、上の指標を9%とすると、最大値と最小値の差は0.72 L/minになります。この数値例は指標の読み方を示す計算で、試験で測定された流量そのものではありません。

    同じスライドでは、シャーシ数を減らすとばらつきがやや小さく、上部・下部の配管接続では近い流量差だったと報告しています。ただし、異なるマニホールド、ホース長、機器内の冷却回路でも同じ値になるとはいえません。採用時には、自分のラック構成で必要な流量が各機器へ届くかを確かめるための比較材料になります。[1, p.14]

    9 L/min・50 PSIG・温度条件を混ぜない

    性能表の数字は、それぞれ異なる条件を示しています。発表の要約表と仕様書を対応させると、次のように整理できます。[1, pp.11–12][2, pp.53・59–60]

    項目資料に記載された値読み方
    最大流量9 L/minBMQCの仕様上の値。ラック全体の流量でも、機器の冷却能力でもない
    最大作動圧力50 PSIG(約3.45 bar)大気圧を基準とした圧力。圧力損失の値とは区別する
    静水圧試験150 PSIG仕様書ではこの圧力まで加える試験条件。常用圧力や破裂圧力ではない
    弁の動作温度−5〜60℃、液あり(PG25)発表の弁の要約表が示す条件
    弁の非動作温度−40〜70℃、液なし運転時の温度範囲として使わない

    150 PSIGについては、発表スライドの表に「Burst」という表記がありますが、仕様書の試験11.1-4・11.1-5はその圧力まで加える静水圧試験であり、破裂まで試験するものではないと明記しています。設計上の意味は、試験手順まで確認して読む必要があります。また、ASTM B117の記載は塩水噴霧試験の参照であり、それだけで任意の塩害環境に対する寿命を保証するものではありません。[2, pp.60・66]

    温度も部品ごとに確認します。マニホールド仕様の2024年4月版は、動作条件を5〜60℃、非動作条件を−40〜70℃・液なしとしています。弁の温度表をそのままラック全体の動作保証へ広げることはできません。[3, p.30]

    今回の報告から得られるのは、相互運用を目指した試験の枠組みと、特定のラック構成で得られた流量分配の結果です。部品の型式、組み合わせ、配管、試験液、温度、接続距離をそろえて比較すると、数値が自分の設計にどこまで使えるかを判断しやすくなります。

    発表企業の事業全体については、cyclewaveのMetaの企業解説も参照できます。

    参考資料

    1. Glenn Charest、Nick Goenner、Timothy Marquis「OCP ORv3 Blind Mate Liquid Cooling (BMQC) Interfaces Updates」、OCP Global Summit 2024。発表スライド/元発表動画。
    2. Open Compute Project「Open Rack V3 Blind Mate Quick Connector Specification (BMQC)」、Revision 1.0、2024年6月4日。仕様書。
    3. Open Compute Project「Open Rack V3 Blind Mate Manifold Specification」、2024年4月5日版。仕様書。
    4. Open Compute Project「2024 OCP Global Summit」、Rack & Powerセッション一覧。公式プログラム。
  • Metaらが示すBMQC、液冷接続の位置ずれを吸収する仕組み

    Metaらが示すBMQC、液冷接続の位置ずれを吸収する仕組み

    液冷サーバーを交換するとき、ラックの奥で冷却液のホースを一本ずつ外す作業を減らせたら、保守の手順は変わります。ORv3向けのBMQC(Blind Mate Quick Connector)は、サーバーの筐体を差し込む動きに合わせて、背面の液体接続部をかみ合わせるためのコネクターです。ただし、部品同士が近づけば必ず接続できるわけではありません。筐体やラックの寸法差、荷重によるたわみ、内部ホースから受ける力まで含めた設計が必要です。[1][2]

    2024年のOCP Global Summitでは、Meta、SafeWay、Parkerの登壇者が、BMQCと周辺のラック・配管設計を紹介しました。ここでは、そのうち「位置ずれをどう吸収し、筐体側では何を妨げないようにするのか」を整理します。試験結果の読み方はBMQCの相互運用試験の記事で扱います。[1][5]

    簡単にまとめると?

    • BMQCは筐体側のプラグとマニホールド側のソケットを接続し、ラックの液冷キットや筐体設計と組み合わせて使います。
    • プラグ内部の可動部分が位置と角度を合わせますが、ホースが硬すぎたり取り回しが不適切だったりすると、その動きを妨げます。
    • 接続部の寸法だけでなく、挿入力を受け止める構造、配管の余裕、交換時の作業空間を一緒に確かめることが重要です。

    接続部とラック全体の役割を分けて見る

    マニホールドは、ラック内の複数の機器へ冷却液を分配・回収する配管部です。BMQCのソケットはマニホールド、プラグはIT機器の筐体背面に取り付けます。筐体をラックへ挿入すると両者が向かい合い、接続位置へ進みます。手元でホースを差す接続と違い、奥の接続部を見ながら一組ずつ位置合わせすることを前提にしない構造です。[1, pp.4–5][2, p.11]

    BMQCという名称が指すのは、このブラインドメイト式クイックコネクターです。一方、液冷ラックとして成立させるには、マニホールド、筐体、ラックフレームと液冷キットの仕様も必要になります。コネクターの仕様だけを満たして、周囲の寸法や剛性を省略できるわけではありません。

    構成要素受け持つ役割設計でつなげて考える点
    BMQCのプラグとソケット筐体とマニホールドの液体接続位置ずれ、接続距離、接続時の力
    マニホールド各機器への冷却液の分配・回収接続口の位置と、圧力や弁の力を受ける剛性
    液冷キットとラックマニホールドの固定・位置決めと構造補強接続部へ影響するラックのたわみ
    筐体内部のホースBMQCと機器内の冷却回路をつなぐプラグの可動範囲を妨げない柔らかさと配置

    上表は資料[1]〜[4]の役割分担を整理したものです。2024年4月版のマニホールド仕様では、液冷キットを追加したORv3を対象とし、その部品はORv1・ORv2への後方互換を持たないとしています。したがって、既設ラックなら何にでも同じキットを付けられる、という意味ではありません。[4, pp.8–10]

    自己整列を支える「動けるプラグ」

    ソケットの入口には、相手を導く円すい状の部分があります。プラグには、筐体への取り付け部分に対して動けるフローティングボディがあり、接続中に横方向や角度のずれに追従します。外力がないときに中心へ戻す仕組みも含まれます。取り付け部全体を大きく動かすのではなく、プラグの中に必要な動きを持たせる考え方です。[1, p.6][2, pp.11–12]

    BMQCのソケット軸とプラグ可動部の軸を示す原図。緑色の許容領域に対し、位置と角度が組み合わさったずれを表している。
    図1:位置ずれと角度のずれを示すBMQCの説明図。Glenn Charest、Nick Goenner、Timothy Marquis「OCP ORv3 Blind Mate Liquid Cooling (BMQC) Interfaces Updates」、OCP Global Summit 2024、p.6の図を抜粋。出典[1]

    図1の緑色の領域は、二つの軸の関係を考えるためのものです。横方向のずれと傾きは組み合わさるため、図にある最大値を別々に取り出して、どんな接続距離でも同時に使える許容差と読むことはできません。設計では仕様書の許容領域と接続距離を組で確認します。自己整列は、寸法管理を不要にする機能ではなく、定めた範囲のずれに対応する機能です。[2, §7・§9.1]

    短いホースが必ず有利とは限らない

    プラグの後ろには、機器内の冷却回路へ続くホースがあります。配管を短くすれば収まりはよく見えますが、短く硬い配管がプラグを横から押したり、軸方向の移動を拘束したりすると、せっかくの自己整列が働きにくくなります。IT Gear Design Guideは、柔軟性や取り回しが不適切な場合、挿入力の増大、引っ掛かり、弁の損傷につながり得ると説明しています。[3, pp.17–20]

    2024年版の参照設計では、波形のPTFEチューブとガイドを採用しています。チューブを曲げる余裕を設け、冷却液が入ったときの重さを支えながら、プラグが動く際にはチューブも滑らかに動けるようにするためです。材質名が同じなら同じ挙動になるとは限らず、長さ、曲げぐせ、端部の形状、ガイド位置も接続時の力へ影響します。[1, p.8][3, pp.17–20]

    押し込む力を、どこで受け止めるか

    接続時には弁のばねや液圧に対抗する力が必要です。発表でいうインジェクター機構は、液体を注入する装置ではなく、筐体をラックへ押し込む力を補助する機械機構です。参照設計は複合的なリンク動作で、長い接続ストロークと挿入時の力の補助を両立させています。[1, p.8][3, pp.14–17]

    その力は筐体とラックにも伝わります。マニホールドの固定位置や剛性を合わせ、筐体背面では配管やバスバーとの干渉、プラグを取り付ける工具・手の空間も確保する必要があります。接続できるかを見る試作では、ホースを外した弁単体だけでなく、実際の取り回しと支持部を含めて確認することが、設計ガイドの趣旨に沿った進め方です。[3, pp.9–17][4, pp.9–10]

    BMQCの設計を見ると、保守作業を減らす仕組みほど、その裏側では接続部、配管、筐体、ラックを一緒に整える必要があることが分かります。次に試験資料を読むときも、コネクターの性能と、組み上げたラックの性能を分けて捉えることが大切です。

    発表企業の事業全体については、cyclewaveのMetaの企業解説も参照できます。

    参考資料

    1. Glenn Charest、Nick Goenner、Timothy Marquis「OCP ORv3 Blind Mate Liquid Cooling (BMQC) Interfaces Updates」、OCP Global Summit 2024。発表スライド/元発表動画。
    2. Open Compute Project「Open Rack V3 Blind Mate Quick Connector Specification (BMQC)」、Revision 1.0、2024年6月4日。仕様書。
    3. Open Compute Project「Open Rack V3 IT Gear Design Guide」、2024年6月3日版。設計ガイド。
    4. Open Compute Project「Open Rack V3 Blind Mate Manifold Specification」、2024年4月5日版。仕様書。
    5. Open Compute Project「2024 OCP Global Summit」、Rack & Powerセッション一覧。公式プログラム。
  • RittalのDLC対応ラック、液冷・電力・監視をORv3にまとめる

    RittalのDLC対応ラック、液冷・電力・監視をORv3にまとめる

    概要

    Thomas Shrin氏(Rittal社所属)は、次世代のデータセンター向けラックソリューション「DLC Ready Rack」(Open Rack V3準拠)についてプレゼンテーションを行いました。このソリューションは、高効率で持続可能なデータセンター運営を可能にするために設計されており、特に小規模・中規模企業(SMB)や共同ロケーション事業者(Colocation Providers)向けの適応を目的としています。


    簡単にまとめると?

    • DLC対応ラックは、電力・冷却・監視を一体として考えるラックソリューションです。
    • 液冷サーバーに合わせた圧力・流量の制御と、配管の設計が重要になります。
    • 小規模・中規模企業向けには、標準を基盤に導入しやすい統合型ソリューションを目指します。

    主なポイント

    1. DLC(ダイレクト液冷)とエア冷却の比較

    • DLCの複雑性:
      • エア冷却よりも安全性や中断のない運転を保証する必要がある。
      • 温度許容範囲を厳密に維持する必要がある。
      • システム全体の監視と制御が不可欠。
    • 課題の増大:
      • データセンターの電力消費は2030年までに500%以上増加すると予測されている。
      • 現在15kWのラックが、将来的には100kW~1MWに対応する可能性がある。

    2. DLC対応ラックの設計と課題

    カテゴリ具体的課題
    電力管理– 高電力バスバー(例: 18kW、29kW、140kW)の選定と設置。
    – ケーブルやパワーシェルフの配置とアクセス(上下どちらから接続するか)。
    冷却システム– 液冷(Liquid-to-Air, Liquid-to-Liquid)の配管設計、CDU(冷却配分装置)、クイックコネクターの選定。
    – フロー率や圧力損失の監視と調整。
    機械的適応性– 19インチラックとの互換性確保や、アダプターの設計。
    モニタリング– システム全体の監視および制御、BMS(ビル管理システム)への対応。
    認証・規格– ラック全体の認証取得(電力・冷却・モニタリングが統合されたインフラとして)。

    3. DLCソリューションの中核技術

    • 電力システム:
      • 高電力バスバー、DCバスバー、POE(パワーオーバーイーサネット)。
      • 高重量(100kg超)の機器設置の適応性。
    • 冷却システム:
      • 液冷サーバーに適した圧力・流量の制御。
      • 配管設計(カップリングや配分均等化)。
    • モニタリングと制御:
      • DLC用の新しいプロトコルと管理方法の導入。
      • SMB市場向けのコンサルティングや簡易導入ソリューションの提供。

    4. 小規模・中規模企業向けの課題

    • DLCソリューションの複雑性から、自社内での導入が難しい場合が多い。
    • OCP(Open Compute Project)の標準を基盤に、簡易導入可能な「統合型ソリューション」の提供が鍵。

    結論と提案

    1. コミュニティの構築:
      • DLC対応ラックソリューションを普及させるためのサブグループを形成。
      • 小規模企業向けの導入支援や仕様策定を強化。
    2. 次世代ラックの展望:
      • DLC対応の高電力・高冷却ソリューションが、将来のデータセンターに不可欠となる。
      • SMB市場向けに容易に適応可能な「パッケージソリューション」が求められる。
  • Metaが目指す30°Cクーラント、チップと施設をつなぐ液冷設計

    Metaが目指す30°Cクーラント、チップと施設をつなぐ液冷設計

    データセンターの効率化と持続可能性を目指す中、Meta主導の「冷却環境プロジェクト」は、チップの冷却温度を最適化するための新たな方向性を打ち出しています。本記事では、プロジェクトの概要、取り組みの現状、そしてデータセンターやチップメーカー双方に有益な「30°Cの耐久性のあるクーラント温度」の目標について解説します。

    冷却環境プロジェクトは、データセンター内の冷却技術を包括的に研究し、効率性と持続可能性を重視したソリューションを開発する取り組みです。このプロジェクトは以下の5つのサブプロジェクトに分かれています:

    1. 冷却プレート(Cold Plate)
      冷却プレート、ホース、バルブ、マニホールドを含むラックレベルの冷却システムの設計と規格化。
    2. 液浸冷却(Immersion Cooling)
      新技術の発展や市場導入の障壁を克服するための仕様策定やホワイトペーパーの作成。
    3. リアドアヒートエクスチェンジャー
      冷却装置がラックの背面で発生する熱を排出する技術の開発。
    4. 高度冷却施設(Advanced Cooling Facilities)
      ラックレベルとデータセンターレベルのインターフェースを管理し、TCSループ(冷却液システム)を実現。
    5. 熱再利用(Heat Reuse)
      データセンターから排出される熱を有効活用するためのユースケース開発。

    簡単にまとめると?

    • Meta主導の冷却環境プロジェクトは、データセンター設計の基準として30°Cの冷却液温度を目標にしています。
    • チップの性能と施設側の効率を両立させるため、冷却温度を双方から考える提案です。
    • 実現に向けて、冷却設備の設計調整やチップの熱抵抗・熱密度への対応が課題になります。

    耐久性のある30°Cクーラント温度とは?

    プロジェクトの次なるステップは、データセンター設計の基準として「30°Cのクーラント温度」を定義することです。この温度設定には以下のような背景と利点があります:

    1. 技術的背景

    • チップの電力消費増加
      CPUやGPUの性能向上に伴い、電力消費が増加しています。例えば、GPUの消費電力は数百ワットから1,000ワット以上に達しています。
    • 冷却効率の課題
      高性能チップが生成する熱密度を管理するため、冷却液の温度を適切に保つ必要があります。

    2. 30°Cが選ばれた理由

    • チップ側の要件
      冷却温度が低いほどチップの性能は向上します。
    • データセンター側の要件
      高温のクーラントを使用する方がエネルギー効率が向上し、運用コストが削減されます。
    • 双方の妥協点としての30°C
      データセンターの長寿命化とチップ性能の両立を図るため、30°Cが合理的な妥協点として選ばれました。

    実現に向けた課題と次のステップ

    主な課題

    1. 冷却システムの設計と調整
      データセンターの設計基準を30°Cに適応させるには、設備の大規模な変更が必要です。
    2. 技術的制約の克服
      チップメーカーが直面する熱抵抗や熱密度の課題を解決する必要があります。

    次のステップ

    • ホワイトペーパーの作成
      詳細な分析結果を公開し、業界全体での議論を促進。
    • HBM(高帯域幅メモリ)の最適化
      HBMの熱管理性能を向上させ、冷却効率をさらに高める。

    データセンター設計への影響

    • コスト削減
      30°Cの冷却液は、チラー運用の削減を通じてエネルギー効率を向上させます。
    • 長期的な持続可能性
      データセンターの設計寿命を延ばし、将来のAIコンポーネント需要にも対応可能。

    まとめ

    冷却環境プロジェクトが提案する「30°Cの耐久性のあるクーラント温度」は、チップメーカーとデータセンター運営者双方にとって理想的な解決策です。この基準が広がることで、AIや高性能コンピューティングの急速な発展を支えるためのインフラが整備されるでしょう。

    企業の事業もあわせて読む

    Metaの事業や収益構造は、cyclewaveの企業解説で紹介しています。

    cyclewaveでMetaの企業解説を読む