東京エレクトロン デバイス長崎株式会社

GPUサーバの熱対策:超追従・高密度の温度監視システム

GPUサーバの熱対策と高密度温度監視システムのイメージ
GPUサーバの熱対策:超追従・高密度の温度監視システム

GPUサーバを導入した企業のインフラ担当者から、「ラック内の温度管理はデータセンター任せで大丈夫なのか」という相談が増えています。

実は、温度監視システムの選定には「精度」以外に見落とされがちな軸があります。それが「追従性(応答速度)」です。

本記事では、GPUサーバの熱対策に温度監視の追従性が重要な理由を解説し、有線温度センサ4機種を恒温槽で比較した実測データをご紹介します。あわせて、ラックのどこに何点センサを設置すべきかについても解説します。

目次
  1. GPUサーバの発熱はラック内で「ムラ」になる
  2. 温度異常は「5分で30℃」——精度より追従性が問われる理由
    1. 温度異常は急激にやってくる
    2. センサの「検知遅れ」は計算できる
    3. カタログの「精度±1℃」だけでは選べない
  3. 追従性は「検知部の構造」で決まる——4機種の実測比較
    1. 応答速度を決める物理
    2. 筐体内蔵型と検知部露出型
    3. 恒温槽での温度変化追従試験
    4. グラフから読み取れること
  4. センサは何点必要か——1点・3点・6点・12点の考え方
  5. 高密度・常設の監視に有線センサが向く理由
  6. Zabbixで温度監視を組む——テンプレートで最短構築
    1. Zabbixに温度データを取り込む3方式
    2. テンプレートがあれば構築は数ステップ
    3. しきい値・アラート設計の勘所
  7. 導入事例:コンテナDC・高密度環境での温度監視
  8. まとめ:追従性という選定軸を
  9. 弊社製品のご紹介

GPUサーバの発熱はラック内で「ムラ」になる

AI需要の拡大により、GPUサーバの発熱量は世代ごとに増え続けています。

代表的なGPUサーバの最大消費電力から試算すると、1ラックあたりの発熱量は2018年ごろの40kW級から、最新世代では57kW級へと増加しています。ラックスケール型のAIサーバでは、1ラックで約120kWという従来の空冷ラックとは別次元の構成も登場しました。

1ラックあたりの発熱量の推移を示すグラフ
1ラックあたりの発熱量は40kW級から57kW級へ、ラックスケール型では約120kWに

出典:NVIDIA各製品公式資料をもとに当社算定・作成

高発熱への対策として液冷への移行が進んでいますが、主流のチップ直冷(DTC:Direct-to-Chip)方式でも、熱の25〜30%は空気側(空冷)で処理されます。つまり、液冷の時代になってもラック内の空間温度監視は不可欠です。

さらに厄介なのは、発熱の総量よりも「熱のムラ」です。排気の再循環や気流の混合により、ラック内や部屋の一部だけが高温になるホットスポットが生じます。

とくにコンテナ型データセンターや、GPUを直接冷やす特殊な冷却方式を採る環境では、気流が一般的なデータセンターのセオリー通りにならず、ホットスポットの発生箇所も予測しにくくなります。

では、このようなGPUサーバの環境で、ラック内温度をどう監視すればよいのでしょうか。

温度異常は「5分で30℃」——精度より追従性が問われる理由

温度異常は急激にやってくる

データセンターの温度異常は、ゆっくり進むとは限りません。

米国暖房冷凍空調学会(ASHRAE)の関連資料では、冷却設備の障害時にコールドアイルの温度が5分間で30℃上昇することは珍しくないとされています。これは毎秒0.1℃というペースです。

GPUサーバではさらに、ワークロードによる急激な負荷変動、ファン故障、扉の開閉など、数十秒〜数分のスケールで温度が動くイベントが日常的に発生します。

センサの「検知遅れ」は計算できる

温度センサには、周囲の温度変化に検知部が追いつくまでの時間差があります。この応答の速さは時定数(τ:タウ)という指標で表されます。

温度が一定のペースで上昇しているとき、センサの表示は実際の温度よりも「上昇ペース×時定数」のぶんだけ遅れます(一次遅れモデルによる目安です)。

先ほどの毎秒0.1℃の上昇に当てはめると、時定数5秒のセンサで約0.5℃、15秒で約1.5℃、60秒では約6℃の遅れになります。

時定数の違いによるセンサの検知遅れを示す概念図
時定数が長いセンサは実際の温度から遅れて表示される

出典:ASHRAE TC9.9「Data Center Power Equipment Thermal Guidelines and Best Practices」をもとに当社作成

運転余裕が数℃しかないGPUサーバのラックでは、時定数の長いセンサを使うことは、「高温になってから気づく」ことを意味します。

カタログの「精度±1℃」だけでは選べない

ここで重要なのは、精度と追従性は別物だということです。

精度±1℃のセンサ同士でも、追従の速いセンサと遅いセンサでは、急変時に表示される温度が大きく違ってきます。

また、弊社が主要な競合製品の仕様書・カタログを確認した範囲では、応答時間や時定数を明記した製品はありませんでした。

そこで弊社では、恒温槽を使って複数メーカの温度センサの追従性を実測し、比較することにしました。

追従性は「検知部の構造」で決まる——4機種の実測比較

応答速度を決める物理

温度センサの応答速度は、おおまかに「検知部の熱容量」と「検知部への熱の伝わりやすさ」で決まります。

検知部が小さく、外気に直接触れているほど速く応答します。逆に、検知部が樹脂や金属の筐体に覆われていると、筐体が温まるまでの時間だけ応答が遅れます。

半導体メーカの設計資料でも、同じ温度センサICを使いながら、実装方法によって応答時間が数倍変わることが報告されています。つまり応答速度は、センサICの性能ではなく構造で決まるのです。

筐体内蔵型と検知部露出型

市販のラック監視用温度センサは、構造で大きく2タイプに分かれます。

ひとつは、センサICを樹脂ケースに内蔵し、ケースのスリット(通気口)から緩やかに外気と接する筐体内蔵型です。多くの環境監視製品がこのタイプで、検知部が保護される反面、応答には筐体の熱容量が影響します。

もうひとつは、検知部をケーブルの先端に露出させた検知部露出型です。弊社の1-Wire温度センサはこのタイプで、センサBOXから伸びるケーブルの先端に検知部があり、測りたいポイントに直接検知部を置くことができます。

検知部露出型と筐体内蔵型の構造を比較した図
検知部露出型と筐体内蔵型の構造の違い

恒温槽での温度変化追従試験

この構造差が実際の追従性にどう現れるのか、恒温槽で比較試験を行いました。

試験では、次の有線温度センサ4機種の温度推移を、データロガーで同時に記録しました。

  • 弊社1-Wire温度センサ RMS-TM02(検知部露出型)+RMS-5000
1-Wire温度センサRMS-TM02の外観
1-Wire温度センサ RMS-TM02(検知部露出型)
  • 弊社1-Wire温度センサ RMS-TM-S1(検知部半露出型・小型モデル)+RMS-5000
1-Wire温度センサRMS-TM-S1の外観
1-Wire温度センサ RMS-TM-S1(検知部半露出型)
  • A社温度センサ(筐体内蔵型)+A社監視ユニット
  • B社温度センサ(筐体内蔵型)+B社監視ユニット

いずれの機種も恒温槽内の同じ位置に設置し、温度変化の開始から所定の温度に到達するまでの時間を比較しました。

恒温槽内に各温度センサを設置した試験環境
恒温槽内の同一位置に各温度センサを設置
試験条件(社内規格に準拠)
項目 条件
温度サイクル 室温 → -5℃ → +55℃ → 室温
温度変化率 1±0.2℃/min
放置時間 各温度で2時間
測定系 データロガーにより各センサの温度推移を同時記録
センサ設置 恒温槽内の同一位置に各センサを設置

グラフから読み取れること

試験の結果、検知部が露出したRMS-TM02が最も速く温度変化に追従し、筐体でセンサが覆われた製品ほど応答が遅れるという明確な差が現れました。

下表は、最も追従性の高かったRMS-TM02を基準に、各センサが同じ温度に到達するまでにどれだけ遅れたかを示したものです。

4機種の温度推移を記録した実測グラフ
恒温槽の温度変化に対する各センサの追従性(実測)

出典:当社にて実施した温度センサ応答速度比較試験から作成

センサ 25℃→20℃
(5℃変化)
-5℃→25℃
(30℃変化)
55℃→40℃
(15℃変化)
RMS-TM02(検知部露出) 基準 基準 基準
RMS-TM-S1(検知部半露出) +1分29秒 +1分45秒 +2分19秒
B社センサ(筐体内蔵) +2分28秒 +2分36秒 +2分46秒
A社センサ(筐体内蔵) +3分33秒 +2分22秒 +3分00秒

※恒温槽内の同一位置で同時測定。RMS-TM02が各温度に到達した時刻を基準とした差。

検知部が露出したRMS-TM02は、槽内の空気温度の変化にほぼ遅れなく追従しました。検知部が半露出のRMS-TM-S1は、筐体温度の影響をわずかに受けるため、RMS-TM02よりやや遅れる場面があります。

一方、樹脂やアルミの筐体でセンサが覆われている製品では、外部の温度変化が筐体を介して伝わるため応答が遅れやすく、急激な温度変化に十分に追従できません。

温度変化の幅が大きくなるほど、この差は拡大します。

センサ 25℃→-2℃
(27℃変化)
-5℃→50℃
(55℃変化)
RMS-TM02(検知部露出) 基準 基準
RMS-TM-S1(検知部半露出) +1分41秒 +1分49秒
B社センサ(筐体内蔵) +2分54秒 +6分30秒
A社センサ(筐体内蔵) +3分50秒 +3分59秒

GPUサーバの急激な負荷変動やファン故障のように、数十秒から数分で温度が動く現象を捉えるには、この数分の差が異常検知のタイミングにそのまま影響します。

センサは何点必要か——1点・3点・6点・12点の考え方

追従性の高いセンサを選んでも、置き場所と点数が不適切では異常を捉えられません。

ラック監視の基本は、空調業界のガイドライン(ASHRAE)に沿ったラック前面(吸気側)の上・中・下3点です。壁の温度計や室温1点の監視では、ラック単位の熱だまりを見逃します。

高発熱のGPUサーバのラックでは、前面3点に加えて背面(排気側)にもセンサを置き、吸排気の温度差(ΔT:デルタティー)を把握する前後6点監視が有効です。

さらに気流が特殊な環境では、監視点数はもっと必要になります。たとえば弊社が関わった屋外設置のキュービクル(GPUサーバ収容)では、1ラックに12点の温度センサを設置した例があります。

サーバラックへの温度センサ配置例
ラック前面3点・前後6点・高密度12点の配置例

なお、データセンター側の設備監視があっても、利用者側での監視は有効です。設備側からの異常連絡を待つのではなく、自分たちのしきい値で、自分たちのラックをリアルタイムに見ることができるからです。

気流が読みにくい環境では、机上で点数を決めるより、2週間程度の検証設置で実際の温度分布を確かめるのが早道です。

高密度・常設の監視に有線センサが向く理由

追従性に加えて、1ラック6点以上のような高密度監視を常設する場合、有線センサには運用面の利点がいくつかあります。

第一に、電池が無いことです。測定点が数十〜数百になると、電池交換の工数と交換忘れのリスクは無視できません。

第二に、増設効率です。弊社の1-Wire温度センサは、1台のセンサマネジメントユニットに最大128点を接続できます(総配線長は200m)。センサ間は市販のLANケーブルで接続でき、情報システム部門が自前で設置・増設できます。

第三に、校正が不要なことです。弊社の1-Wire温度センサはセンサ内部でデジタル変換して出力するため、多点設置でも個々のキャリブレーション(校正)が不要で、長期運用時の保守負担を抑えられます。

Zabbixで温度監視を組む——テンプレートで最短構築

Zabbixで複数の温度センサを監視するダッシュボードの画面
Zabbixのダッシュボードで複数の温度センサをまとめて監視

収集した温度データの監視基盤には、オープンソース統合監視ソフトウェア「Zabbix」が広く使われています。

Zabbixに温度データを取り込む3方式

Zabbixで温度を監視する方法は、大きく3つあります。①Zabbixエージェント(サーバ内部のCPU/GPU温度)、②SNMP+MIB(センサユニット経由の空間温度)、③IoTゲートウェイ経由(各種IoTセンサ)です。

注意したいのは、「サーバ内部のGPU温度」と、「ラック内の空間温度」は別物だということです。Zabbix 7.2ではNVIDIA GPUの温度・電力監視が公式サポートされました。GPU温度(内部)と空間温度(環境)を同じZabbixで相関監視することで、異常の原因切り分けが速くなります。

Zabbixに温度データを取り込む構成図
Zabbixへの温度データ取り込み方式

テンプレートがあれば構築は数ステップ

SNMP方式の構築効率は、メーカがMIBファイルとZabbixテンプレートを提供しているか否かで大きく変わります。

弊社のセンサマネジメントユニットは、MIBとZabbixテンプレートを公開しており、Zabbix公式サイトのインテグレーションにも掲載されています。テンプレートをインポートし、ホストを登録すれば、温度の収集・グラフ化・しきい値アラートまで短時間で構築できます。

一方、MIBやテンプレートが提供されていない機器では、OID(監視項目の識別子)の調査から始める必要があり、構築工数は大きく膨らみます。弊社が各社製品をZabbixに接続して検証した際も、この差を実感しました。

Zabbixテンプレートの具体的な使い方は、弊社Webページの「Zabbixによるセンサ機器監視」で解説しています。

しきい値・アラート設計の勘所

しきい値の設計では、センサの追従性を織り込むことが重要です。

追従の遅いセンサを前提にしたしきい値は、発報した時点で実温度がさらに上がっている可能性があります。段階的なアラート(注意→警告)や、パトランプ・メールによる通知の設計もあわせて検討が必要となります。

導入事例:コンテナDC・高密度環境での温度監視

コンテナ型データセンターでの温度監視の導入事例
コンテナ型データセンターでの高密度温度監視

弊社の温度監視システムは、高密度・特殊環境での導入実績があります。

ゲットワークス様のコンテナ型データセンターでは、液冷サーバラックを含むコンテナ全体に44点の温度センサを設置し、空間温度分布の3D可視化を実現しました。

ミライト・ワン様のコンテナ型データセンターでは、大規模データセンター向けDCIMではオーバースペックだった監視要件に対し、必要十分な監視ユニットとLTE経由のアラート通知で応えました。

そのほかの導入事例は導入事例一覧をご覧ください。

まとめ:追従性という選定軸を

  1. GPUサーバの温度異常は急激に進む(冷却障害時は5分で30℃の例も)
  2. センサ選定では精度だけでなく追従性(応答速度)が重要
  3. 追従性は検知部の構造で決まる——恒温槽での実測で確認
  4. 検知部が露出した有線センサは、筐体内蔵型より数分早く温度変化を捉えられる
  5. Zabbixテンプレートを使えば監視基盤の構築は短時間

最適なセンサ構成は、ラック密度・気流・運用体制によって変わります。

弊社では評価機の貸出を行っており、実際の環境で試してから構成を決めていただけます。

GPUサーバの温度監視でお悩みの方は、お気軽にお問い合わせください。

弊社製品のご紹介

本記事でご紹介した温度監視は、次の製品で構成できます。

センサマネジメントユニット RMS-5000

センサマネジメントユニットRMS-5000の外観
センサマネジメントユニット RMS-5000

1-Wire温度センサを最大128点まで接続し、Web/SNMPで統合監視できるユニットです。また、警報しきい値超過を事前検知するトレンド監視機能を搭載し、温度の「いつもと違う」を発見します。温度変化の予測にもとづく予知保全の仕組みを、短期間で仮説検証できます。(→RMS-5000 製品ページ)

センサマネジメントユニット RMS-4000

センサマネジメントユニットRMS-4000の外観
センサマネジメントユニット RMS-4000

1-Wire温度センサを最大128点まで接続し、温度/湿度/接点入力/電流センサ/アナログ信号など、各種センサ類をWeb/SNMPから統合監視するユニットです。(→RMS-4000 製品ページ)

接点監視・制御ユニット RMS-DIO9632-PI

接点監視・制御ユニットRMS-DIO9632-PIの外観
接点監視・制御ユニット RMS-DIO9632-PI

1-Wire温度センサ16点・湿度センサ4点の環境監視に加え、接点入力128点(入力専用96点+入出力兼用32点)をIPネットワーク経由で監視・制御できる接点変換ユニットです。SNMP/Zabbix連携でUPS・発電機・空調機などの既存設備を統合監視でき、AC/DC冗長電源と工具不要のPush-In端子により通信局舎や放送設備にも対応します。(→RMS-DIO9632-PI 製品ページ)

サーバラック環境監視システム

本記事の追従試験で最も高い追従性を示した検知部露出型の1-Wire温度センサをはじめ、ラック内の温度・湿度・漏水・電流などを監視するセンサマネジメントユニット製品群です。(→サーバラック環境監視システム)

GoriRack 環境監視システム(DCIM Monitoring Platform)

収集した温度データをビジュアルマップや空間温度分布で可視化するWebアプリケーションです。(→GoriRack 環境監視システム)


ページの先頭へ戻る