web-dev-qa-db-ja.com

データセンターの水冷が普及していないのはなぜですか?

私がデータセンターについて読んだり聞いたりしたことから、水冷を使用するサーバールームはそれほど多くなく、最も大きなデータセンターは水冷を使用していません(私が間違っていれば私を訂正してください)。また、水冷ラックサーバーはほとんど存在しないのに対し、水冷を使用して通常のPCコンポーネントを購入することは比較的簡単です。

一方、水を使用すると(IMO)可能性があります。

  1. 大規模なデータセンターの消費電力を削減します。特に、直接冷却設備を作成できる場合(設備が川や海の近くにある場合など)は、特にそうです。

  2. ノイズを減らし、人間がデータセンターで作業するのに苦痛を軽減します。

  3. サーバーに必要なスペースを削減します。

    • サーバーレベルでは、ラックサーバーとブレードサーバーの両方で、スペースを無駄にして内部に空気を通過させるよりも、水冷チューブを通過させる方が簡単だと思います。
    • データセンターレベルで、サーバーへのメンテナンスアクセスのためにサーバー間の路地を維持する必要がある場合は、床下と天井レベルの空中のために空いたスペースを削除できます。

それでは、なぜ水冷システムは、データセンターレベルでも、ラック/ブレードサーバーレベルでも普及していないのでしょうか。

理由は:

  • 水冷はサーバーレベルでほとんど冗長ではありませんか?

  • 水冷設備の直接コストは通常​​のデータセンターと比較して高すぎますか?

  • そのようなシステムを維持することは困難です(もちろん、川からの水を使用する水冷システムの定期的な洗浄は、ファンの真空洗浄よりもはるかに複雑で費用がかかります)?

22

水+電気=災害

水冷では、空冷よりも電力密度が高くなります。そのため、余分な密度のコスト削減を計算します(スペースに制約がある場合を除いて、ほとんどない)。次に、水災害のリスクのコストを計算します(たとえば、1%*施設のコスト)。次に、簡単なリスクと報酬の比較を行い、それが環境にとって意味があるかどうかを確認します。

31
Chris S

だから私はサーバーの部分で私の答えを壊します:

  • 水の物理的特性対空気および鉱油
  • 水使用のリスクと歴史的な悪い経験
  • データセンターの冷却にかかる総コスト
  • 従来の液体冷却システムの弱点

他と比較した水の物理的性質

最初にいくつかの簡単なルール:

  • 液体は気体よりも多くの熱を輸送できます
  • 液体抽出液を蒸発させて熱を増やす(冷蔵庫で使用)
  • 水はすべての液体の中で最高の冷却特性を持っています。
  • 移動する流体は、移動しない流体よりも熱をよく抽出します
  • 乱流では、より多くのエネルギーを移動する必要がありますが、層流よりも熱を効率的に抽出します。

水と鉱油を空気と比較した場合(同じ体積の場合)

  • 鉱物油は空気より約1500倍優れています
  • 水は空気より約3500倍優れています

  • 油はあらゆる状況で悪い電気伝導体であり、高出力変圧器を冷却するために使用されます。

  • その正確なタイプに応じてオイルは溶剤であり、プラスチックを溶解することができます
  • 水は、純粋ではない(ミネラルを含んでいる)場合は電気の良導体です。
  • 水は良い電解質です。したがって、水と接触した金属は特定の条件下で溶解する可能性があります。

次に、私が上で言ったことについていくつかコメントします。比較は大気圧で行われます。この状態では、プロセッサの最高温度を超える100°Cで水が沸騰します。したがって、水で冷却すると、水は液体のままになります。鉱物油やフレオン(冷蔵庫で使用されているもの)などの有機化合物による冷却は、一部の用途(発電所、軍用車両など)の古典的な冷却方法ですが、プラスチックと直接接触する油の長期使用はこれまで行われていませんIT部門で。そのため、サーバーパーツの信頼性への影響は不明です(グリーンエボリューションは、そうだとは言わない)。体を動かすことは重要です。移動しない液体内の自然な動きに頼って熱を除去することは非効率的であり、パイプなしで液体を正しく方向付けることは困難です。これらの理由により、液浸冷却は冷却問題の完全な解決策とはほど遠いものです。

技術的な問題

空気の移動は簡単で、漏れは安全性への脅威ではありません(効率をよくするため)。それは多くのスペースを必要とし、エネルギーを消費します(デスクトップ消費の15%がファンに送られます)

液体を動かすのは面倒です。パイプ、冷却ブロック(コールドプレート)、冷却するすべてのコンポーネント、タンク、ポンプ、そしてフィルターが必要です。さらに、液体を除去する必要があるため、このようなシステムの保守は困難です。しかし、それはより少ないスペースとより少ないエネルギーを必要とします。

もう1つの重要な点は、冷却ファンを備えた空冷システムに基づいてマザーボード、デスクトップ、サーバーを設計する方法について、多くの研究と標準化が行われていないことです。そして、結果の設計は、液体ベースのシステムには適切ではありません。詳細は formfactors.org にあります

リスク

  • 設計が不十分な場合、水冷システムが漏れる可能性があります。ヒートパイプは、漏れのない液体ベースのシステムの良い例です( 詳細はこちらをご覧ください
  • 一般的な水冷システムは、高温のコンポーネントのみを冷却するため、他のコンポーネントに空気の流れを必要とします。したがって、1つではなく2つの冷却システムがあり、空冷システムのパフォーマンスが低下します。
  • 標準設計では、水漏れは、金属部品と接触すると、大きな損傷を引き起こす大きなリスクがあります。

備考

  • 純粋な水は電気の悪い導体です
  • 電子部品のほぼすべての部分が非導電性コーティングでコーティングされています。はんだパッドのみではありません。数滴の水は無害です
  • 水リスクは、既存の技術的ソリューションによって軽減できます

空気を冷やすと、水(湿度)を封じ込める能力が低下するため、結露が発生する可能性があります(電子機器には不向きです)。したがって、空気を冷やすときは、水を取り除く必要があります。これにはエネルギーが必要です。人間の通常の湿度レベルは湿度の約70%です。そのため、冷やした後、人々に空気を戻すために水を戻す必要がある場合があります。

データセンターの総コスト

データセンターでの冷却を検討するときは、そのすべての部分を考慮する必要があります。

  • 空気の調整(ろ過、余分な湿度の除去、移動など)
  • 冷たい空気と熱い空気が混ざらないようにしてください。そうしないと、効率が低下し、ホットスポット(十分に冷却されていないポイント)のリスクがあります。
  • 熱を過剰に抽出するシステムが必要か、熱発生密度を制限する必要がある(ラックあたりのサーバーが少ない)
  • 部屋から熱を取り除くためのパイプがすでにある場合があります(屋根まで運ぶため)

データセンターのコストは、密度(平方メートルあたりのサーバー数)と電力消費によって決まります。 (他のいくつかの要因も考慮に入れられますが、この説明では考慮されていません)データセンターサーフェス全体は、サーバー自体、冷却システム、ユーティリティ(電気...)、およびサービスルームによって使用されるサーフェスに分割されます。ラックあたりのサーバー数が多い場合は、より多くの冷却が必要であり、冷却のためにより多くのスペースが必要です。これにより、データセンターの実際の密度が制限されます。

習慣

データセンターは非常に複雑なものであり、多くの信頼性が必要です。データセンターのダウンタイム原因の統計によると、ダウンタイムの80%は人為的エラーが原因です。

最高レベルの信頼性を実現するには、多くの手順と安全対策が必要です。したがって、歴史的にデータセンターでは、すべての手順が空冷システムに対して行われ、水はデータセンターから禁止されていない場合、その安全な使用に制限されています。基本的に、水がサーバーと接触することは不可能です。

これまでのところ、事実を変更するのに十分な水冷ソリューションを提供できる会社はありませんでした。

概要

  • 技術的には水が良い
  • サーバー設計とデータセンター設計は水冷に適合していません
  • サーバー内部の水冷の使用を禁止する現在の保守および安全手順
  • データセンターで使用するのに十分な商用製品はありません
22

いくつかの水冷ラック(実際にはHPラックですが、まだ製造されているかどうかはわかりません)がありますが、直接水冷は最近では少し古臭いです。ほとんどの新しい大規模データセンターは、ラックを押し込む吸引トンネルを使用して構築されています。これにより、周囲の空気が引き込まれ、機器を通過するときに収集された熱が排出または回収されて再利用されます。つまり、システムが非常に特定のラック/サイズを使用するように制限され、予備のラックスペースを前面に「ブランク」にする必要がありますが、冷却はまったく不要であり、エネルギー、複雑さ、およびメンテナンスを大幅に節約できます。

9
Chopper3

水は普遍的な溶剤です。十分な時間を与えられれば、それはすべてを食べます。

水冷はまた、あなたがあなたの投稿で暗示するデータセンターにかなりの(そして高価な)レベルの複雑さを追加します。

ほとんどのデータセンターの消火システムは、いくつかの非常に特定の理由で水を含んでいません。多くの場合、水害は火災による損害よりも大きくなる可能性があります。 、これは、何かに電源を切って(火災が発生した場合)、それに水を噴出させるのがかなり難しいことを意味します。

だから、データセンターにある種の複雑な水冷システムがあり、火災時に幽霊を放棄することを想像できますか?うわぁ。

6
GregD

データセンターの冷却には水を使用しないでください。電気とよく混ざる鉱油を使用してください。参照してください http://www.datacenterknowledge.com/archives/2011/04/12/green-revolutions-immersion-cooling-in-action/

ソリューションは新しいものですが、テクノロジーはかなり古いものですが、既存のラックを新しいタイプのラックに交換する必要があるため、このタイプの変更を既存のデータセンターに加えることは非常に困難になります...

3
silviud

簡単に言えば、かなり複雑になります。スペースの問題ではありません。

処理する水の量が多い場合(配管、流出水など)、リスクが大きくなります...見方によっては、水と電気がうまく混ざりません(または混ざりすぎます)。それ)。

水に関するもう1つの問題は湿度です。大規模な場合、すべての空調システムをループに投入します。次に、蒸発によるミネラルの蓄積があり、間違いなく、ここでは考えていなかった他の多くのことが起こります。

3
DictatorBob

データセンターで水を使用しないことの大きな阻害要因は、ほとんどの水冷システムが原始的であるという事実です。それらはすべて、サーバーをラック内の水源に接続するためのクイック接続が必要であり、特にDCに何千もの接続がある場合は、これらが障害の原因になります。また、サーバーの保守が難しくなり、ほとんどの場合、依然としてファンが必要です。そのため、複雑さが増しています。

人的側面では、ほとんどの施設管理者は変化に抵抗します。彼らは空冷に非常に熟練しており、液体への移行はそれらのスキルを時代遅れにするでしょう。さらに、すべての施設OEMは、完全な製品ラインのやり直しを意味するため、変更に抵抗します。

変更には、a)より優れた液体冷却設計、およびb)変更を強制する法律が含まれます。

2
phil

それらは必要ですが、カスタム設計のコンポーネントが必要です。OVH(世界最大のデータセンター企業の1つ)は10年以上水冷を使用しています。

ラックを見ることができるこのリンクをチェックしてください: http://www.youtube.com/watch?v=wrrZxmfevoE

古典的な企業の主な問題は、そのようなテクノロジーを使用するためにいくつかの研究開発を行う必要があることです。

1
David

水は実際には使用するのに最適な液体ではない場合があります。指摘したように、それは時間の経過とともにすべて/すべてのものを溶解します。確かに水は冷却用途で有効に利用できますが、オールアラウンドは最善ではありません。ただし、鉱物油も影響する可能性があるため、選択するのが最善の方法ではありません。

水とは異なり、非腐食性で熱伝達流体として使用するように特別に設計された特別な熱伝達オイルを利用できます。パラサームはこれらの多種多様な製品をすでに製造しています。

問題は、クローズドループの熱交換器に接続することです。

ソリューションはすでに作成されていますが、電子機器環境では使用されておらず、農業機械に由来しています。名前を付けると、水力学です。クイックスナップホースの終端は漏れ防止機能があり、何らかの理由で接続が外れた場合も、オスとメスの両方の端を閉じます。最悪の場合、切断時に1から2滴以下の小さな水滴が発生します。

したがって、その部分を排除できます。ただし、冷却が必要なすべてのチップ/回路に適合する適切な銅製部品を設計することは、厳しい作業です。液体冷却の場合と同様に、過剰な熱を取り除く必要があるすべての部品をカバーする必要があります。すべてのラックに適切な量の液体が循環していることを確認し、故障を防ぐには、比較的高圧のポンプ、圧力センサー、還元器が必要です。電子遮断バルブも必要になります。そもそも別の意図があるとしても、これらのパーツはすでに作成されているため、これは新しいことではありません。多くの小さなファンには冗長性の利点があるため、シングルポイント障害の可能性を防ぐために複数のポンプユニットが望まれます。

それとは別に、それが実際の閉ループサイクルである場合、大量の空気ではなく低粘度の伝熱流体を移動することで自然に利益が得られます。

実際には、複数の方法があります。まず、空調コストとファンのランニングコストが削減されます。これらのコストを過小評価しないでください。小さなファンでも数ワットの電力を消費することがあり、ファンはしばらくすると故障します。油圧ポンプは、このアプリケーションに関係する低圧を考慮して、文字通り24/7年間稼働して、膨大な数のファンを置き換えることができます。次に、サーバーグレードのチップは、乱用に耐えることができ、デスクトップのものと比較して非常に高い温度で実行できます。それでも、それらをより涼しく保ち、期待される寿命は長くなりますが、これらのものの価格を考えると過小評価されることは決してありません。ほこりや湿気を防ぐための空気ろ過はもう必要ありません。

これらの要因は、この種の冷却技術の欠点をはるかに上回ります。ただし、初期投資は高くなります。確かに、このソリューションはより高密度のサーバー設定を提供できますが、現時点では、投資はデータセンターでは考慮されていません。既存の冷却ソリューションの再構築には時間がかかり、時間はお金です。かさばるヒートシンクは必要なく、ファンもないので、サービスも非常に簡単です。潜在的な障害点の数を減らすこと(すべてのファンがその1つである)は、覚えておかなければなりません。また、冗長なポンプは、オペレーターの介入なしに起動できます。また、ファンも熱を発生させます。それぞれの内部に20のファンがあり、出力が5ワット以下であるユニットを考えます。最終結果は、なんとかして取り除くために、さらに100ワットの熱になります。ポンプと駆動モーターも熱を発生しますが、ラックユニット内では発生しません。むしろ、ターゲットシステムから分離および分離されます。電源のアクティブエレメントが短絡しているという短絡の場合、この種の液体冷却は実際に十分な熱を移動させることができるため、延焼の可能性が低くなります。新鮮な空気を火のそばに移動することは最良の考えではありません。また、プラスチック部品は溶け、プラスチック部品は可燃性です。伝熱流体は、ファンが溶けて別の短絡源の可能性を与える可能性のある温度で問題なく動作します。

では、液体冷却は危険でしょうか?安全上の観点から、小さなファンの山ははるかに危険だと思います。寿命の観点からは、液体冷却がはるかに好ましいと私は考えています。唯一の欠点は、スタッフのトレーニングと初期投資です。それを除けば、それは途中でさえもうまくいくはるかに実行可能な解決策です。

0
Nagy Andras

水冷式データセンターは非常に効率的で、精製水を使用している場合はエネルギーを節約できます。しかし、それらが密接に接触している場合、危険はより大きくなります。 1)湿気/湿度レベル
2)電気に対する水。

0
martin paul