最大規模の人工知能モデルの学習は、単にGPU（モデル計算の中核をなすグラフィックスプロセッサ）を追加するだけでは済まなくなった。このスポンサー付きコンテンツとして公開されたインタビューによれば、エネルギーの可用性が強力な物理的制約となりつつあり、インフラチームは単一の学習ワークロードを複数のデータセンターに分散して実行することを検討し始めている。
このシナリオは、トラフィックを流すために設計された従来のサイト間接続とは大きく異なるネットワーク上の問題を提起する。AI学習は、大規模で同期性の高いデータフロー、最小限のパケット損失、GPU間の緊密に調整された通信を要求する。クラスターの一部が遅延すると、その影響がタスク全体に波及する可能性がある。
計算の一部となるネットワーク
このインタビューは、The RegisterのTim Phillipsが、シリコン・システムズ・アーキテクチャ担当シニアバイスプレジデント、CiscoフェローのRakesh Chopra氏と行ったもので、シスコが「スケール・アクロス」の要請と呼ぶものについて議論している。Rakesh Chopra氏は、AIの要求がネットワークの役割を、単なる輸送手段から計算システムに統合された要素へと進化させていると説明する。課題は、地理的に離れた施設を、一つの決定論的なマシンのように機能させることにある。
バッファリング、高速なコヒーレント光通信、そして緊密に統合されたシリコンは、ワークロードが長距離光ファイバーリンクにまたがる場合に特に重要となる。シスコのSilicon OneアーキテクチャとIntelligent Collective Networkingは、同期したGPUトラフィックのバーストを処理し、ボトルネックを削減し、タスク完了時間を改善するために設計されていると紹介されている。ネットワークの電力消費と、GPUに利用可能なエネルギーとのトレードオフも、中心的なテーマの一つとして取り上げられている。
セキュリティとスケーラビリティ
インタビューではセキュリティについても言及され、ハードウェアで高速化されたMACsecとIPsecプロトコルが紹介されている。これらはネットワーク上のデータ交換を暗号化するプロトコルである。また、AIワークロードの進化にインフラが適応することを可能にするプログラマビリティの役割についても触れられている。
より大規模で分散したAI環境を計画しているインフラおよびデータセンターの責任者を対象としたこの対談は、単一サイトではもはや不十分となった際に生じるネットワーク上の課題の全体像を提示している。インタビューの全編はビデオで視聴可能である。
