TPU v6e

このドキュメントでは、Cloud TPU v6e（Trillium）のアーキテクチャとサポートされている構成について説明します。

Trillium は、Cloud TPU の最新の生成 AI アクセラレータです。API やログなどのすべての技術的な側面から、Trillium はこのドキュメント全体で v6e と呼んでいます。

Pod あたり 256 チップのフットプリントを備えた v6e は、v5e と多くの類似点があります。このシステムは、トランスフォーマー、テキスト画像変換、畳み込みニューラル ネットワーク（CNN）のトレーニング、ファインチューニング、サービングに適した最適なプロダクトとなるように最適化されています。

システム アーキテクチャ

各 v6e チップには 1 つの TensorCore が含まれています。各 TensorCore には、2 つのマトリックス乗算ユニット（MXU）、ベクトル ユニット、スカラー ユニットがあります。次の表に、TPU v5e と TPU v6e の主な仕様と値を示します。

サポートされている構成

TPU v6e は、最大 256 個の v6e チップでのトレーニングと、最大 8 個のチップでの単一ホスト推論をサポートしています。

次の表に、v6e でサポートされている 2D スライス シェイプを示します。

1 つの VM に 8 個のチップ（v6e-8）が接続されたスライスは推論用に最適化されており、8 個のチップをすべて 1 つのサービング ワークロードで使用できます。

各トポロジの VM 数については、VM の種類をご覧ください。

VM の種類

各 TPU v6e VM には、1、4、8 個のチップを含めることができます。4 チップ以下のスライスには、同じ不均一メモリアクセス（NUMA）ノードがあります。NUMA の詳細については、Wikipedia の 不均一メモリアクセスをご覧ください。

v6e スライスは、それぞれ 4 つの TPU チップを持つハーフホスト VM を使用して作成されます。この推奨事項には 2 つの例外があります。

• v6e-1: チップが 1 つしかない VM。主にテスト用
• v6e-8: 8 個すべてのチップを 1 つの VM に接続した、推論ユースケース用に最適化されたフルホスト VM。

次の表に、TPU v6e VM タイプの比較を示します。

v6e 構成を指定する

TPU API を使用して TPU v6e スライスを割り当てる場合は、AcceleratorType パラメータを使用してサイズとシェイプを指定します。

GKE を使用している場合は、--machine-type フラグを使用して、使用する TPU をサポートするマシンタイプを指定します。詳細については、GKE ドキュメントの GKE で TPU を計画するをご覧ください。

AcceleratorType を使用する

TPU リソースを割り当てる場合は、AcceleratorType を使用してスライス内の TensorCore 数を指定します。AcceleratorType に指定する値は、v$VERSION-$TENSORCORE_COUNT 形式の文字列です。たとえば、v6e-8 は、8 個の TensorCore を含む v6e TPU スライスを指定します。

次の例は、AcceleratorType を使用して 32 個の TensorCore を持つ TPU v6e スライスを作成する方法を示しています。

    $ gcloud compute tpus tpu-vm create tpu-name \
        --zone=zone \
        --accelerator-type=v6e-32 \
        --version=v2-alpha-tpuv6e

次のステップ

• TPU v6e を使用してトレーニングと推論を実行する