AIの推論に必要な性能と型番の選び方

AIの推論とは、学習が終わったAIに質問やデータを渡して、答えを出させる作業のことです。チャットAIへの返事や、画像の判定、音声の文字起こしなどがこれにあたります。学習に比べると1回あたりの計算は軽いですが、たくさんの人が同時に使うサービスでは、多くの計算を休まず続ける必要があります。 必要な性能の考え方として、まずAIの中身（パラメータ）がGPUのメモリ（VRAM）に収まるかが大切です。AIの中身の数字を少ないビット数で表す工夫（量子化）を使うと、必要なメモリを減らせます。サービスとして動かす場合は、電力あたりの性能や、1台のサーバーに何枚入るかも大事になります。小型で消費電力の小さいNVIDIA L4やT4、大きめのAIにはL40SやH100・H200、大きなメモリを持つAMD Instinct MI300Xなどが使われます。 選ぶときの注意として、データセンター向けGPUの多くはファンが無く、サーバーの風で冷やす作りなので、対応するサーバーが必要です。使う推論用のソフトが、そのGPUに対応しているかも確認しましょう。 新品が手に入らないときは、推論は学習ほど最新のGPUを必要としないことも多いため、ひとつ前の世代（A10、A100、T4など）の中古品や、VRAMの多いワークステーション向けGPUも選択肢になります。AIを量子化して小さくし、手に入りやすいGPUで動かすという考え方もあります。