手元で動かす文章生成AIに必要な性能と型番の選び方
目安
- GPUのメモリ（VRAM）：16ビットならパラメータ数×約2バイト、4ビットに量子化するとパラメータ数×約0.5バイトが本体の目安。会話の文脈を覚える分を上乗せする：一般的な考え方
- GPUの種類：VRAMが24GB以上のGPU（RTX 4090・3090は24GB、RTX 5090は32GB）がよく検討される：公開情報：https://www.nvidia.com/en-us/geforce/graphics-cards/50-series/
- メインメモリ：VRAMに入りきらない分をメインメモリに逃がす場合、その分の容量が必要。ただし速度は大きく落ちる：一般的な考え方
- 保存装置：AIの本体ファイルは数GB〜数十GBになるため、速いSSDに余裕のある容量を用意する：一般的な考え方
手元で動かす文章生成AIとは、文章を作るAI（大規模言語モデル。英語の頭文字でLLMと呼ばれます）を、クラウド（インターネット越しのサービス）を使わずに、自分のパソコンや社内のサーバーで動かすことです。社外にデータを出したくない場合や、使った分だけ料金がかかるのを避けたい場合に選ばれます。 必要な性能の考え方として、一番大切なのはGPUのメモリ（VRAM）の大きさです。AIの中身（パラメータ）の数が多いほど賢くなりやすい一方で、必要なメモリも増えます。目安として、AIの中身1個あたりを16ビット（2バイト）で持つとパラメータ数の約2倍のバイト数、4ビットに小さくする（量子化）と約半分のバイト数が必要で、さらに会話の文脈を覚えておくための分を上乗せします。たとえば24GBのVRAMを持つGeForce RTX 4090やRTX 3090、32GBのRTX 5090、48GBのRTX 6000 Adaなどが、手元用でよく検討されます。 選ぶときの注意として、VRAMが足りないと、パソコンのメインメモリに一部を逃がして動かせる場合もありますが、大きく遅くなります。対応ソフトはNVIDIA向けが多いので、他社のGPUでは事前に確認しましょう。 新品が手に入らないときは、VRAMの大きいひとつ前の世代（RTX 3090など）の中古品を選ぶ、GPUを2枚に分けて載せる、AIを量子化して小さくする、といった方法があります。
関係するシリーズ
よくある質問
どれくらいのVRAMが必要？
AIの大きさと量子化の度合いで変わります。4ビットに量子化した場合、パラメータ数×約0.5バイトに、文脈を覚える分を足すのが目安です。
VRAMが足りないとどうなる？
動かせないか、メインメモリに一部を逃がして動かすことになり、文章が出てくる速さが大きく落ちます。
新品が手に入らないときは？
VRAMの大きいRTX 3090などの中古品、GPU 2枚の構成、AIの量子化といった方法があります。