ローカルLLMに必要なVRAMの計算
モデルのパラメータ数（B＝10億単位）と量子化ビット数を入れると、ローカルで実行するのに必要なVRAM容量のおおよその目安を計算します。量子化ビット数ごとの一覧も出します。
B（10億）
トークン
長くするほど、ここに出す目安とは別にKVキャッシュ用のメモリが追加で必要になります
計算方法
モデルのパラメータは、量子化ビット数に応じたサイズでメモリに載ります。パラメータ数（単位B＝10億個）にビット数を掛けてバイトに直し、読み込み時のオーバーヘッド分として1.2倍するのが一般的な概算です。
VRAM（GB） ＝ パラメータ数（B） × 量子化ビット数 ÷ 8 × 1.2
8で割るのは、ビットをバイトに直すためです。この式には、コンテキスト長に応じて増えるKVキャッシュ用のメモリは含めていません。長い文章をやり取りするほど、ここで出た目安より多くのVRAMが必要になります。
例：70億パラメータ（7B）のモデルを16ビットで動かすと、7 × 16 ÷ 8 × 1.2 ＝ 約16.8GBのVRAMが目安です。
出典：式の定義（パラメータ数と量子化ビット数からモデルの占有メモリを概算する式。オーバーヘッドの係数1.2は入力したビット数・パラメータ数に対して一律で適用）
PR
よくある質問
量子化ビット数を下げるとどうなる？
必要なVRAMは減りますが、一般にモデルの出力の精度はわずかに落ちます。4ビット量子化は、VRAMが少ないGPUでも大きなモデルを動かすためによく使われます。
この目安どおりのGPUを用意すれば必ず動く？
目安です。実際にはOSやほかのアプリが使うメモリ、コンテキスト長に応じたKVキャッシュの分も必要になるため、余裕を持ったVRAM容量を選んでください。
CPUだけでも動かせる？
動かせますが、GPUのVRAMを使う場合に比べて生成速度は大きく落ちます。VRAMが足りない分をメインメモリで補う設定ができるソフトもあります。