LLMの量子化・チューニング｜ローカルAIの軽量化と業務適応

量子化はモデルのメモリ負荷を抑え、チューニングは業務に必要な表現や出力を調整する技術です。データ保護、ハードウェア、応答品質の要件を踏まえ、運用に合うモデル構成を選びます。

Why It Matters

モデルの規模と運用条件を両立させる

機密情報を扱う企業では、「クラウドのAIサービスにデータを送れない」という制約が先に立ちます。自社の環境（オンプレミスやプライベートクラウド）でモデルを動かす場合、課題になるのはモデルの大きさです。

たとえば700億パラメータのモデルは、一般的な16ビットの形式で保存すると、重みだけで約140GBのメモリを必要とします（700億×2バイト）。実行時にはさらに作業用メモリが必要となり、利用できるハードウェアとのバランスを検討する必要があります。

汎用モデルの出力が、そのまま業務の用語や形式に合うとは限りません。必要な調整と、それにかかる計算資源・費用を評価し、部分的な追加学習なども選択肢に含めます。

How It Works

量子化は、モデルの重みを表す数値の精度を、たとえば16ビットから4ビットへ下げて、モデルを小さく軽くする技術です。4ビットにすれば、重みのメモリは単純計算で4分の1になります。

量子化によるメモリの削減と、LoRAによる調整（概念図・単純計算）

GPTQ（Frantar et al., 2023）：学習済みモデルを後から量子化する手法です。1,750億パラメータのモデルを約4GPU時間で3〜4ビットに量子化し、精度の低下をわずかにとどめたまま、1枚のGPUで推論できることを示しました。
AWQ（Lin et al., 2024）：すべての重みが同じように重要なわけではないことに着目し、入力の分布から重要な重み（約1%）を見つけて保護することで、量子化による誤差を大きく減らします。

LoRA（Hu et al., 2022）：モデル本体を固定し、一部の追加パラメータを学習して業務に合わせる手法です。GPT-3（1,750億パラメータ）の全体を学習し直す場合と比べ、学習するパラメータ数を1万分の1に、GPUメモリを3分の1に減らし、推論時の遅延も増やしません。
QLoRA（Dettmers et al., 2023）：量子化したモデルにLoRAを組み合わせ、650億パラメータのモデルを、48GBのGPU 1枚で調整できるようにしました。

Technica AIは、これらを組み合わせて、次の流れで構成を決めます。

Benefits

Considerations

Frantar, E. et al. (2023). GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers. ICLR 2023. arXiv:2210.17323. https://arxiv.org/abs/2210.17323
Lin, J. et al. (2024). AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration. MLSys 2024（Best Paper Award）. arXiv:2306.00978. https://arxiv.org/abs/2306.00978
Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR 2022. arXiv:2106.09685. https://arxiv.org/abs/2106.09685
Dettmers, T. et al. (2023). QLoRA: Efficient Finetuning of Quantized LLMs. NeurIPS 2023. arXiv:2305.14314. https://arxiv.org/abs/2305.14314