GPUサーバ

ローカル LLM の負荷要因に関するまとめ

色々なLLMモデルの設定だったり、研究室メンバーが使用する生成AI環境の構築をしてきた中で、快適に動かせるモデルとそうではないモデルがあったので、知識整理も兼ねてローカルLLMの負荷要因についてまとめていきます。