出典:5ちゃんねる
RTX 5070のVRAM 12GBとメインメモリ64GBを使う投稿者が、27B級モデルを快適に動かすため、GPUの増設と24GB搭載GPUへの交換を比較しています。スレには、量子化形式を変えてメモリの余裕を確保した例や、VRAMが8GB、12GBの構成での動作報告もありました。
出典:5ちゃんねる
ローカルllmを快適に使いたい
Qwen 27B系やGemma 3 27BなどのQ4_K_M~Q5_K_Mモデルを、今より快適に動かすためにvramを増やしたいです。
現在はRTX 5070 12GB、Ryzen 7 7700、ddr5メモリ64GB、電源650W マザボ ASRock A620AM TW です。
RTX 5060 Ti 16GBを増設するのもいいかなって思ってるんですが、マザーボードと電源とケースの交換まで必要になるため、コスパがかなり悪そうです。
2枚構成にするより、RTX 3090などVRAM 24GBのGPUへ交換した方がよいでしょうか?それともグラボが安くなるのを待つべきなのでしょうか。ほかにおすすめの方法があれば教えてください。
RTX4090&RAM64GBでStrata+Qwen3.8-FN/IQ3_S行こうとしたが
RAMが2~3GBしか余らず泣く泣くIQ3_XXSに
RTX3070(8GB) + DDR4-2666(64GB,i7-10700F)でもIQ3_XXSが40tps近く出てるよ。
RAM96GB RTX4070S(12GB) IQ3_S kv200KB で 45〜50tps くらい
-解説-
ローカルLLMのメモリ使用量には、モデルの重みと、入力や会話の履歴を処理するときに使うKVキャッシュなどが含まれます。量子化は重みをより少ないビット数で表現する方法で、メモリに収めやすくなる一方、回答への影響はモデルや作業によって変わります。会話や入力文書が長くなると、同じモデルでも作業用のメモリが増えます。VRAMを多く積んだGPUでメインメモリの空きが少なくなり、量子化形式を変更した投稿は、両方の空き容量を見る必要がある例です。
VRAMが8GBや12GBの構成での速度報告も、元の相談にある27B級モデルのQ4_K_MやQ5_K_Mの結果にそのまま当てはめることはできません。モデル、量子化形式、入力の長さ、推論エンジンがそろっていないためです。毎秒の生成トークン数は回答が出始めてからの速さを見る指標です。長い資料を扱うなら、回答が出始めるまでの時間や、固有名詞・数値を正しく扱えるかも使い勝手に関わります。
GPUを1枚交換する場合は、狙った設定でどの程度のデータをVRAMに置けるかに加え、既存の電源とケースに収まるかが比較の軸になります。2枚にする場合は、推論ソフトがモデルを両方のGPUにどう分けるか、カード間の転送がどの程度発生するか、増設に伴う部品交換まで含めて考える必要があります。
まとめ
AIまとめ速報
スレの相談は、12GBのGPUで27B級のモデルを使うとき、どこに費用をかければ普段の待ち時間や手直しが減るかというものです。手元の構成を基準に、普段使う文章を一つ選び、量子化形式か入力の長さを一つずつ変えると、どの設定で負担が増えるかを見比べられます。短い依頼でも待ち時間が長い場合と、長文を入れたときだけメモリの余裕がなくなる場合では、見直す箇所が変わります。
日本語の要約なら、生成速度に加えて数値や固有名詞が原文と合っているかを見ます。コードの補助なら、回答が出るまでの時間から、修正案を確認して作業を終えるまでの時間も含めて比べられます。軽い設定で求める品質が出るなら、今の構成を使い続ける選択肢があります。必要な品質を保てる設定で容量に余裕がなくなるなら、24GBのGPUへの交換と2枚構成を、メインメモリの余裕や電源・ケースを含めた費用で比較できます。
元スレ:https://krsw.5ch.io/test/read.cgi/ai/1788420760
元スレ:ローカルllmを快適に使いたい

コメント(0件)
次のコメント(ページを移動)
コメントを書く