DeepSeek-R1蒸留モデル(14B/140億パラメータ)をローカル（RTX3060 (12GB)）で動かして小説を執筆してみたレビュー記事
小説を書くのに興味は無いが我が家のRTX3060を活用したい。
このままいくと今年中に自宅PCにささるRTX3060を2つとか3つとかにしたくなってそうな気がする。
ローカルのデータを何でも活用出来て、何か聞けばがんがん外部に検索に行くAI融合linuxとか無いのかな？開発はどこかで絶対進んでいるだろう？
Category:#AIが止まらない
Follow @fetuin
■ ■ ■ コメント ■ ■ ■
いいっすね！=3
001 [01/25 06:36]とおりすがり@Au:3060はNVLink非対応なので効率が良くない。内・外両建てRAGは構造設計が大変。何回LLM呼ぶ構成にするのかとか、内部知識DBをどう作るのかとか。たとえばチャンク方針は？とかIndexingどうしようとか、で、決めて作った挙句今度は評価も結構大変。評価ダメだったときにどう構造設計修正しようかとか。で、それらに全部にGPU負担かかるから、3060だと遅くてお話に。。。もちろん学習はともかく推論でも遅いと思う。まださきだね。 ↑(1)
002 [01/25 13:12]hoge@EM:この世界線での3060とか、ウンコ以下だろと思いながら記事のまとめを見てみたら、「蒸留モデルということもあり、GPT-3程度という体感でした。別途、o1で同様の手法で出力していたのですが、比べ物になりません。」という、ウンコ未満のクソゴミ判定フィニッシュじゃねーかｗｗ 3060なんて捨てましょう。それ、ゴミすぎて何の役にも立ちません。 ↑(1)
003 [01/26 11:18]ふぇちゅいん(年末年始疲れ) TW★95:現時点でローカルLLMにそんなハイスペック期待してないさ、でもデータ管理、データ集計とかOCR,画像関係とかGPT-3レベルでも色々と使えることもたくさんあるはず。 ↑
本カテゴリーで直近コメントが書かれた記事
→カテゴリー：#AIが止まらない(記事数:259)
本カテゴリーの最近の記事(コメント数)
