DeepSeek-R1蒸留モデル(14B/140億パラメータ)をローカル（RTX3060 (12GB)）で動かして小説を執筆してみたレビュー記事
小説を書くのに興味は無いが我が家のRTX3060を活用したい。
ローカルのデータを何でも活用出来て、何か聞けばがんがん外部に検索に行くAI融合linuxとか無いのかな？開発はどこかで絶対進んでいるだろう？
Category:#AIが止まらない
Follow @fetuin
■ ■ ■ コメント ■ ■ ■
いいっすね！=34
001 [01/25 06:36]とおりすがり@Au:3060はNVLink非対応なので効率が良くない。内・外両建てRAGは構造設計が大変。何回LLM呼ぶ構成にするのかとか、内部知識DBをどう作るのかとか。たとえばチャンク方針は？とかIndexingどうしようとか、で、決めて作った挙句今度は評価も結構大変。評価ダメだったときにどう構造設計修正しようかとか。で、それらに全部にGPU負担かかるから、3060だと遅くてお話に。。。もちろん学習はともかく推論でも遅いと思う。まださきだね。 ↑(9)
002 [01/25 13:12]hoge@EM:この世界線での3060とか、ウンコ以下だろと思いながら記事のまとめを見てみたら、「蒸留モデルということもあり、GPT-3程度という体感でした。別途、o1で同様の手法で出力していたのですが、比べ物になりません。」という、ウンコ未満のクソゴミ判定フィニッシュじゃねーかｗｗ 3060なんて捨てましょう。それ、ゴミすぎて何の役にも立ちません。 ↑(11)
003 [01/26 11:18]ふぇちゅいん(年末年始疲れ) TW★95:現時点でローカルLLMにそんなハイスペック期待してないさ、でもデータ管理、データ集計とかOCR,画像関係とかGPT-3レベルでも色々と使えることもたくさんあるはず。 ↑(6)
本カテゴリーで直近コメントが書かれた記事
04/20 22:14:【動画あり】これは面白い！世界初人型ロボットのハーフマラソン大会が中国で開催118分前
04/17 13:03:ChatGPT o3は耳コピもできるってよ。AIで作った曲の分析・改善提案からコードの採譜まで可能に3日前
04/03 00:04:Pudu Technologyの手の付いた車輪付きロボット「ケンタウルス」がホテルなどで使用開始へ18日前
04/02 12:23:動画生成AI、革命の兆し 「Stable Diffusion」級の衝撃再び18日前
03/21 03:00:NVIDIAがデスクトップPCサイズの50万円からのAIスパコン「DGX Spark」「DGX Station」を発表。予約受付開始30日前
03/13 13:46:3月29日放送開始、生成AIをフル活用する地上波アニメ『ツインズひなひま』放送開始38日前
03/01 00:22:OpenAIが「GPT-4.5」正式発表、即答タイプでも世界理解と直感力で性能向上50日前
02/25 21:27:イーロン・マスクのx.com搭載のAI「Grok 3」は公式にエロトークモード搭載らしい54日前
02/20 17:00:米国で「スマートホーム疲れ」が明らかにw59日前
02/16 11:02:PerplexityがDeep Research提供開始。無料ユーザーでも1日5回！63日前
02/13 14:45:NotebookLM PlusがGoogle One AIプレミアムプラン（月2980円）で利用可能に66日前
02/12 23:08:グーグル、AIによる画像生成「Whisk」の試験運用を開始67日前
02/12 18:26:これから土地は高くなる。課税対象は労働から資本へ。サム・アルトマンの2021年の予言67日前
02/12 10:12:イーロン・マスクが約15兆円でOpenAIの買収を提案もサム・アルトマンCEOが即拒否、逆に「Twitterを1.5兆円で買収する」と挑発www67日前
02/12 09:28:ほら予想通りだ。欧州で人間より賢いAIを禁止する主張67日前
02/09 15:10:サム・アルトマンとケビン・ワイルの東大公演質疑応答日本語訳70日前
02/08 22:37:DeepSeek、素直すぎて西側諸国の倫理観を確認する「安全テスト」に全部不合格。犯罪の方法から危険薬物の作り方まで全部回答しちゃう71日前
01/31 01:12:AIの進化が爆速化か？サンフランシスコのunsloth社が「動的量子化」でDeepSeek-R1のデータ量を80％削減に成功79日前
01/28 15:43:DeepSeek、DALL-E3を超えるという画像生成モデル「Janus Pro」をMITライセンス(商用で自由に使える)で公開82日前
01/26 11:18:DeepSeek-R1蒸留モデル(14B/140億パラメータ)をローカル（RTX3060 (12GB)）で動かして小説を執筆してみたレビュー記事84日前
01/25 06:57:中国スタートアップが無料公開したAI「Deepseek v3」が凄いらしい。アメリカ企業の最先端AIの10分の1のコストで同じ性能85日前
01/24 07:41:Perplexity、リアルタイム AI 検索で安価な「Sonar API」を発表86日前
→カテゴリー：#AIが止まらない(記事数:259)
本カテゴリーの最近の記事(コメント数)
2025.04.19【動画あり】これは面白い！世界初人型ロボットのハーフマラソン大会が中国で開催3コメ
2025.04.18LINEMOに加入するとすぐに解約したとしてもPerplexity Proの利用権利1年分(3万円)をゲット出来る
2025.04.17ChatGPT o3は耳コピもできるってよ。AIで作った曲の分析・改善提案からコードの採譜まで可能に4コメ
2025.04.02Pudu Technologyの手の付いた車輪付きロボット「ケンタウルス」がホテルなどで使用開始へ3コメ
2025.03.31動画生成AI、革命の兆し 「Stable Diffusion」級の衝撃再び6コメ
2025.03.31普通のカメラから3D空間を理解するLLM「SpatialLM」や静止画像を3Dビデオに変換する「Stable Virtual Camera」など生成AI技術1コメ
2025.03.22メモリ最大96GBに達した「NVIDIA RTX PRO 6000 Blackwell」登場
2025.03.20グラフで見るNVIDIAの売上高20兆円の内訳4コメ
2025.03.20ボストンダイナミクスの人型ロボットついに側宙返りとかしだす7コメ
2025.03.19Google DeepMindからロボット制御用のAI「Gemini Robotics」が発表。高度な視覚・空間認識能力を実現3コメ
| 隴崢髴台ｻ｣�ｽ陝ｶ�ｸ鬨ｾ�｣邵ｺ霈費ｽ� JP隨假ｿｽ26邵ｲﾂ10陝ｷ�ｴ鬩包ｽｸ隰�ｿｽ隨假ｿｽ48邵ｲﾂ�擾ｿｽ隨假ｿｽ105邵ｲﾂumomo隨假ｿｽ2邵ｲﾂ774(遶贋ｻ呎ｿ�髫怜��ｽ邵ｺ�ｲ邵ｺ�ｨ)隨假ｿｽ83邵ｲﾂ邵ｺ�ｽ��(雋奇ｿｽ蟷ｻ髣搾ｽｦ髣鯉ｽｶ闕ｵ�ｽ��邵ｺ�ｶ郢ｧ�ｽ)隨假ｿｽ70邵ｲﾂ邵ｺ�ｨ邵ｺ荳奇ｽ∫ｸｺ�ｽ隨假ｿｽ82邵ｲﾂ邵ｺ�ｽ竊鍋ｹｧ�ｽ(em邵ｺ�ｧ郢晞亂縺醍ｹｧ�ｵ郢ｧ�ｹ5遶頑慣�ｿ�ｽ)隨假ｿｽ38邵ｲﾂ隨假ｿｽ隨假ｿｽ45邵ｲﾂDcd隨假ｿｽ83邵ｲﾂ闔��ｬ郢晄亢ﾎｦ3B(隲｢荳樊�邵ｺ�ｧ郢ｧ繧�♀郢晢ｿｽ縺�)隨假ｿｽ40邵ｲﾂ邵ｺ�ｵ邵ｺ�ｽ笆�郢ｧ�ｽ�樒ｹｧ�ｽ(郢ｧ�ｵ郢ｧ�､郢昜ｺ包ｽｸ�ｻ陞ｳ�ｰ髢��ｽ) TW隨假ｿｽ96邵ｲﾂ邵ｺ霈披ｻ邵ｺ霈披ｻ隨假ｿｽ30邵ｲﾂ邵ｺ�ｵ邵ｺ�ｽ�樒ｸｺ�｡郢ｧ�ｽ��隨假ｿｽ2邵ｲﾂorz隨假ｿｽ38邵ｲﾂF隨假ｿｽ52邵ｲﾂ�擾ｿｽ(邵ｺ�ｯ邵ｺ蛟･�∫ｸｺ�ｦ邵ｺ�ｮ邵ｺ蜷ｶ竏ｪ邵ｺ�ｻ) TW隨假ｿｽ52邵ｲﾂknob隨假ｿｽ2邵ｲﾂ霑夲ｽｹ陷ｻ�ｽ邵ｺ霈費ｽ�隨假ｿｽ79邵ｲﾂ邵ｺ�ｵ邵ｺ�ｽ笆�郢ｧ�ｽ�樒ｹｧ阮呻ｼ�ｹｧ阮呻ｿｽ邵ｺ竏夲ｽ�(郢ｧ�ｽ�狗ｹｧ鄙ｫ��ｹ晢ｽｩ郢晢ｽｪ郢晢ｽｼ)隨假ｿｽ101邵ｲﾂ郢晏現縺醍ｹ晢ｽ｡郢晢ｽｼ隨假ｿｽ17邵ｲﾂ陋ｹ�ｿ陷ｷ謳ｾ�ｼ�ｽ隨假ｿｽ28邵ｲﾂ邵ｺ蜷ｶ窶ｳ郢ｧ�ｽ窶ｳ隨假ｿｽ78邵ｲﾂ郢晄亢縺�隨假ｿｽ346邵ｲﾂ邵ｺ�ｪ邵ｺ�ｪ邵ｺ蜉ｱ��ｸｺ�ｽ隨假ｿｽ72邵ｲﾂ騾具ｽｽ隨假ｿｽ53邵ｲﾂ髫ｰ�ｽ隨假ｿｽ80邵ｲﾂ郢ｧ蟲ｨ�ｽ隨假ｿｽ32邵ｲﾂ陷ｷ讎雁膚陞ｻ遏ｩ譛ｪ髫假ｽｿ闔��ｺ TW隨假ｿｽ25邵ｲﾂ鬩滓鱒�らｸｺ闊鯉ｽ�隨假ｿｽ41邵ｲﾂ |
