document.write("いいっすね！=4
");
document.write("001 [01/25 06:36]とおりすがり@Au:3060はNVLink非対応なので効率が良くない。内・外両建てRAGは構造設計が大変。何回LLM呼ぶ構成にするのかとか、内部知識DBをどう作るのかとか。たとえばチャンク方針は？とかIndexingどうしようとか、で、決めて作った挙句今度は評価も結構大変。評価ダメだったときにどう構造設計修正しようかとか。で、それらに全部にGPU負担かかるから、3060だと遅くてお話に。。。もちろん学習はともかく推論でも遅いと思う。まださきだね。
");
document.write("002 [01/25 13:12]hoge@EM:この世界線での3060とか、ウンコ以下だろと思いながら記事のまとめを見てみたら、「蒸留モデルということもあり、GPT-3程度という体感でした。別途、o1で同様の手法で出力していたのですが、比べ物になりません。」という、ウンコ未満のクソゴミ判定フィニッシュじゃねーかｗｗ 3060なんて捨てましょう。それ、ゴミすぎて何の役にも立ちません。
");
document.write("003 [01/26 11:18]ふぇちゅいん(年末年始疲れ) TW★95:現時点でローカルLLMにそんなハイスペック期待してないさ、でもデータ管理、データ集計とかOCR,画像関係とかGPT-3レベルでも色々と使えることもたくさんあるはず。
");