ChatRTX
https://youtu.be/fc_NSAu41b0
https://www.nvidia.com/ja-jp/ai-on-rtx/chatrtx/
GeForce RTX搭載PCで動くローカルAI「ChatRTX」刷新。画像認識や音声入力に対応 - PC Watch
元Chat With RTX
今回の更新で名称を「ChatRTX」に改めたほか、利用できるLLMを拡張。
従来から利用できたMistral、Llama 2に加えて、新たにGemma、ChatGLM3、CLIP(Contrastive Language-Image Pre-training)をサポートした。
CLIPはローカル環境にある画像データの内容を認識するためメタデータを必要とせず、自然言語による対話の中で画像の検索や提示などが行なえる。
NVIDIA
2024-05-06試した
11GBあった
フォルダを開こうとするとエラーがでる
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 24: invalid start byte
パスに日本語が入っているとだめそう
CLIPはデータセットに指定したファイルから一番にたものをだしてくれる
CLIPは日本語弱そう
https://gyazo.com/7be9ea6f0ff6880624b04fcf4acd57f5
https://gyazo.com/21f0d282b157f6f6f9b13a7ab70c5ed0
デフォルトはMistral 7Bint4
pdfをデータセットに渡すとそこから回答してもらえるので確定申告書を渡して質問してみた
https://gyazo.com/b519737daecde945501bdd025a25cb10
全然使い物にならないレベル
文字化けしている
常識がおかしい
PDFを参照しているものの、正しく情報を取得できていなそう
ローカルで動くので機微データを安心して渡せるのが強みだけどもう少し賢くならないと使えなさそうな感触
モデルをドロップダウンから即座にダウンロードできる点はよい
データベースに新しいファイルを追加したらリロードが必要
ローカルLLM