RAG データ パイプラインの説明と処理のステップ

https://scrapbox.io/files/675fde97de758712461eeccc.png

1. 生のドキュメントの解析: PDFや画像からテキストを抽出します。

2.ドキュメントのチャンク化: 大きなドキュメントを小さな部分に分割します。

3. チャンクの埋め込み: 各チャンクを数値ベクトルに変換します。

4. ベクトルデータベースへのインデックス付け: 埋め込みベクトルをデータベースに保存します1。