2024/7/8

/icons/hr.icon

まだ少ししか読めていないけど、RAGに対するぼんやりした理解を深めるうえでよさそう。

以下ChatGPT要約。

RAGとは

- RAG (Retrieval-Augmented Generation)：大規模言語モデル（LLM）が持たない知識を回答に反映させる技術

- 問題点：LLM単体ではハルシネーションや未学習データに基づく誤った回答を生成することがある

- 解決策：RAGはユーザーの質問に基づきデータベースを検索し、その結果を元に回答を生成する

RAGの技術構成

- Naive RAG：索引付け、検索、生成の3つの処理を行う基本的な構造

- Advanced RAG：検索前後に前処理と後処理を追加し、検索精度と生成結果を向上

- Modular RAG：Search、Memory、Routing、Predictモジュールなどを追加し、適応性と汎用性を高める

Prompt engineeringとFine-tuningとの比較

- Prompt engineering：モデル固有の能力を引き出すための技法

- Fine-tuning：特定の知識やスタイルをモデルに学習させる技法

- RAG：外部データベースからの情報取得を組み合わせた生成方法

RAGの進化

- Naive RAG：基本的な検索と生成の組み合わせ

- Advanced RAG：検索前後の処理を追加

- Modular RAG：検索、記憶、ルーティング、予測モジュールを導入

検索技術

- 索引付け：PDF、HTMLなどからテキストを抽出し、ベクトル化してデータベースに保存

- 検索：ユーザーの質問に基づきデータベースを検索し、トップの結果をプロンプトに取り込む

- 生成：検索結果を元にLLMに回答を生成させる

課題と解決策

- 検索の課題：必要なテキストが検索にヒットしないことがある

- 生成の課題：検索結果にない情報を生成することがある

- 補強の課題：異なるソースからの検索結果を統合する際に問題が生じる

高度な手法

- Memoryモジュール：会話履歴から類似する質問を引き出す

- Routingモジュール：適切なデータソースをナビゲート

- Predictモジュール：生成時に参照するコンテキストを検索せずに生成

結論

- RAG技術は、LLMの制約を補完し、高精度な情報生成を可能にする重要な技術であり、さらに進化と統合が期待される

子どもとかき氷を作った

押すだけで作れる電動式なので息子でも簡単に作れて楽しそうだった。

WWDCの動画一覧から合計再生時間を計算する

https://scrapbox.io/files/668bfaefac9ab2001de51ca9.png

code:totalVideoLength.js

Array.from(document.getElementsByClassName("video-duration")).reduce((map, obj) => {

return map;

}, { 'hour': 0, 'min': 0, 'sec': 0 })

// {hour: 44, min: 32, sec: 51}