索引プロジェクトの振り返り5/25

1. Python スクリプト:

from_pdf.py: PDFファイルを読み込み、その内容をJSON形式で出力します。

main.py: キーワードとその出現ページ番号をkeyword_occurrence.tsvに出力します。

2. データファイル:

keyword_occurrence.tsv: キーワードとその出現ページ番号が記録されています。

index_with_claude.tsv: LLM（Claude）を使用して生成されたデータとkeyword_occurrence.tsvのデータをマージしたファイルです。

index_for_manual_edit.tsv: 手動で編集するためにindex_with_claude.tsvからコピーされたファイルです。

index.md: 索引のビジュアル検証用に作成されたサンプル索引です。

3. その他のメモと調整:

PDFからのキーワード抽出時にセクションタイトルが多くヒットする問題に対処するため、2ページ前に出現したキーワードは拾わないように調整されました。

特定のキーワードが見つからない場合の対応や、マニュアルでの編集が必要な点などが記録されています。

このフォルダは、書籍の索引を作成し、改善するための作業過程を詳細に記録しており、将来の版でのマニュスクリプトの更新に備えています。

1. インポートと定数の設定:

必要なモジュールをインポートし、定数を設定します。

2. セクションページのマッピング:

SECTION_PAGES_MAPPINGS_strからセクションとページの対応を設定し、SECTION_STARTとSECTION_END辞書を作成します。

3. 補助関数の定義:

normalize_section_name: セクション名を標準化します。

remove_palen: 括弧内のテキストを削除します。

remove_quotation: 引用符を削除します。

4. ファイルの読み込み:

CSVファイル、無視するキーワード、ケースセンシティブなキーワード、書籍のページ内容を読み込みます。

5. キーワードの処理:

CSVファイルからキーワードを読み込み、セクションごとに記録します。

インデックスとテキストのマッピングを読み込み、逆マッピングを作成します。

6. ページのフィルタリング:

指定されたセクションに含まれないページをフィルタリングする関数を定義します。

7. キーワードの出現位置の特定:

キーワードが各ページに出現するかを確認し、出現位置を記録します。

出現回数が多すぎる場合はフィルタリングします。

出現しないキーワードの記録:

出現しないキーワードをファイルに記録します。

9. 索引の作成:

キーワードとその出現ページを索引ファイルに出力します。

出現回数が多すぎるキーワードを別ファイルに記録します。

10. （オプション）Claude 3 Opus情報とのマージ:

Claude 3 Opusのデータとマージし、索引ファイルを更新します（現在は無効化されています）。

このスクリプトは、書籍の索引を自動的に生成し、手動での調整をサポートするためのものです。