さいつよフィードアグリゲーター OSS部品
🤖
ベース(RSSエンジン)
FreshRSS PHP, SQLite/MySQL/PG, Google Reader API / Fever API RSS購読・管理のハブ。多ユーザー、タグ、フィルタ完備。カスタマイズしたいならこれ
Miniflux Go, PostgreSQL, REST API / Fever API 軽量代替。Goバイナリ1つ。シンプルさ重視ならこれ
どちらもAPI経由で外部から記事データを取れる。
フィード生成(RSSがないサイト対応)
RSS-Bridge PHP, 9.1k stars 400+ブリッジ。YouTube/Reddit/Twitter/GitHub等。汎用CSSセレクタ/XPathブリッジも
RSSHub TypeScript, 45.3k stars 対応サイト数世界最大級。中国サービスに強い。パブリックインスタンス無料
morss Python 要約RSS→全文RSSに変換。任意のWebページをRSS化も可能
rss-proxy TypeScript 静的サイトからRSS/Atom/JSONフィードを自動生成
本文抽出(HTML→クリーンテキスト)
trafilatura Python ベンチマーク最強。CLIもあり。JSON/XML/CSV出力可。最も推奨
newspaper3k Python ニュース記事特化。本文+メタデータ+キーワード+要約を一括抽出
readability-lxml Python Mozilla ReadabilityのPython移植。Firefoxリーダービュー相当
翻訳
LibreTranslate Python, 15.2k stars Argos Translateエンジン。完全セルフホスト。Docker対応。日英翻訳品質はGoogleに劣る
Argos Translate Python LibreTranslateのコアエンジン。オフライン可
注意: 翻訳品質重視ならLLM(後述)が最善。1回のLLM呼び出しで翻訳+要約+ラベル付けを一括処理できる
要約・ラベル付け
sumy Python, 3.7k stars LexRank, LSA, Luhn等の抽出型要約。軽量
LLM (Ollama + LiteLLM) プロンプト設計で翻訳+要約+ラベルを一括処理。最も高品質
推奨プロンプト: 「この記事のタイトルを日本語訳し、本文の1行要約(日本語)を書き、カテゴリラベルを3つ付与してください。JSON形式で出力。」
LLM実行環境
Ollama Go/C++ ローカルLLM推論。llama.cppベース。OpenAI互換API。Llama/Mistral/Gemma等
LiteLLM Python 100+プロバイダをOpenAI形式に統一するAPI Gateway。Ollama+クラウドAPI併用可
llama.cpp C++ GGUFモデル推論エンジン。極小リソースで動作
構成案: OllamaでローカルLLM+LiteLLMで必要時クラウドAPIにフォールバック
全文検索
Meilisearch Rust, 46k stars タイポ耐性、即時検索、フィルタ/ファセット完備。Docker1発。管理UI付き。個人利用に最適
Typesense C++, 21k stars Meilisearchより高速。クラスタリング対応
Sonic Rust, 20k stars 超軽量。全文検索のみ。インデックス爆速
ZincSearch Go Elasticsearch互換APIの軽量代替
レコメンド(good/bad→新規フィード提案)
LightFM Python ハイブリッド推薦(協調+コンテンツ)。暗黙的フィードバック対応。最も適切
LensKit Python 研究〜本番まで。協調フィルタリング・コンテンツベース両対応。トッププロジェクト
Surprise Python scikit-learn風API。評価行列の協調フィルタリング特化。明示的評価のみ
Implicit Python 暗黙的フィードバック(クリック、閲覧)特化。GPU対応
RSSフィルタ・変換プロキシ
siftrss 無料SaaS。include/exclude/regexフィルタで新しいRSSを出力
RSS Griddle セルフホスト。ビジュアルルールビルダー付き。Docker
feedfilter.link セルフホスト。正規表現+数値閾値でフィルタ
morss (再掲)全文RSS化+フィルタ。CLI+CGIモードあり
パイプライン・オーケストレーション
n8n Node.js ビジュアルワークフロー。400+連携。セルフホスト無料。ノードを繋ぐだけ
Huginn Ruby, 50k stars エージェント型自動化。XPath/CSSスクレイピング→RSS出力
Prefect Python スケジュール・再試行・監視。コーディング主体
推奨アーキテクチャ
入力層 RSS-Bridge / RSSHub / morss → RSS化
管理層 FreshRSS(全フィード購読・タグ管理・既読管理。APIで外部アクセス)
処理層 自前Python(n8n/Prefectでオーケストレーション)
本文抽出: trafilatura
翻訳+要約+ラベル: LLM (Ollama + LiteLLM) 1回の呼出で3つまとめて
全文検索: Meilisearch
レコメンド: LightFM
ラベル別フィード: siftrss / RSS Griddle
表示層 加工済みRSSをReeder/NetNewsWireで購読する最小構成を推奨。UIが欲しくなったら自前で
自前実装が必要な部分
LLM呼び出しスクリプト Python。FreshRSS API→記事取得→LLM API→結果をタグ/フィードに書き戻し。数十行
レコメンド学習パイプライン good/badデータ収集→LightFM学習→候補生成。データ設計がキモ
表示UI 既存アプリで済ませるか、textual(Python)/Next.js等で自前構築。最大の開発工数
関連ページ
コンテンツ収集・RSS購読 手法カタログ
ぼくのかんがえるさいつよのフィードアグリゲーター