wikibase-dump-filter
wikidataのdumpから特定の条件でデータ抽出できるツール
https://github.com/maxlath/wikibase-dump-filter
基本的な使い方
wget https://dumps.wikimedia.org/wikidatawiki/entities/latest-all.json.bz2
cat latest-all.json.bz2 | bzcat | wikibase-dump-filter --claim P31:Q5 > humans.ndjson
時短テクニック
https://github.com/maxlath/wikibase-dump-filter/blob/master/docs/prefilter.md
cat latest-all.json.bz2 | bzcat | grep '"Q5"' | wikibase-dump-filter --claim P31:Q5 > humans.ndjson
claimテクニック
https://github.com/maxlath/wikibase-dump-filter/blob/master/docs/cli.md#claims-logical-operators
注意
: や&や,や|はシェルだと特殊文字なので注意
AND
国籍：日本、かつ職業：政治家
'P27:Q17&P106:Q82955'
OR
国籍：日本または国籍：アメリカ合衆国、かつ職業：政治家
'P27:Q17,Q30&P106:Q82955'
'P106:Q82955&P27:Q17|P27:Q30'
NOT
国籍：日本、かつ職業：政治家、死亡年月日なし（生存している）
'P27:Q17&P106:Q82955&~P570'
#wikidata
#wikibase
#maxlath