青空文庫のルビを取るテキスト処理を習得してみよう

目標

https://gyazo.com/9dc27a3d07dcb4f083ebd7adb688e154

テキストの状態

code:テキストファイル(ルビあり) 一部抜粋

歌の話

折口信夫

-------------------------------------------------------

【テキスト中に現れる記号について】

《》：ルビ

（例）歌《うた》

［＃］：入力者注　主に外字の説明や、傍点の位置の指定

（例）［＃６字下げ］

／＼：二倍の踊り字（「く」を縦に長くしたような形の繰り返し記号）

（例）もつと／＼

＊濁点付きの二倍の踊り字は「／″＼」

-------------------------------------------------------

［＃６字下げ］歌《うた》の話《はなし》について［＃「歌の話について」は中見出し］

この度《たび》、高濱虚子《たかはまきよし》さん・柳田國男先生《やなぎだくにをせんせい》［＃ルビの「やなぎだくにをせんせい」はママ］と御一《ごいつ》しょに、この一部《いちぶ》の書物《しよもつ》を作《つく》ることになりました。その高濱《たかはま》さんの御領分《ごりようぶん》の俳句《はいく》と同樣《どうよう》に、短歌《たんか》といふものは、ほんとうに、日本國民《につぽんこくみん》自身《じしん》が生《う》み出《だ》したもので、とりわけ、きはめて古《ふる》い時代《じだい》に、出來上《できあが》つてゐたものであります。さうして、それが偶然《ぐうぜん》、私《わたし》の先生《せんせい》でもあり、またあなた方《がた》のこの文庫《ぶんこ》におけるおなじみでもある、柳田國男先生《やなぎだくにをせんせい》［＃ルビの「やなぎだくにをせんせい」はママ］がお書《か》きの諺《ことわざ》の成《な》り立《た》ちとも、原因《げんいん》が竝行《へいかう》してゐるのは、不思議《ふしぎ》な御縁《ごえん》だとおもひます。

答えを言っても良いのかアレだけど

あなたが「答え」だと思ってるものは「顧客の求めているもの」ではないと思う

なので顧客価値の提供という視点から見ると「答えを与える」は「不正解」だと思う

正規表現は慣れていないと混乱する

学習コストがそれなりに高い

使う機会がかなり多い

前教本で読んでて？？？ってなったやつだ

例えば

行頭に1つだけタブを入れたい時

この場合はこれだけで済みます

メールアドレスから@以降を取り除きたい時

ruby 3.1.0

前～～～にプログラミングをやろうとしていたときにインストールしていた

技量

プログラミングを始めようとして何度か失敗している程度の能力

目的がないのに手段を学んではならない

方針

ホールインワンを目指すな

しばらくしてからコードを見直すと、修正点が見つかって直したくなる

一度書いた文章を時間をおいて見直すと書き直したくなる奴

とはいえ、コードが小規模という条件付きではある

ここでいうホールインワンは「青空文庫のテキストをそのままなんの失敗もなく目的のルビ処理ができる」という意味

これを目的に据えるべきでないと思う。特に「なんの失敗もなく」というあたり

それを戒めておこうと思って「ホールインワンを狙うのはやめろ」と表現した

一方電子回路の設計などは、お金も発生するし、時間もかかるのでちょっとバランスを変えたりします

ホールインワン、とまではいかないけどデザインを何度も見直したり、前段の実験を大量に実施するとかして、基板を作る回数を減らそうとします

本番の材料を使って失敗すると費用がかかるため、代用品で安く作ってみる

本当は鴨南蛮作りたいけど鶏胸肉で代用するとか

違う食材のため鴨の調理の経験値は貯まらない

ただし、心が折れない程度に程々に

行を跨いでるタグはないと思うので。

これほんといいスローガンだな

進捗

インターバル

テキストファイルを参照したいけどどうやるか？

code:Ruby

# coding: utf-8

Encoding.default_internal = __ENCODING__

buf ="歌《うた》の話《はなし》"

buf2 = buf.gsub(/《.*?》/, "")

print buf2.gsub(/［.*?］/, "")

今の自分だと必要なファイルはすべてデスクトップ配下

入出力(in/out)ってやつだな

たまたまin/outの略称と同じなので重宝されている

たのしいRubyの序盤3章に「ファイルからテキストデータを読み込んで表示する」があった(p.66)

code:Ruby

file = File.open(filename)

text = file.read

print text

file.close

いやーでもこれ見てそのまま写してもおもしろくないな

何が面白くないのか？探索がないし仮説が立てられないからか？

なぜそうなるのかの答えがないからか？

公式ドキュメントではどのあたりにあるんだろう？

きっとこれだな

https://gyazo.com/0a00961b6e9abd962b03227ef8247892

まーたいろいろある

この辺も見ておくか

open

new(path, mode = "r", perm = 0666) -> File[permalink][rdoc][edit]

open(path, mode = "r", perm = 0666) -> File

open(path, mode = "r", perm = 0666) {|file| ... } -> object

path で指定されるファイルをオープンし、File オブジェクトを生成して返します。

path が整数の場合はファイルディスクリプタとして扱い、それに対応する File オブジェクトを生成して返します。IO.open と同じです。ブロックを指定して呼び出した場合は、File オブジェクトを引数としてブロックを実行します。ブロックの実行が終了すると、ファイルは自動的にクローズされます。ブロックの実行結果を返します。

つまり…どういうことだってばよ?

code:ruby

f = File.new("testfile", "r")

f.class # => File

f.close

f = File.open("testfile", "r")

f.class # => File

f.close

File.open("testfile", "w", 0755) { |f| f.print "test" }

File.read("testfile") # => "test"

両者はどう違うんだろう

説明も同じだし、引数、返り値の型も同じ

「同じ動きをするためのコードは、できるだけ1つの方法でしか書けないようにする」という設計思想

「正しいやり方がいくつ存在してもよい」という考え方で、Perlの柔軟性を表しています

オブジェクトやインスタンスの項で名前が出たような～

読み込みモードと書き込みモードというのがある

モード……さては何か複数の形態で能力がちがうみたいなやつだな？

大気圏戦闘モードとか宙域戦闘モードとかそういうの

読み込み専用、書き込みOKみたいな処理なんかな(未解決問題)

1hop先に書いてあった

"w", WRONLY|CREAT|TRUNC

ファイルを書き込みモードでオープンします。オープン時にファイルがすでに存在していればその内容を空にします。

open(path, mode = "r", perm = 0666) -> File

ということは

$ File.open()#←ここの()の中にディレクトリのURL(URLでいいのか？パスかな？)を入れておけばいいんだろう

code:Ruby

File.open(C:\Users\Desktop\utano_hanashi_test.txt)#usersの間にはいろいろあるけどPCのディレクトリ構造が見えるので省略

構文エラーが出た！

あー、そもそもの書き方がおかしい？

code:ruby

f = File.open("testfile", "r")

f.class # => File

f.close

f=を入れないといけないのかな

いやいや、まずエラーメッセージを読めって言われてた

script.arb:9: syntax error, unexpected backslash, expecting ')'

script.arb:9: syntax error, unexpected backslash, expecting end-of-input

なるほど、バックスラッシュが入ってたりするのはおかしいんだな？

じゃあ消すか

code:Ruby

f = File.open(utano_hanashi_test.txt)

https://gyazo.com/fc466fef29b0b2f319296dd3bbfaeb3b

code:error

エラー語むずかしいぜ(未解決問題)

code:Ruby

f = File.open("utano_hanashi_test.txt")

エラーは出なくなった！が、でたのがなんだかよくわからない文章

これは一体…？

https://gyazo.com/6e416c32cf7d848f9a8ee6e840a4f622

path で指定されるファイルをオープンし、File オブジェクトを生成して返します。

とあるのでFileオブジェクトが生成されているはず

このファイルオブジェクトを次に渡すんだろうな

次とは？

(ところで)うーん、このプロセス面白いな

今までGUIさんにおまかせしていた「ファイルを開く」という処理がいったいなんなのかを教えられている

今まで自分が基本ブロックだと思ってたのは、レゴの組み合わせだったのか！！！みたいな

https://gyazo.com/2dd88cd74af43ccb42825219724b5faa

https://gyazo.com/7e577c9f40b13d524d4b86bb137e8090

https://gyazo.com/090c0ad08866894341627bb802490b22

パスワード朗読会

一時的に作られたファイルオブジェクトのidみたいなものかな？

メモリ番地だったりもするけど

厳密には理論とロジックに基づいていてランダムじゃないのかもしれないけれど、プログラムを書くだけの人がそこまで知る必要はないので実質ランダムです

ちょっと整理

今やりたいのはテキストファイルの中にある文字列を読み込むこと

読み込むとは？

どこに読み込むんだろう？メモリ？キャッシュ？

開くのはできている、はず……

read(length = nil, outbuf = "") -> String | nil

length バイト読み込んで、その文字列を返します。

https://gyazo.com/a655c65f80eb25bb2713ff1820215e73

https://gyazo.com/0ba26dacc36d5c4e40a39698ece929da

10バイト読み込んでいる状態っぽい

https://gyazo.com/e7c1e0c17e38e2f8aae16fa57627b87f

https://gyazo.com/1b5f8283fb7d484e91ac3d3265262614

https://gyazo.com/ad592318872a2b4cdcaeb55e7aa13d66

いい動きをしているね

この路線は間違ってなさそう

再開

数字のみのファイルが読み込めて、テキストがうまく読み込めないのはなんでだろう？

数字/テキストという切り分けは適当でなさそうな予感が

書いてあることをちゃんと読むか

read(length = nil, outbuf = "") -> String | nil

code:Ruby

read(length = nil, outbuf = "") -> String | nil

readメソッドには引数が二つある

なるほど！テキストファイルじゃないファイルのことなんですね！

テキストファイルなのにバイナリの読み込みをお願いしちゃってる

…数字のテキストのみファイルはバイナリファイル？それともテキストファイルなのか？

何進数で表示するかにもよるのかな

https://gyazo.com/1b5f8283fb7d484e91ac3d3265262614

この辺から文字コードの話に入っていくみたい。今はスルーだ！

今回だとこれだね

外バッファとは一体(先入観)

出力用のバッファを文字列で指定します。IO#read は読み込んだデータをその文字列オブジェクトに上書きして返します。指定した文字列オブジェクトがあらかじめ length 長の領域であれば、余計なメモリの割当てが行われません。指定した文字列の長さが length と異なる場合、その文字列は一旦 length 長に拡張(あるいは縮小)されたあと、実際に読み込んだデータのサイズになります。

EOFってなんだろ

また、プログラミング言語のファイル入出力機能などで、ファイル終端に達したことを表現する定数やシンボル、または、ファイル終端かどうかを検知する関数やメソッドなどの名称（の一部）としてEOFという表記が用いられる場合がある。

要約する必要もなく書かれてるとおりだな……

これは制御コードのEOFとは直接は無関係であり、例えばC言語のgetchar関数などが終端に達した場合に返すEOF定数の値は-1と定義されている。

EOF = end of file

txtファイルを保存するときのエンコード設定がshift jisで、UTF-8と噛み合ってなかった(?)ために生じていた問題だった。

これでちゃんと記述できてるかな

次いこう

ファイルは閉じなくていいのかな。開けっ放しになって永遠に開き続けていたりしない？

いつまでも閉じられるのを待ち続けるファイルさんがいると思うとつらい

閉じる方法調べてみようか

ふむふむ

https://gyazo.com/8a8f4c136164bdfaa4de272e9eaf4436

これでファイルオープンと読み込みができる状態になったので、今度は青空文庫のテキストファイルを読み込んでみよう

https://gyazo.com/c450aabaa2ac8180c007a0d22be539d4

https://i.gyazo.com/060076db5219d9c2ebd532dd879a5ec0.mp4

Hello, Worldだ……

ひょっとして終盤まで来てる？

そしたら、これまでの処理を組み合わせてみよう

https://gyazo.com/09cecd0055712570b2f0e62e1653176d

1. エンコードするよ(原理不明)

ここでFile.openを使っているので、変数bufに代入されているのはファイルオブジェクトである

bufをreadするとString型になる

read(length = nil, outbuf = "") -> String | nil

これってこう読むのか

やった

https://gyazo.com/ffc0681febd67b51020210a35a8dc03c

複数のメソッドを経由した場合ってどういうふうに表記するんだろう？

あるいは、buf.readを一旦なにか変数に代入してもいい

こうか？

https://gyazo.com/55d48a52d587e2ac8a89a9ab6bab4bfb

https://gyazo.com/9cd8b26118025567fc7763c0c50ac64c

ほーーーん

書き方がおかしいのではないか

gsubメソッドを持っているのは、buf (ファイルオブジェクト)ではなく buf.read (String)？

これの解読から始めないといけない

gsubメソッドを持つとは(哲学)

となると、今回はbuf.readにgsubを適用していきたいわけで……

多分メソッドの書き方が悪い。教本を見て複数のメソッドを経由した場合の書き方を思い出そう

次はgitを使おう(高いハードル)

ここまでのプレイログを見てからのコメントだからここでいいかな、適当なところに移動してもいいです

さて、迷子になってウロウロすることは良い学びの機会なんだけど、道を間違えたポイントを一応指摘しておくと

あとまあ単純に面白い。僕が崩字を読めるようになってく過程を見てて思ったことと同じことを思ってますw

buf.read

ここだなーと思いました

それをbufと呼んでるところから推測するとbufが文字列であるかのように思ってるかもしれないけど、openの返り値はファイルオブジェクト。

ファイルオブジェクトにgsubはないからこうなる

https://gyazo.com/ffc0681febd67b51020210a35a8dc03c

エラーメッセージは「Fileオブジェクトにgsubなんてないよ」と言っている

クラスにメソッドがなかったのか

https://gyazo.com/09cecd0055712570b2f0e62e1653176d

1. エンコードするよ(原理不明)

ここでFile.openを使っている

2. ファイルオブジェクトはStringオブジェクトではない

道を間違えたポイントを一応指摘しておくと

buf.read

ここだなーと思いました

read(length = nil, outbuf = "") -> String | nil

readメソッドを実行すると、String型またはnilで返す

readメソッドはi/oクラス

後述しますが、FileクラスはIOクラスを継承しています。

継承は見たことあるぞ

ここ余り深入りしないほうがいいな

仮に上のようにしたらちゃんと文字列が出た

あー、このbuf.readの生成物(インスタンス?)を変数に格納したらいいのかな

やってみよ

あ、できた（終了）

今そのままprintしてるし、一回変数に入れてみよう

code:ruby

# coding: utf-8

Encoding.default_internal = __ENCODING__

buf = File.open("utano_hanashi.txt","r")

text = buf.read

buf2 = text.gsub(/《.*?》/, "")

print buf2.gsub(/［.*?］/, "")

buf.close

できたはできた……

これも取るか

正規表現カモン！

ありがとう、過去ログ……

code:ruby

Encoding.default_internal = __ENCODING__

text = File.open("utano_hanashi.txt","r")

buf = text.read

buf2 = buf.gsub(/《.*?》/, "")

buf3 = buf2.gsub(/［.*?］/, "")

buf4 = buf3.gsub(/^　/, "")

print buf4

text.close

本当は出力のテキストファイルを作るとかいろいろ拡張があるのだろうけど

目標を達成したのでとりあえずこれでよしか……

謝辞

終わった後の目標

このページとは何ら関係がないが……

ScrapboxでTRPGやるときに使えそうなのだ

もう解決されてしまったかもしれない

正規表現を使わず、同じ処理を行うスクリプトを作ってみよう

出力ファイルを作ってみよう

別のファイルを入力できるようにしよう

この約定を果たさねば

旧字を現行通用の字に変えたい

できるんかこれ？

一覧が下に乗ってるので置換すればいける

感想欄

Outer Wild的にいえば謎解きの鍵になる場所にはたどり着いてるけど、それが謎解きの鍵だとはまだ気づいてない感じ

長過ぎるページになってしまった、どうしよう

切り出しできるとこを切り出す？

本質的にはOuterWildsプレイ日記みたいなもの(=あっちこっち迷子になってる過程の時系列ログ)だから時間軸で分割するしかないのでは

整理された知識構造にはなってないから

https://gyazo.com/ad3a55c7a734737dd90504616c68ac3a

ソースコードが含まれるページはどうしても重くなりがち