英語版書籍作業(4/6~)
4/6
@everyone
私は自分の作業で編集に近づいており、次の実装の準備ができています：
AIブレンドコミュニティ画像の更新（@tofus）
各ページのヘッダーレイアウトに関するガイダンス（セクション名、タイトル？）（@tofus）
推薦の書籍カバーの更新、サイズ変更など（@tofus）
推薦の挿入（私）
索引セクションの挿入（@nishio）
クレジットセクションの挿入
最後の貢献者の集めを行う必要があります（@Jacky | 翻訳者名のためのtaipeicity.eth）
これらの分野でサポートを受けると、テキストをできるだけ早く更新できます
4/6-7
nishio — 04/06/2024 11:23 AM
@Jason Entenmann Where can I find the latest PDF after your editing actions?
Jason Entenmann — 04/07/2024 12:15 PM
@nishio - I'm currently working in docx form. I can post that here.
nishio — Yesterday at 12:27 AM
docx is OK, I just need a final pagenation data before making keyword-page pairs
ChatGPT
nishio — 2024年4月6日 午後11:23
@Jason Entenmann 編集作業後の最新のPDFはどこで見つけられますか？
Jason Entenmann — 2024年4月7日 午後12:15
@nishio - 現在、docx形式で作業しています。こちらに投稿できます。
nishio — 昨日 午前12:27
docxで構いません、キーワード-ページのペアを作成する前に最終的なページネーションデータが必要です。
4/9
Jason Entenmann — 今日 午前12:54
@nishio - これは、インデックスの実装を開始する前にテキストのレイアウトが変更されてはならないことを意味しますか？
GlenWeyl — 今日 午前12:54
主なテキストのページ番号をできるだけ早く確定する必要があります
序文の前にあるものは変更可能です
別々にページ番号を付けることができますが、1から7-1までが最初に確定される必要があります
私の目標は、明日の米国時間の終わりまでにこれを達成し、水曜日の日本時間のNishioとチームがインデックスを実装できるようにすることです
しかし、もう1日必要であれば、そうなります
Jason Entenmann — 今日 午前12:56
@GlenWeyl - 今朝はドキュメント内のコメントを有効にして、アドレスを修正/変更できますか？
GlenWeyl — 今日 午前12:56
私はすでにそれをしています
原稿の半分を終えています
あなたにいくつかのコメントを残しました
必要なら今夜は徹夜します
そして、明日の終わりまでに主なテキストを最終決定することを目指します
私はまだ2つのチョコレートバーが残っています...
@nishio もし水曜日の朝に最終ページ番号が出来上がれば、月曜日のあなたの時間の終わりまでにインデックスを確定できると言えますか？
akinori — 今日 午前1:57
@Jason Entenmann 私は今寝ますが、多くの文脈が欠けているかもしれませんが、次の数日間に必要な協力と協力の一部となることができます。
私はGitHubの/scripts/indexフォルダを見てみました。キーワードとページのペアを作成する別の要素が準備できていると思いますが、@nishio の時間と利用可能性に応じて、チームの人々の一部をカバーするために参加することもできます。教えてください。また明日お会いしましょう 😉 🖖
Jason Entenmann — 今日 午前8:09
@Lillian - Glenがあなたが/tofusと一緒にビジュアル面でいくつかのサポートを提供していると言っていましたが、それが正しいかどうか。
tofus- ここにLillianを招待して、ビジュアル側の成果物リストでサポートを得ることができるようにしてください。
Lillian — 今日 午後11:28
こんにちは、はい、どうすればお手伝いできますか？
nishio — Today at 12:06 PM
I think I can do it. There's uncertainty about how much of it can be done mechanically and how much manual correction will be needed. First, I'll try processing based on the existing PDF throughout today.
多分できると思うよ。機械的に可能な部分がどれくらいあって、人手での修正がどれくらいの必要になるのかに関して不確実性があるね。まずは今日一日、既存のPDFを元にして処理を試してみるよ。
---
nishio:
PDFから各ページのコンテンツを抜き出してキーワードが出現するかチェックするコードができた。ハイフネーションと改行はケアしたが、それでも見つからないキーワードが50件増える。ページの境界を跨いでいるのかな。後で調査する。
現在はまだすべての出現をカウントしているので一部のキーワードは膨大になる。指定したセクションの中でだけ探す仕組みを今後実装する。
気づいたこと。目次ではPrefaceが4ページから始まることになっているが、カバーを含んだPDFの5ページ目から始まる。実際の書籍でも4ページから始まるのか、それともPreface以前には異なる番号づけをするのかが気になった(日本ではローマ数字を使うケースがしばしばある)
I've developed code to extract the content from each page of the PDF and check for the presence of keywords. I've taken care of hyphenation and line breaks, but still, there are 50 additional keywords that are not found. They might be spanning across page boundaries. I'll investigate later.
Currently, I'm counting all occurrences, so some keywords become numerous. I'll implement a mechanism to search only within specified sections in the future.
One observation: The table of contents indicates that the Preface starts on page 4, but in the PDF including the cover, it starts on page 5. I wonder if it starts on page 4 in the actual book, or if there's a different numbering before the Preface (in Japan, Roman numerals are often used in such cases).
---
nishio — 今日午後5時
特定のセクション内でのキーワードの検索と、キーワードが連続するページでの最初の出現のみを出力するコードを作成しました。これがこれまでに生成されたインデックスです。
⿻マークの処理がうまく機能していないという問題は既知です。docxを編集しているのがこのPDFとは別のパイプラインであると聞いています。その場合、Unicode文字の処理が変わる可能性があるため、現時点ではこれに対処していません。
akinori — 今日午後5時43分
@nishio 、離れる予定がある場合（おそらく、今）や、コミュニティに見てもらいたいことがある場合は、教えてください。PDFバージョンを取得されたようですが、Jasonさんが使用しているものとページが異なるかもしれません。
@Jason Entenmann 、積極的にインデックス作業に取り組んでいるコミュニティメンバーに、読み取り専用のdocxバージョンを共有したいですか？これにより、単語とdeckの両方のパスを開いたままにしておくことができ、必要に応じてPDFに切り替える準備ができます（必要であれば、実現可能である）。
akinori — 今日午後6時30分
どの部分が⿻文字で問題を抱えているのか特定できません。まもなく力を合わせるための準備が整いそうですが、⿻のいくつかの発生は、⿻の前に単一バイトのダブルスペース文字が付いているようです。ここまでとします。いくつかの問題は、docxとpdfのソースが同期していないことから発生するかもしれません。
nishio — 今日午後6時37分
@akinori 、いいえ、Markdownに関してではありません。それらは役に立ちません、なぜなら「ページ情報」が含まれていないからです。PDFの各ページからテキストを抽出しました。
akinori — 今日午後6時37分
（共有ありがとうございます。）
nishio — 今日午後6時38分
そして、⿻文字の後のスペーシングが問題のようです。後で修正できます。
GlenWeyl — 今日午後6時38分
西尾さん、私たちはこれらの問題をよく知っています。解決します。私たちは序文から始まるテキストに焦点を当て、これを提供します。あなたがそれを行うために必要な期限は何ですか？月曜日以前にそれを折り込むために。私たちは明日の朝に起きる前までを考えていましたが、もし長くかからないなら、もう一日かかることができます。
GlenWeyl — 今日午後6時39分
@Jason Entenmann と私は間違いなくDocxを共有します。
nishio — 今日午後6時39分
@GlenWeyl 、そんなに時間はかかりません、もう一日お願いします！
GlenWeyl — 今日午後6時40分
わかりました！
nishio — 今日午後6時41分
今日のPDFからのページ番号の特定の実験はかなりうまくいったので、不確実性は大幅に減少しました！
akinori — 今日午後6時40分
（それほど心配しなくても良いようです 😉
協力することが適切であれば、教えてください）
akinori — 今日午後6時49分
（あなた（西尾さん）がコードにセクション-ページのペアを追加したのを見ました。緊急の作業が必要な場合に備えて待機しています。中断して申し訳ありません。）
nishio — Today at 5:00 PM
I've created code to search for keywords only within specified sections and code to output only the first occurrence when keywords appear on consecutive pages. This is the index that has been generated so far.
It's a known issue that the handling of the ⿻ marks is not working properly. I heard that you're editing the docx in a different pipeline from this PDF. If that's the case, there's a possibility that the handling of Unicode characters like this will change, so I'm not addressing it at the moment.
Gist
index.tsv
GitHub Gist: instantly share code, notes, and snippets.
index.tsv
akinori — Today at 5:43 PM
@nishio when you are going to be away (maybe, now) and have something you wish the community to look at, please let us know. I see you took PDF version, it might have different pages from what Jason has been using.
@Jason Entenmann , would you like to share read-only docx version with the community members actively working on indexing so that we can keep both paths open to check the deck in both word (and catch up with docx version in repo to help us to get ready to switch to PDF, if needed and viable)
akinori — Today at 6:30 PM
I am not sure which specific ones that have problems with the ⿻ letter. Just trying to be prepared and ready for joining forces soon, it seems some occurances of ⿻ are accompanied with single-byte double space characters in front of ⿻ . I will stop here. Some of the glitches may come from the sources of docx and pdf being unsynced.
Image
nishio — Today at 6:37 PM
@akinori No, it's not about Markdown. Those are useless because no "page information" in it. I extracted texts from each page of PDF, page by page.
akinori — Today at 6:37 PM
(thank you for sharing.)
nishio — Today at 6:38 PM
And it seems the spacing after ⿻ letter. I can fix it later.
Image
GlenWeyl — Today at 6:38 PM
Nishio, we are well aware of these issues. We will fix them. We are focused on the text beginning with the preface and delivering this to you. What is a good deadline to ensure you have this done and we can fold it in ahead of Monday? We were thinking before you wake up tomorrow, but if you don't need that long, we can take another day.
GlenWeyl — Today at 6:39 PM
@Jason Entenmann and I will definitely share the Docx.
nishio — Today at 6:39 PM
@GlenWeyl I don't need that long, take another day!
GlenWeyl — Today at 6:40 PM
ok!
akinori — Today at 6:40 PM
(sounds like I don't have to worry about it too much 😉
let me know just in case working together makes sense )
nishio — Today at 6:41 PM
Today's experiment with identifying page numbers from the PDF went quite well, so the uncertainty has decreased significantly!
akinori — Today at 6:49 PM
(I saw you (nishio) added section-page pairs in the code. I will be just standing by, just in case for any urgent work needed. I apologize for the interruption. )
2024/4/10
最新版をメールでもらったnishio.icon
https://scrapbox.io/files/6615fee524313e0024518e09.png
そんなところに名前が入るとはwnishio.icon
:igyo:.iconcFQ2f7LRuLYP.icon
Jason Entenmann — Today at 12:34 AM
@nishio - I sent you access to your gmail address for the latest docx manuscript file for you to use for indexing.
nishio — Today at 11:01 AM
@Jason Entenmann Thank you!
nishio — Today at 11:22 AM
@Jason Entenmann I was able to directly convert and download from SharePoint to PDF!
By the way, if possible, could my name be changed from "Nishio Hirokazu" to "NISHIO Hirokazu"? It's a long story, but "nishio" is my surname. Traditionally in Japan, surnames were written first, but when English culture came in, it was perceived as superior to our own culture, leading to the reverse order only in English writing. This was rectified in 2000, with a directive to capitalize and write the surname first in Japanese official documents.
Jason Entenmann — 本日午前12:34
@nishio - 索引作成に使用するための最新のドキュメントファイルへのアクセスを、あなたのGmailアドレス宛に送信しました。
nishio — 本日午前11:01
@Jason Entenmann ありがとうございます！
nishio — 本日午前11:22
@Jason Entenmann 私はSharePointから直接PDFに変換してダウンロードすることができました！
ちなみに、もし可能であれば、私の名前を "Nishio Hirokazu" から "NISHIO Hirokazu" に変更してもらえますか？長い話ですが、"nishio" が私の姓です。日本では、伝統的には姓が先に書かれますが、英語の文化が入ってきたことで、自国の文化よりも優れていると見なされ、英語の文章では逆の順序になりました。これは2000年に修正され、日本の公式文書では姓を最初に書き、大文字で書くように指示されました。
知らんかったcFQ2f7LRuLYP.icon
Jason Entenmann — Today at 11:58 AM
@nishio - absolutely! I’ll change that when I’m back in the document
Jason Entenmann — 本日午前11:58
@nishio - その通りです！文書に戻ったら修正しますね。
2024/4/10後半
nishio — Today at 12:11 PM
The matching of chapters and pages was generated from the latest table of contents data using GPT-4.
@akinori There are no tasks I need help with at the moment, but if you have some free time, I believe providing feedback from a different perspective than mine would be beneficial.
akinori — Today at 12:22 PM
Thank you for setting the expectation, openly and clearly. I was thinking about supplying a certain level of capacity if urgently needed. I may be lacking the context to chime in in the final stage of the first edition.
Thank you for reminding me. I am curious to contribute to the next version, and some other modalities, areas on the web site, etc. My highest interest is to walk with those non-technologists and those who feel irrelevant to any futures.
nishio — Today at 3:50 PM
I fixed a problem in PDF to JSON script, and this change resulted in a decrease in the number of "not found" keywords from 242 to 79!
nishio — Today at 5:04 PM
Now, with Claude 3 Opus, here is index with 1852 items
Here is a comment from Claude 3 Opus
The provided index seems to be from a book related to digital technology, democracy, collaboration, social systems, and more. A few observations:
The index entries cover a very wide range of topics, from specific technologies and platforms to broad social, economic and political concepts. This suggests the book has an ambitious, interdisciplinary scope.
There are many references to Taiwan, suggesting the author may be Taiwanese or the book has a focus on Taiwan's digital development. Figures like Audrey Tang are mentioned.
Futuristic concepts like the metaverse, Web3, decentralized identity, immersive shared reality, AI, etc. feature prominently, hinting at a forward-looking perspective.
The symbol "⿻" appears many times, seemingly as a key concept, but its meaning is unclear. This is the most puzzling aspect and would need explanation.
Some entries use pinyin without tone marks, which is a bit unusual, e.g. "Minquan", "Minzu", "Minsheng".
A few entries have minor typos or inconsistencies, e.g. "Infodemic" is listed twice with different page numbers, "Ethereum community" and "Impact" have no page numbers.
The names of some Chinese historical figures use Wade-Giles romanization instead of pinyin, e.g. Chiang Kai-shek, Chiang Ching-kuo, which is an older convention.
Overall, while very wide-ranging, the index seems to fit the theme of the book based on the description provided. The main oddity is the unexplained "⿻" symbol. Let me know if you need any clarification or have additional questions!
nishio — Today at 5:12 PM
Regarding Pinyin, as a Japanese speaker, I am unable to assess its importance, so I would like to defer judgment to Mandarin speakers.
I reviewed (6) but it is not a correct point.
nishio — Today at 5:41 PM
Now I made PR
After it merged, anyone can review and pullreq on index_for_manual_edit.tsv
@akinori you can join this!
nishio — Today at 5:48 PM
My work for today is done! See you tomorrow! (in 16 hours!)
nishio — 本日午後12:11
章とページの対応は、最新の目次データを使用してGPT-4で生成されました。
@akinori 現在手伝ってほしいタスクはありませんが、もし時間があるなら、私の視点とは異なる視点からのフィードバックを提供することが有益だと思います。
追記: これの話nishio.icon
あなた（西尾さん）がコードにセクション-ページのペアを追加したのを見ました。緊急の作業が必要な場合に備えて待機しています。
akinori — 本日午後12:22
期待を明確に示してくれてありがとう。急な必要性があれば、一定の容量を供給することを考えていました。第1版の最終段階で意見を述べるには文脈が不足しているかもしれません。
思い出させてくれてありがとう。次のバージョンや、ウェブサイトの他のモダリティ、領域に貢献したいと思っています。私の最大の関心は、非技術者や将来に関係ないと感じる人々と共に歩むことです。
nishio — 本日午後3:50
PDFからJSONへの変換スクリプトの問題を修正し、これにより「not found」のキーワードの数が242から79に減少しました！
nishio — 本日午後5:04
Claude 3 Opusで、1852項目の索引があります。
Claude 3 Opusからのコメントです。
提供された索引は、デジタル技術、民主主義、協力、社会システムなどに関連する書籍のようです。いくつかの観察点：
索引の項目は、具体的な技術やプラットフォームから広範な社会、経済、政治的概念まで非常に幅広いトピックをカバーしています。これは、この書籍が野心的で学際的な範囲を持っていることを示唆しています。
台湾に関する言及が多く、著者が台湾人であるか、書籍が台湾のデジタル開発に焦点を当てている可能性があります。オードリー・タンなどの人物が言及されています。
メタバース、Web3、分散型アイデンティティ、没入型共有現実、AIなどの未来志向の概念が目立ちます。これは、先見性のある視点を示唆しています。
"⿻"という記号が多数現れますが、その意味は不明です。これは最も困惑する点であり、説明が必要です。
一部の項目は、声調記号のないピンインを使用しており、これはやや異例です。例：「民權」「民族」「民生」。
一部の項目には、わずかなタイプミスや一貫性のなさがあります。例えば、「Infodemic」が異なるページ番号で2回リストされている、"Ethereum community"や"Impact"にはページ番号がありません。
一部の中国の歴史的人物の名前は、ピンインではなくウェード＝ギルズのローマ字表記を使用しています。例：蔣介石、蔣経国。これは古い慣習です。
全体的に、非常に幅広いですが、提供された説明に基づいて、索引は書籍のテーマに合っているようです。主な特異性は説明されていない"⿻"記号です。追加の質問や説明が必要な場合はお知らせください。
nishio — 本日午後5:12
Pinyinに関しては、日本語話者としてその重要性を評価することができないため、私は普通話話者に判断を委ねたいと思います。
(6)をレビューしましたが、それは正しいポイントではありませんでした。
nishio — 本日午後5:41
今、PRを作成しました。
マージされた後、誰でもindex_for_manual_edit.tsvでレビューおよびプルリクを作成できます。
@akinori あなたも参加できます！
nishio — 本日午後5:48
今日の作業は終了です！また明日お会いしましょう！（16時間後に！）