Twitterの画像をScrapboxに引用するスクリプトを作る

（のりしろ）

自分で作ることにした

できたもの

Scrapboxから実行することにこだわらないほうが簡単で便利かも？わからん。

---

できるまでのログ

Twitterの画像をScrapboxに引用するスクリプトを作る

Denoだとこんな感じでHTMLから復元できるなぁ

code:ts

const ACCOUNT_NAME = "motoso";

const ID = '1637434235534589952';

async function getLatestTweet() {

const browser = await puppeteer.launch();

// TwitterのプロフィールページのURLを構築する

const page = await browser.newPage();

// UAを設定しないとサポートされていないブラウザ扱いになる

page.setUserAgent(

"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"

)

await page.goto(url);

// ツイート表示まで待つ。要素表示まで待つに変更したい

await new Promise(r => setTimeout(r, 2000));

const html = await page.content();

await browser.close();

// Cheerioを使用して、HTMLからツイートのテキストを抽出する

const $ = load(html);

const lines :string[] = [];

const tweetTextElement = $('#react-root > div > div > div.css-1dbjc4n.r-18u37iz.r-13qz1uu.r-417010 > main > div > div > div > div > div > section > div > div > div:nth-child(1) > div > div > article > div > div > div:nth-child(3) > div:nth-child(2)')

const tweetText = tweetTextElement.text()

lines.push(tweetText)

// 最初のidが毎回変わるみたい

// TODO: 画像をGyazoに送りつける

lines.push(imageURl)

return(lines.join('\n'))

}

console.log(await getLatestTweet());

こういうのをUserScriptから呼び出せるかな？

流石に重そう

いい方法はあるだろうか

deno、プロジェクトを作るのを考えずにコードを書いたらすぐ動くのいいな〜

twitter.comの内部APIを借りて取得する

現状見る限りTwitterのAPIまわりはめちゃくちゃになっていそうなので、真面目に守る必要性をあんまり感じない

ここまでTwitterの公式APIが壊れてるなら、なりふり構ってられない

もう作っているひといたのか

自分だけrobots.txt守っているのもばからしいな(モラルハザード)

もっといろんなAPIを叩いていた覚えがあるのだが……

まあ試せばわかるか

code:js

window.getTweet = async (id, lang = "en") => {

const params = new URLSearchParams([

// 不要だった

]);

headers: {

"content-type": "application/json; charset=utf-8",

},

});

return await res.json();

};

https://gyazo.com/ebe0f523bba9771d49acd06016b334ff

展開先URLも含まれている

倫理面もクリア！！！

$ await window.getTweet('1637434235534589952')

code:js

const lines = [];　

const text = tweet.text

// URLの置換

let replacedText = '';

tweet.entities.urls.forEach(i => {

replacedText = text.replace(i.url, i.expanded_url)

})

lines.push(replacedText)

// TODO: Gyazoにアップロードする

lines.push(tweet.photos.map(u => u.url).join('\n'))

lines.join('\n')

TODO

TwitterのURLの場合だけこっちが読み出されるようにしたい

Gyazoアップロード機能

連ツイはどうすれば取得できる？

当時、内部向けにしかないのかーと思った

2.0なら取れるかも？

認証不要、RateLimitなし

APIなのでrobot.txtで不許可にもしていない

画像ではなくHTMLが取れる

widgets.jsがiframeを作っていた、残念