tokenize(Python標準ライブラリ)
https://docs.python.org/ja/3/library/tokenize.html
使用例
スクリプトを書き換える例
コマンドラインからトークナイズする例
https://docs.python.org/ja/3/reference/lexical_analysis.html
に続く話題
コマンドラインからトークナイズする例
python -m tokenize hello.py
tokenize
にはbytesを渡す
generate_tokens
にはstrを渡す
Tokenize a source reading unicode strings instead of bytes.