-Go- Unicode? UTF-8? byte型, rune型とは

Unicodeとは

人間界の文字列をコンピュータが理解できるように16進数で表してマッピングしたもの。

UTF-8とは

Goはcodepointを表す符号化方式としてUTF-8を採用している。符号化方式とはUnicodeのcode pointをコンピュータが扱うデータ形式(バイト列)に置き換えるための規則のこと。符号化方式によってcode pointを何byteで扱うのかが異なる。

UnicodeをUTF-8で符号化する方法については以下の記事が分かりやすい。

https://gyazo.com/7615d752e93b24e1372418a43adb489f

ちなみに、UTF-8, UTF-16, UTF-32 はUnicodeのcode pointを8bit単位, 16bit単位, 32bit単位で符号化した符号化方式のことです。

byte型とは

Goでstringにインデックスでアクセスするとbyte型(unit8)が返ってくる。

code: Go

s := "あ"

fmt.Printf("%x", []byte(s)) // e38182

// %x は16進数での表現を意味する

rune型とは

文字をbyte型の配列で表すことができたけど、文字によって何バイトで表されるのかが変わってしまい厄介。例えば、アルファベットは2byte, ひらがなは3byte, 絵文字は4byteとbyte配列の長さが変わってしまう。

そこでGoではUnicodeのcode pointをそのままバイト文字列として扱える(表すことができる)int32型(rune型)を用意している。(疑問点: rune型はUTF-32と同じ値になるってこと？)

code: Go

s := "あ"

fmt.Printf("%x", []rune(s)) // 3042

fmt.Printf("%x", 'あ') // 3042

また、Goではシングルクウォートで文字を囲うことでrune型を表現することができる。

これで何となく文字列(string型)をrangeで回した時に値がrune型となるのかが分かった。

code: Go

for _, v := range "すぎた" {

// v はrune型として取り出される。

}

rune型であれば確実に一文字ずつ(4byte単位で大きく。大は小を兼ねる作戦か。)取り出せるわけだ。文字列を扱いたい時はrune型(int32)単位で取れると便利だっていうことか。byteだったら「す」だけで3つも値があるからおかしい。もし文字列を1byte単位で回してたら何回回してんねん！ってツッコミたくなるはずだ。

あと文字にindexでアクセスする時にbyte文字列が取れる理由も何となく分かった。

code: GO

文字はbyte配列で構成されているからだ。あたり前だけど。

感想&分からないこと

code: Go

参考: