HTTPのTransfer-Encoding: chunkedした時のデータの増量は0.0174%程度だった

知りたいこと

検証方法

code:bash

echo -e "HTTP/1.1 100 Continue\r\n\r\nHTTP/1.1 204 No Content\r\nContext-Length: 0\r\n\r\n" | nc -l 8282

code:bash

seq 100 | curl -T- localhost:8282

code:bash

$ echo -e "HTTP/1.1 100 Continue\r\n\r\nHTTP/1.1 204 No Content\r\nContext-Length: 0\r\n\r\n" | nc -l 8282

PUT / HTTP/1.1

Host: localhost:8282

User-Agent: curl/7.70.0

Accept: */*

Transfer-Encoding: chunked

Expect: 100-continue

124

1

2

3

...

HTTPヘッダはどれも128バイトになる。（参照: おまけ）

利用するファイル

以下の大きさのファイルを用意した。

結果

table:結果

ファイル名

100MB.dat 0.01760387421% 増加

500MB.dat 0.01631984711%増加

1GB.dat 0.01842053607%増加

おまけ

生結果

計算結果の誤りが分かるように生の結果を載せる。

各ファイルの大きさ。

code:bash

$ ls -l *

-rw------- 1 Ryo staff 104857600 Jun 20 22:18 100MB.dat

-rw-r--r-- 1 Ryo staff 104876187 Jun 20 22:23 100MB_res.txt

-rw------- 1 Ryo staff 1073741824 Jun 20 22:18 1GB.dat

-rw-r--r-- 1 Ryo staff 1073939741 Jun 20 22:29 1GB_res.txt

-rw------- 1 Ryo staff 524288000 Jun 20 22:18 500MB.dat

-rw-r--r-- 1 Ryo staff 524373691 Jun 20 22:26 500MB_res.txt

レスポンスのヘッダ部分の大きさ。

以下からヘッダが0x80バイトなので128バイト。

code:bash

$ xxd 100MB_res.txt | head

00000000: 5055 5420 2f20 4854 5450 2f31 2e31 0d0a PUT / HTTP/1.1..

00000010: 486f 7374 3a20 6c6f 6361 6c68 6f73 743a Host: localhost:

00000020: 3832 3832 0d0a 5573 6572 2d41 6765 6e74 8282..User-Agent

00000030: 3a20 6375 726c 2f37 2e37 302e 300d 0a41 : curl/7.70.0..A

00000040: 6363 6570 743a 202a 2f2a 0d0a 5472 616e ccept: */*..Tran

00000050: 7366 6572 2d45 6e63 6f64 696e 673a 2063 sfer-Encoding: c

00000060: 6875 6e6b 6564 0d0a 4578 7065 6374 3a20 hunked..Expect:

00000070: 3130 302d 636f 6e74 696e 7565 0d0a 0d0a 100-continue....

00000080: 6666 6634 0d0a 0000 0000 0000 0000 0000 fff4............

00000090: 0000 0000 0000 0000 0000 0000 0000 0000 ................

チャンクのサイズがテキストは言えどあまり増えないだろうと思っていたが、実際に計測してみてあまり増えないことが分かった。

この結果は使うHTTPクライアントによってチャンクする大きさが異なると予想されるためのcurlだけではなく他のHTTPクライアントでも検証してみたかった。