Expressで1GB以上のAPIレスポンスを返すテクニック

scrapboxの

全部やるとメモリ使用量が超安定する

before / after

基本方針：メモリ上に大きな文字列（JSONなど）を保持しない

それ以上のデータは扱えない

巨大な文字列ができる所

JSON.parseの引数やJSON.stringifyの返り値

streamの送信バッファ

これらを対策すると解決できる

BAD

大きな1つのJSON stringが作られてしまう

GOOD

JSONの中の小さなパーツを作って送出していく

HTTPのコネクションはつなぎっぱなし

詳しい解説

stream/pipeline処理しやすいデータフォーマットを採用する

chunk分割はJSONでも可能だが、もっと良い方法もある

受信側にも優しい

JSONは最後までダウンロードしないとparseできない

事前にschemaが決まっていればparseできなくもないが

行指向データなら1行ダウンロードする毎にparseできる

parse前の文字列の方は破棄できる

ダウンロードとparseとその後の処理を並行して実行できる

JSON Linesならダウンロードした部分から処理を開始できる

JSONだと30分まってダウンロード完了してからじゃないと処理できない

将来的にもっと大きなデータ量になっても対応できる余地がある

code:js

router.get('/export', (req, res) => {

let streamClosed = false

res.once('error', () => (streamClosed = true))

res.once('close', () => (streamClosed = true))

req.once('close', () => (streamClosed = true))

// 略

if (streamClosed) return res.end()

なので片方で十分なはずだが、念の為両方を見ておく

DB→appの方がapp→インターネットよりも当然速い

送信バッファ

code:js

import delay from '@notainc/delay'

async function writeLine(line) {

while (!streamClosed && res.writableLength > 0) {

await delay(10)

}

res.write(line)

res.write('\n')

}