httpクライアントBodyの読み残し問題

main.go

package main

import (
	"crypto/tls"
	"encoding/json"
	"fmt"
	"io"
	"io/ioutil"
	"log"
	"net/http"
	"time"
)

func withDrain(client *http.Client, url string) interface{} {
	resp, err := client.Get(url)
	if err != nil {
		log.Fatal(err)
	}
	defer func() {
		io.Copy(ioutil.Discard, resp.Body)
		resp.Body.Close()
	}()
	fmt.Println(url, resp.Status)
	var v interface{}
	if err := json.NewDecoder(resp.Body).Decode(&v); err != nil {
		log.Fatal(err)
	}
	return v
}

func withoutDrain(client *http.Client, url string) interface{} {
	resp, err := client.Get(url)
	if err != nil {
		log.Fatal(err)
	}
	defer func() {
		resp.Body.Close()
	}()
	fmt.Println(url, resp.Status)
	var v interface{}
	if err := json.NewDecoder(resp.Body).Decode(&v); err != nil {
		log.Fatal(err)
	}
	return v
}

func run(url string) {
	client := &http.Client{
		CheckRedirect: func(req *http.Request, via []*http.Request) error {
			log.Println(via)
			return nil
		},
		Transport: &http.Transport{
			TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
		},
	}
	for i := 0; i < 2; i++ {
		begin := time.Now()
		withDrain(client, url)
		fmt.Println("with-dorain:", i+1, time.Since(begin))
	}
	client = &http.Client{
		CheckRedirect: func(req *http.Request, via []*http.Request) error {
			log.Println(via)
			return nil
		},
		Transport: &http.Transport{
			TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
		},
	}
	for i := 0; i < 2; i++ {
		begin := time.Now()
		withoutDrain(client, url)
		fmt.Println("without-dorain:", i+1, time.Since(begin))
	}
}

func main() {
	run("https://api.github.com/repos/nobonobo/jsonrpc")
}

$ go run main.go 
https://api.github.com/repos/nobonobo/jsonrpc 200 OK
with-dorain: 1 803.654857ms
https://api.github.com/repos/nobonobo/jsonrpc 200 OK
with-dorain: 2 225.665911ms
https://api.github.com/repos/nobonobo/jsonrpc 200 OK
without-dorain: 1 809.395476ms
https://api.github.com/repos/nobonobo/jsonrpc 200 OK
without-dorain: 2 793.444934ms

without-dorainだといつも800ms前後かかっちゃう・・。

google/go-github#317 問題のIssue

でもこれをGoのサーバーに振り向けると問題が再現しないのですー。

全く同じ内容のJSONをファイルにいれてServeFileで返しても問題が再現しない。(no-chunked)

確かにwithoutDrainではearlyCloseFnが呼ばれ再接続するみたい。withDrainならearlyCloseFnは呼ばれない。
しかし、ドレイン時のio.Copyはゼロとerror(nil)を返すのか。

何か複合条件があるのかなぁ？

全く同じ内容のJSONをレンタルサーバーのApacheからサーブしても問題が再現しない。

github-apiのレスポンスヘッダー

HTTP/1.1 200 OK
Access-Control-Allow-Origin: *
Access-Control-Expose-Headers: ETag, Link, X-GitHub-OTP, X-RateLimit-Limit, X-RateLimit-Remaining, X-RateLimit-Reset, X-OAuth-Scopes, X-Accepted-OAuth-Scopes, X-Poll-Interval
Cache-Control: public, max-age=60, s-maxage=60
Content-Length: 4956
Content-Security-Policy: default-src 'none'
Content-Type: application/json; charset=utf-8
Etag: "445ad429c42b15b94b68c582c723d12e"
Last-Modified: Tue, 07 Apr 2015 23:57:49 GMT
Status: 200 OK
Strict-Transport-Security: max-age=31536000; includeSubdomains; preload
Vary: Accept
Vary: Accept-Encoding
X-Content-Type-Options: nosniff
X-Frame-Options: deny
X-Github-Media-Type: github.v3
X-Github-Request-Id: 3A004893:36CA:10971306:56FA50C4
X-Ratelimit-Limit: 60
X-Ratelimit-Remaining: 22
X-Ratelimit-Reset: 1459247634
X-Served-By: 474556b853193c38f1b14328ce2d1b7d
X-Xss-Protection: 1; mode=block
Date: Tue, 29 Mar 2016 10:01:42 GMT

Apacheでサーブしたときのレスポンスヘッダー

HTTP/1.1 200 OK
Date: Wed, 30 Mar 2016 00:40:19 GMT
Server: Apache/2.2.31
Last-Modified: Wed, 30 Mar 2016 00:39:18 GMT
ETag: "a9129ab-135c-52f39603ff980"
Accept-Ranges: bytes
Content-Length: 4956
Content-Type: application/json

gzipレスポンスを返すようにしたら再現した。http.Clientは Accept-Encodingにgzipを含めるのか。

それで https://go-review.googlesource.com/#/c/21290/ このパッチというわけか。

そして上記は取りやめになって https://go-review.googlesource.com/#/c/21291/3/src/net/http/transport.go httpのtransportが修正・マージされましたと。

結果は golang/go@18072ad これ。