最初できないかと思ったけど、WebExceptionのResponseプロパティで取得できた。
HttpWebRequest.GetResponse()は、ステータスコードが2xx以外の場合は例外WebExceptionをスローするようである。例外をcatchしてResponseを見ればよい。

try
{
    using (HttpWebResponse response = (HttpWebResponse)myHttpWebRequest.GetResponse()) {
        // ...
    }
}
catch (WebException e)
{
    using (HttpWebResponse response = (HttpWebResponse)e.Response) {
        // ...
    }
}

.Net HttpWebRequest.GetResponse() raises exception when http status code 400 (bad request) is returned - Stack Overflow