HTTPプロキシ
HTTPおよびHTTPSトラフィックのみを扱うプロキシ。ブラウザやスクレイピングツールで広くサポートされています。
HTTPプロキシは、クライアントとインターネットの間でHTTPおよびHTTPSリクエストを転送します。最も一般的なプロキシの種類で、すべてのウェブブラウザ、ほとんどのスクレイピングライブラリ、自動化ツールでネイティブにサポートされています。
HTTPプロキシはリクエストヘッダを検査できるため、キャッシュ、認証、コンテンツフィルタリングなどの機能を提供できます。ウェブスクレイピングとブラウザ自動化の標準的な選択肢です。
仕組み
プレーンHTTPでは、クライアントはプロキシに完全なURLを送信し、プロキシが代わりにリクエストを発行します。HTTPSではクライアントはまずホストとポートを指定したCONNECTリクエストを送信し、プロキシはTCPトンネルを開きます。以降はTLSハンドシェイクがクライアントとオリジン間でエンドツーエンドに行われるため、プロキシは復号されたペイロードを見ることはありません。HTTPプロキシが証明書検証を破ることなくHTTPSトラフィックをルーティングできるのはこのためです。
認証は通常、プロキシURL内のベーシック認証です:http://user:pass@gateway:port。すべての主要ライブラリ(requests、httpx、Scrapy、Playwright、Puppeteer、undici、GoのHTTPライブラリなど)がネイティブで読み取ります。ブラウザ自動化では起動時に--proxy-serverを渡し、認証情報ヘルパーを使います。MurphyのHTTPゲートウェイはSOCKS5と同じエンドポイントで、プロトコルの切り替えはクライアント側で行います。ほとんどのチームはすべてのツールが標準対応しているHTTPに固執しています。