用語の定義
ローテーションプロキシ
リクエストごとまたは一定間隔で自動的にIPアドレスを切り替えるプロキシ構成。
ローテーションプロキシは、IPアドレスのプールを自動的に切り替えます。リクエストごと、または設定した時間間隔(例:10分ごと)で切り替えが行われます。ローテーションによりレート制限を回避でき、トラフィックが多数の異なるユーザーから来ているように見せられます。
2種類のローテーション:
- リクエストごとのローテーション:HTTPリクエストごとに新しいIP(スクレイピングに最適)
- スティッキーセッション:設定時間中は同じIP(ログイン状態を維持する用途に最適)
仕組み
ローテーションはクライアント側ではなくゲートウェイ側で実装されています。あなたは毎回同じ認証情報で単一のエンドポイント(Murphyの場合:gateway.murphyproxies.com:8888)に接続し、ゲートウェイがリクエストごとに送信IPを選びます。判定はユーザー名でキーイングされます。デフォルトのユーザー名はリクエストごとのローテーションを発動し、session-
リクエストごとのローテーションはスクレイピングのデフォルトとして最適です。典型的な10万ページのクロールでは、プール全体で数千の異なるIPが使われ、ターゲットのIPごとのレート制限の下に留まることができます。スティッキーローテーションは、セッション状態に依存するもの(ログイン済みカート、マルチステップフォーム、解決に2リクエスト必要なCAPTCHAなど)に向いています。ユーザー名を入れ替えれば、パイプラインの途中で戦略を変更できます。インフラ変更も別エンドポイントの呼び出しも不要です。