web-dev-qa-db-ja.com

プロキシを介したhttplibのトンネリング

プロキシを介してサーバーにデータを送信する方法を理解しようとしています。私はこれがtorを通じて可能になることを望んでいましたが、torがSOCKSを使用しているため、httplibではそれは明らかに不可能です（間違っている場合は修正してください）

これは私が今持っているものです

import httplib
con = httplib.HTTPConnection("google.com")
con.set_tunnel(proxy, port)
con.send("Sent Stuff")

問題は、トンネルが設定されるとフリーズするように見えることです。ご協力いただきありがとうございます。

pythonsocketsproxytunnelhttplib
17
Max00355

Httpプロキシを使用する場合は、次のようになります。

import httplib
conn = httplib.HTTPConnection(proxyHost, proxyPort)
conn.request("POST", "http://www.google.com", params)

SOCKSプロキシを使用する場合は、この質問のようにSocksiPyを使用できます。 rllib2でSOCKS 4/5プロキシを使用するにはどうすればよいですか？

17
Khue Vu

正解は次のようになります。

http://bugs.python.org/issue11448#msg13041

import httplib
con = httplib.HTTPConnection(proxyHost, proxyPort)
con.set_tunnel("www.google.com", 80)
con.send("Sent Stuff")
6
Pablo Alcubilla

Khue Vuの回答のフォローアップとして、ここに完全な例を示します。これをSOCKSプロキシで動作させる詳細は、予想よりも複雑でした。

最初にPySocksをインストールします。

pip install PySocks

次に、HTTPConnectionをインスタンス化し、プロキシを使用することを通知した後、SOCKSプロキシを手動で設定する必要があります。

from http.client import HTTPConnection
from urllib.parse import urlparse, urlencode

import socks

url = urlparse("http://final.destination.example.com:8888/")

conn = HTTPConnection('127.0.0.1', 9000) # use socks proxy address
conn.set_tunnel(url.netloc, url.port) # remote Host and port that you actually want to talk to
conn.sock = socks.socksocket() # manually set socket
conn.sock.set_proxy(socks.PROXY_TYPE_SOCKS5, "127.0.0.1", 9000) # use socks proxy address
conn.sock.connect((url.netloc, url.port)) # remote Host and port that you actually want to talk to

request_path = "%s?%s" % (url.path, url.query)
conn.request("POST", request_path, post_data)

上記のインポートはpython3.xであることに注意してください

2
user3617786