web-dev-qa-db-ja.com

phantomjsでプロキシを設定する方法

これ https://www.npmjs.com/package/phantom#functionality-details ページは言う：

Phantom.create（）に追加の引数を指定することで、コマンドラインスイッチをphantomjsプロセスに渡すこともできます。例：

phantom.create '--load-images=no', '--local-to-remote-url-access=yes', (page) ->

または、options *オブジェクトで指定する：

phantom.create {parameters: {'load-images': 'no', 'local-to-remote-url-access': 'yes'}}, (page) ->

これらの例はコーヒースクリプトにのみあり、作成関数が取ることができることをほのめかします

create('string',function)

または

create([object object],function)

しかし、実際に期待される最初のパラメーターは関数です！

私は本当に試したかった http://phantomjs.org/api/command-line.html 間違った考えがあるかもしれませんが、私にはそれらがcreate関数で使用できるように見えます（直前にあなたはcreatePageを行います）、私は間違っていますか？

私はいくつかのことを試しましたが、最も論理的なものはこれです：

var phantom = require('phantom');
phantom.create(function(browser){
    browser.createPage(function(page){
        page.open('http://example.com/req.php', function() {

            });},{parameters:{'proxy':'98.239.198.83:21320'}});});

したがって、ページが開きます。これは、req.phpで$ _SERVERオブジェクトをtxtパッドに保存するためですが、REMOTE_ADDRおよびREMOTE_PORTヘッダーは、設定したプロキシのヘッダーではありません。効果はありません。私も試しました：

{options:{'proxy':'98.239.198.83:21320'}}

ドキュメントがそのオブジェクトを呼び出すので、options *オブジェクト*上記を参照^

そして

'--proxy=98.239.198.83:21320'

また、ファントムモジュールを介してDigでcreate関数を見つけました。 jsで書かれていないので、少なくとも見えません。 C++である必要があります。このモジュールは更新されたようですが、モジュール内部の例は古いコードのように見えます。

どうすればよいですか？

編集：

var phantom = require('phantom');
phantom.create(function(browser){
    browser.createPage(function(page){

    browser.setProxy('98.239.198.83','21320','http', null, null, function(){

    page.open(
        'http://example.com/req.php', function() {

         });});});});

これによりエラーは発生せず、ページは削られますが、プロキシは無視されます。

node.jsproxyphantomjs
13
Ben Muircroft
{ parameters: { 'proxy': 'socks://98.239.198.83:21320' } }

彼らはドキュメントを更新しませんでした。

4
Ben Muircroft

ファントム2.0.10バージョンに関しては、次のコードは私のWindowsマシンで非常にうまく実行されています

  phantom.create(["--proxy=201.172.242.184:15124", "--proxy-type=socks5"])
      .then((instance) => {
          phInstance = instance;
          return instance.createPage();
      })
      .then((page) => {
          sitepage = page;
          return page.open('http://newsdaily.online');
      })
      .then((status) => {
          console.log(status);
          return sitepage.property('title');
      })
      .then((content) => {
          console.log(content);
          sitepage.close();
          phInstance.exit();
      })
      .catch((error) => {
          console.log(error);
          phInstance.exit();
      });
6
Suben Saha

時間が経過しているため、PhantomJSはプロキシを「オンザフライ」で（ページ単位でも）設定できるようになりました。次のコミットを参照してください。 https://github.com/ariya/phantomjs/commit/efd8dedfb574c15ddaac26ae72690fc2031e6​​749

これは、新しいsetProxy関数の使用例です（Webページ設定の使用法が見つかりませんでした。これは、ファントムのインスタンスでのプロキシの一般的な使用法です）。

https://github.com/ariya/phantomjs/blob/master/examples/openurlwithproxy.js

ページごとのプロキシが必要な場合は、プロキシに完全なURLを使用します（スキーマ、ユーザー名、パスワード、ホスト、ポート-すべてのURL）

3
deksden

ファントムnpmパッケージとco npmパッケージを使用します。

co(function*() {
  const phantomInstance = yield phantom.create(["--proxy=171.13.36.64:808"]);
  crawScheduler.start(phantomInstance);
});
2
qinggangxu

phantomjs-nodejsのGithubの問題 を理解しようとすることの副作用として、次のようにプロキシを設定できました。

phantom = require 'phantom'
parameters = {
    loadimages: '--load-images=no',
    websecurity: '--web-security=no',
    ignoresslerrors: '--ignore-ssl-errors=yes',
    proxy: '--proxy=10.0.1.235:8118',
}
urls = {
    checktor: "https://check.torproject.org/",
    google: "https://google.com",
}

phantom.create parameters.websecurity, parameters.proxy, (ph) ->
  ph.createPage (page) ->
    page.open urls.checktor, (status) ->
      console.log "page opened? ", status
      page.evaluate (-> document.title), (result) ->
        console.log 'Page title is ' + result
        ph.exit()

プロキシがTorを使用した結果は次のとおりです。

ページを開きましたか？成功

ページタイトルはおめでとうございます。このブラウザーはTorを使用するように構成されています。

2
dmmfll

私はWindows cmdからPhantomJSを実行していますが、使用する構文はhttp://を付けなかった場合に気づいたものとは少し異なります。

var page = require('webpage').create();
page.settings.loadImages = false;  //    
page.settings.proxy = 'http://192.168.1.5:8080' ; 
page.settings.userAgent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.120 Safari/537.36';
page.open('http://some.com/page', function() {
  page.render('some.png');
  phantom.exit();
});
1
Salem

Nodejsのさらに別のソリューション：

const phantomInstance = await require('phantom').create();
const page = await phantomInstance.createPage();

// get current settings:
var pageSettings = await page.property('settings');
/*
{
  XSSAuditingEnabled: false,
  javascriptCanCloseWindows: true,
  javascriptCanOpenWindows: true,
  javascriptEnabled: true,
  loadImages: true,
  localToRemoteUrlAccessEnabled: false,
  userAgent: 'Mozilla/5.0 (Unknown; Linux x86_64) ... PhantomJS/2.1.1 Safari/538.1',
  webSecurityEnabled: true
}
*/

pageSettings.proxy = 'https://78.40.87.18:808';

// update settings (return value is undefined):
await page.property('settings', pageSettings);

const status = await page.open('https://2ip.ru/');

// show IP:
var ip = await page.evaluate(function () {
    var el = document.getElementById('d_clip_button');
    return !el ? '?' : el.textContent;
});
console.log('IP:', ip);

特定のページ内でプロキシを設定するオプションです。

1
Bars

CoffeeScriptの例は少し奇妙です。それは、browserではなく_phantom.create_のコールバックに渡されるのがpageであるためです。 コード 。

_var phantom = require('phantom');
phantom.create({
    parameters: {
        proxy: '98.239.198.83:21320'
    }
}, function(browser){
    browser.createPage(function(page){
        page.open('http://example.com/req.php', function() {
            ...
        });
    });
});
_

プロキシ設定は、ページを開くときではなく、プロセスの作成時に設定されます。 PhantomJSにはドキュメントに記載されていないphantom.setProxy()関数が含まれていますが、スクリプトの途中でプロキシ設定を変更できます。ファントムモジュールも サポートする のようです。

0
Artjom B.