web-dev-qa-db-ja.com

cURLを使用してリモートファイルを部分的にダウンロードするにはどうすればよいですか？

CURLを使用してリモートファイルを部分的にダウンロードすることは可能ですか？たとえば、リモートファイルの実際のファイルサイズは1000KBです。最初の500KBのみをダウンロードするにはどうすればよいですか？

phpcurl
21
Ken

Php-curl拡張子を使用して範囲ヘッダーパラメーターを設定することもできます。

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.spiegel.de/');
curl_setopt($ch, CURLOPT_RANGE, '0-500');
curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($ch);
curl_close($ch);
echo $result;

ただし、前述のように、サーバーがこのヘッダーを尊重せずにファイル全体を送信すると、curlはすべてのヘッダーをダウンロードします。例えば。 http://www.php.net ヘッダーを無視します。ただし、（さらに）書き込み関数のコールバックを設定し、さらにデータを受信したときにリクエストを中止することができます。

// php 5.3+ only
// use function writefn($ch, $chunk) { ... } for earlier versions
$writefn = function($ch, $chunk) { 
  static $data='';
  static $limit = 500; // 500 bytes, it's only a test

  $len = strlen($data) + strlen($chunk);
  if ($len >= $limit ) {
    $data .= substr($chunk, 0, $limit-strlen($data));
    echo strlen($data) , ' ', $data;
    return -1;
  }

  $data .= $chunk;
  return strlen($chunk);
};

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.php.net/');
curl_setopt($ch, CURLOPT_RANGE, '0-500');
curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1);
curl_setopt($ch, CURLOPT_WRITEFUNCTION, $writefn);
$result = curl_exec($ch);
curl_close($ch);
36
VolkerK

ドキュメントの最初の100バイトを取得します。

curl -r 0-99 http://www.get.this

マニュアルから

あなたが現代のカールを持っていることを確認してください

17
SpliFF

ニースソリューションVolkerKをありがとう。ただし、このコードを関数として使用する必要があったので、これが私が思いついたものです。他の人にも役立つことを願っています。主な違いは、use（$ limit、＆$ datadump）であるため、制限を渡すことができ、参照変数$ datadumpを使用して結果としてそれを返します。一部のWebサイトでは、ユーザーエージェントヘッダーがないとアクセスが許可されないため、CURLOPT_USERAGENTも追加しました。

チェック http://php.net/manual/en/functions.anonymous.php

function curl_get_contents_partial($url, $limit) {
  $writefn = function($ch, $chunk) use ($limit, &$datadump) { 
    static $data = '';

    $len = strlen($data) + strlen($chunk);
    if ($len >= $limit) {
      $data .= substr($chunk, 0, $limit - strlen($data));
      $datadump = $data;
      return -1;
    }
    $data .= $chunk;
    return strlen($chunk);
  };

  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');
  //curl_setopt($ch, CURLOPT_RANGE, '0-1000'); //not honored by many sites, maybe just remove it altogether.
  curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1);
  curl_setopt($ch, CURLOPT_WRITEFUNCTION, $writefn);
  $data = curl_exec($ch);
  curl_close($ch);
  return $datadump;
}

使用法：
$ page = curl_get_contents_partial（ ' http://some.webpage.com '、1000）; //最初の1000バイトを読み取ります
echo $ page //または、結果に対して何でもします。

2
upteryx

これはあなたの解決策かもしれません（ダウンロード最初の500KBにoutput.txt）

curl -r 0-511999 http://www.yourwebsite.com > output.txt
  • 511999は500^1024-1
0
amir beygi