cURLを使用したサイトスクレイピングはどの程度「合法」ですか？
最近、cURLを試していましたが、多くの可能性があることがわかりました。オンラインの曲を再生する音楽サイトをクロールする小さなスクリプトを作成しました。実験の途中で、曲のソースをクロールすることも可能であることがわかりました。（そのサイトはダウンロードを提供していません）。
私は知っておくべきことだけです..サイトをクロールすることは完全に合法ですか？ http and port '80'を使用することを意味します、
市場で入手可能なダウンロードマネージャーは失われており、ほとんどすべてのサイトからダウンロードできます。これらはすべて有効で合法です。
あなたの質問に対する答えは正確にイエスです。唯一の可能な例外は、cURLが静的にリンクされたSSLサポートを使用して構築されている場合、または米国から敵対的と見なされる数少ない国の1つにエクスポートしている場合、あなたの国での暗号化です。
一般に、サイトの公開されているWebページをスクレイピングすることも合法です。ブラウザに表示されるすべてのページを1つずつダウンロードすれば、問題は発生しません。他の用途で問題を引き起こし始めた場合、それはサービス拒否攻撃と見なされる可能性があります。また、サイトの利用規約を確認する必要があるかもしれませんが、すでにダウンロードして表示しているため、大きな違いはありません（せいぜい微妙な技術です）。
ただし、音楽のダウンロードはそれだけです。 Limewire、uTorrent、Megaupload、Flashget、cURLのいずれを使用していても、音楽をダウンロードしていることになります。アーティスト/レコードレーベルがそう言っている場合、ライセンスを所有している場合、または一般的に法的に許可されている場合、これは合法です。
したがって、cURLは完全に合法です。しかし、他のものと同様に、それを使って行うことはそうではないかもしれません。
IMDB.comは、利用規約の一部として、サイトでこのようなスクレーパーを使用することを明示的に禁止しています。
ここに担当者がいないため、回答にコメントすることはできませんが、ウェブサイトの利用規約によっては合法ではない可能性があるとの回答がいくつかあります。そして、これは微妙な技術ですが、それが事実である場合、それはまだ合法ですが、契約違反または著作権違反で民事的に訴えられる可能性があります（著作権違反も刑事違法である可能性があります）。しかし、一般的に、ウェブサイトのTOSがあなたが何かをすることができないと言っているからといって、彼らがあなたにそれをすることを禁じる法的権限を持っているという意味ではありません。
一般的に、それをどうするか、それをどのように取得するかが重要です。 IE、CDをコピーすることはできますが、そのCDをどうしましたか？あなたはそれを誰かに売ったのですか（違法）、それとも単に古いCDの上の棚に置いて、傷のないコピーを手に入れましたか（合法）。同様に、音楽を完全に所有している場合でも、他の人が使用する場合でも、自分で使用するためにコピーする権利しかありません。
ここに質問があります。一般に、インターネットに関して言えば、それを公開する権利を持つ誰かによって「公開」されており、それがそうではない無料で使用できる（IE a TOS）という規定がない場合、その場合、通常、非営利的な方法でそれを使用することは公正なゲームと見なされます。しかし、コンテンツがWebページの「表示」部分の一部でもなく、取得/アクセスするためにソーススクレイピングとフォルダーサーフィンが必要な場合はどうでしょうか。それは「パブリック」ネットワーク上にあり、安全でない手段でアクセスできるかもしれませんが。これは、ドアを開けたままにしているために誰かの家を奪うことができると主張するようなものです。これは少し類似していますが、ある程度は有効です。ページにリンクがない場合は、コンテンツが「公開」されていないため、アクセスする権利がない可能性があります。
しかし、それはおそらく何も大したことではありません。あなたがクレイジーなことを何もしていない場合、または他の仕事から利益を得ようとしている場合は、通常、スクレイプを調達しても誰も気にしません。