クラウドサーバーでpythonスクリプトを実行する最も簡単な方法は何ですか？

Question

Webクロールを実行しているpythonスクリプトが完了するまでに数時間かかり、ローカルマシンで全体を実行することが実行不可能です。これを単純なWebサーバーに展開する便利な方法はありますか？スクリプトは基本的にWebページをテキストファイルにダウンロードしますが、これを行うにはどうすればよいでしょうか。

Answer 1

あなたはパフォーマンスが問題であり、ウェブスクレイピングを行っていると言ったので、最初に試すことは Scrapy フレームワークです-これは非常に高速で使いやすいウェブスクレイピングフレームワークです。 scrapyd ツールを使用すると、クロールを分散できます。複数のscrapydサービスを異なるサーバーで実行し、それぞれに負荷を分散できます。見る：

• 分散クロール
• Amazon EC2でScrapyを実行

Scrapy Cloud サービスがあります：

Scrapy Cloudは、非常に効率的なScrapy開発環境と、クロールを展開して実行するための堅牢でフル機能の実稼働環境とを橋渡しします。 Heroku for Scrapyに似ていますが、他のテクノロジーも近い将来サポートされる予定です。 Scrapinghubプラットフォーム上で実行されるため、プロジェクトは必要に応じてオンデマンドで拡張できます。

Answer 2

すでに与えられた解決策の代替として、Herokuを提案します。 Webサイトを簡単にデプロイできるだけでなく、ボットが実行するスクリプトもデプロイできます。

基本的なアカウントは無料で、かなり柔軟です。

このブログエントリ 、 これ および このビデオ は、それを機能させる方法の実用的な例を含んでいます。

Answer 3

あなたがそれを行うことができる複数の場所があります。 「クラウド内のpython」をGoogleで検索すると、たとえば https://www.pythonanywhere.com/ のようになります。

さらに、いくつかのクラウドIDEもあり、基本的には小さなVMを無料で提供し、Webベースのコードを開発できるIDEおよびVMで実行します。1つの例は http://www.c9.io です。