web-dev-qa-db-ja.com

AWS LambdaからScrapyスパイダーを実行するにはどうすればよいですか？

AWS Lambda内からスクレイピースパイダーを実行しようとしています。現在のスクリプトは次のようになっており、テストデータを削っています。

import boto3
import scrapy
from scrapy.crawler import CrawlerProcess

s3 = boto3.client('s3')
BUCKET = 'sample-bucket'

class BookSpider(scrapy.Spider):
    name = 'bookspider'
    start_urls = [
        'http://books.toscrape.com/'
    ]

    def parse(self, response):
        for link in response.xpath('//article[@class="product_pod"]/div/a/@href').extract():
            yield response.follow(link, callback=self.parse_detail)
        next_page = response.xpath('//li[@class="next"]/a/@href').extract_first()
        if next_page:
            yield response.follow(next_page, callback=self.parse)

    def parse_detail(self, response):
        title = response.xpath('//div[contains(@class, "product_main")]/h1/text()').extract_first()
        price = response.xpath('//div[contains(@class, "product_main")]/'
                               'p[@class="price_color"]/text()').extract_first()
        availability = response.xpath('//div[contains(@class, "product_main")]/'
                                      'p[contains(@class, "availability")]/text()').extract()
        availability = ''.join(availability).strip()
        upc = response.xpath('//th[contains(text(), "UPC")]/'
                             'following-sibling::td/text()').extract_first()
        yield {
            'title': title,
            'price': price,
            'availability': availability,
            'upc': upc
        }

def main(event, context):
    process = CrawlerProcess({
        'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
        'FEED_FORMAT': 'json',
        'FEED_URI': 'result.json'
    })

    process.crawl(BookSpider)
    process.start() # the script will block here until the crawling is finished

    data = open('result.json', 'rb')
    s3.put_object(Bucket = BUCKET, Key='result.json', Body=data)
    print('All done.')

if __name__ == "__main__":
    main('', '')

私は最初にこのスクリプトをローカルでテストしましたが、通常どおり実行され、データをスクレイピングして「results.json」に保存してから、S3バケットにアップロードしました。

次に、ここのガイドに従って、AWS Lambda関数を構成しました： https://serverless.com/blog/serverless-python-packaging/ これにより、Scrapyライブラリが正常にインポートされます実行用のAWS Lambda。

ただし、スクリプトがAWS Lambdaで実行される場合、データはスクレイピングされず、単にresults.jsonが存在しないの場合にエラーがスローされます

Scrapyを実行するように構成したり、回避策を講じたり、私を正しい方向に向けたりできる人は誰でも高く評価されます。

ありがとう。

python-3.xamazon-web-servicesscrapyaws-lambda
8
U. Tayyab

何か他のものを探している間にこれに出くわしましたが、私の頭の上から。

ラムダは/ tmpに一時ストレージを提供するため、設定をお勧めします

'FEED_URI': '/tmp/result.json'

その後

data = open('/tmp/result.json', 'rb')

ラムダでの一時ストレージの使用に関しては、あらゆる種類のベストプラクティスが存在する可能性があるため、少し時間をかけてそれらを読むことをお勧めします。

6
Joe