web-dev-qa-db-ja.com

AJAXコンテンツ用のScrapyCrawlSpider

ニュース記事のサイトをクロールしようとしています。私のstart_urlには以下が含まれています：

（1）各記事へのリンク： http://example.com/symbol/TSLA

そして

（2）同じstart_url内でより多くの記事を動的にロードするAJAX呼び出しを行う「詳細」ボタン： http://example.com/account/ajax_headlines_content?type= in_focus_articles＆page = 0＆slugs = tsla＆is_symbol_page = true

AJAX呼び出しのパラメータは「ページ」であり、「詳細」ボタンがクリックされるたびに増分されます。たとえば、「詳細」を1回クリックすると、追加のn個の記事が読み込まれ、 「More」ボタンonClickイベントのpageパラメータ。これにより、次に「More」がクリックされたときに、2つの記事「page」が読み込まれます（「page」0が最初に読み込まれ、「page」1が最初に読み込まれたと仮定します）クリック）。

各「ページ」について、ルールを使用して各記事の内容をスクレイプしたいのですが、「ページ」がいくつあるかわからないため、任意のm（10kなど）を選択したくありません。これを設定する方法がわからないようです。

この質問から、 Scrapy Crawl URLs in Order 、潜在的なURLのURLリストを作成しようとしましたが、前のURLを解析した後、プールから新しいURLを送信する方法と場所を特定できませんURLと、CrawlSpiderのニュースリンクが含まれていることを確認します。マイルールは、記事の内容が解析されるparse_itemsコールバックに応答を送信します。

ルールを適用してparse_itemsを呼び出す前に、リンクページのコンテンツ（BaseSpiderの例と同様）を観察して、クロールを停止するタイミングを知る方法はありますか？

簡略化されたコード（わかりやすくするために解析しているフィールドのいくつかを削除しました）：

class ExampleSite(CrawlSpider):

    name = "so"
    download_delay = 2

    more_pages = True
    current_page = 0

    allowed_domains = ['example.com']

    start_urls = ['http://example.com/account/ajax_headlines_content?type=in_focus_articles&page=0'+
                      '&slugs=tsla&is_symbol_page=true']

    ##could also use
    ##start_urls = ['http://example.com/symbol/tsla']

    ajax_urls = []                                                                                                                                                                                                                                                                                                                                                                                                                          
    for i in range(1,1000):
        ajax_urls.append('http://example.com/account/ajax_headlines_content?type=in_focus_articles&page='+str(i)+
                      '&slugs=tsla&is_symbol_page=true')

    rules = (
             Rule(SgmlLinkExtractor(allow=('/symbol/tsla', ))),
             Rule(SgmlLinkExtractor(allow=('/news-article.*tesla.*', '/article.*tesla.*', )), callback='parse_item')
            )

        ##need something like this??
        ##override parse?
        ## if response.body == 'no results':
            ## self.more_pages = False
            ## ##stop crawler??   
        ## else: 
            ## self.current_page = self.current_page + 1
            ## yield Request(self.ajax_urls[self.current_page], callback=self.parse_start_url)


    def parse_item(self, response):

        self.log("Scraping: %s" % response.url, level=log.INFO)

        hxs = Selector(response)

        item = NewsItem()

        item['url'] = response.url
        item['source'] = 'example'
        item['title'] = hxs.xpath('//title/text()')
        item['date'] = hxs.xpath('//div[@class="article_info_pos"]/span/text()')

        yield item
pythonweb-scrapingscrapy
12
BadgerBadgerBadger

クロールスパイダーは、ここでの目的には制限が多すぎる可能性があります。多くのロジックが必要な場合は、通常、Spiderから継承することをお勧めします。

Scrapyは、特定の条件下で解析を停止する必要がある場合に発生する可能性のあるCloseSpider例外を提供します。クロールしているページは「在庫にフォーカス記事がありません」というメッセージを返します。最大ページを超えると、このメッセージを確認し、このメッセージが発生したときに反復を停止できます。

あなたの場合、あなたはこのようなもので行くことができます：

from scrapy.spider import Spider
from scrapy.http import Request
from scrapy.exceptions import CloseSpider

class ExampleSite(Spider):
    name = "so"
    download_delay = 0.1

    more_pages = True
    next_page = 1

    start_urls = ['http://example.com/account/ajax_headlines_content?type=in_focus_articles&page=0'+
                      '&slugs=tsla&is_symbol_page=true']

    allowed_domains = ['example.com']

    def create_ajax_request(self, page_number):
        """
        Helper function to create ajax request for next page.
        """
        ajax_template = 'http://example.com/account/ajax_headlines_content?type=in_focus_articles&page={pagenum}&slugs=tsla&is_symbol_page=true'

        url = ajax_template.format(pagenum=page_number)
        return Request(url, callback=self.parse)

    def parse(self, response):
        """
        Parsing of each page.
        """
        if "There are no Focus articles on your stocks." in response.body:
            self.log("About to close spider", log.WARNING)
            raise CloseSpider(reason="no more pages to parse")


        # there is some content extract links to articles
        sel = Selector(response)
        links_xpath = "//div[@class='symbol_article']/a/@href"
        links = sel.xpath(links_xpath).extract()
        for link in links:
            url = urljoin(response.url, link)
            # follow link to article
            # commented out to see how pagination works
            #yield Request(url, callback=self.parse_item)

        # generate request for next page
        self.next_page += 1
        yield self.create_ajax_request(self.next_page)

    def parse_item(self, response):
        """
        Parsing of each article page.
        """
        self.log("Scraping: %s" % response.url, level=log.INFO)

        hxs = Selector(response)

        item = NewsItem()

        item['url'] = response.url
        item['source'] = 'example'
        item['title'] = hxs.xpath('//title/text()')
        item['date'] = hxs.xpath('//div[@class="article_info_pos"]/span/text()')

        yield item
11
Pawel Miech