web-dev-qa-db-ja.com

PythonベースのWebクローラーを使用できますか？

私は自分で書きたいと思っていますが、今は十分な時間がありません。 オープンソースのクローラー のウィキペディアのリストを見てきましたが、Pythonで書かれたものが好きです。おそらく、Wikipediaページのツールのいずれかを使用して、Pythonでラップできることを理解しています。最終的にはそうするかもしれません-もし誰かがそれらのツールについて何かアドバイスがあれば、私はそれらについて聞いてもいいです。 WebインターフェースでHeritrixを使用しましたが、非常に面倒であることがわかりました。今後のプロジェクトでブラウザAPIを使用することは絶対にありません。

前もって感謝します。また、これは私の最初のSO質問です！

pythonweb-crawler
67
Matt
  • Mechanize は私のお気に入りです。優れた高度なブラウジング機能（非常にシンプルなフォーム入力と送信）。
  • Twill は、Mechanizeの上に構築されたシンプルなスクリプト言語です。
  • BeautifulSoup + rllib2 も非常にうまく機能します。
  • Scrapy は非常に有望なプロジェクトのように見えます。それは新しい。
56
RexE

Scrapy を使用します。

ツイストベースのWebクローラーフレームワークです。まだ開発中ですが、すでに機能しています。多くの利点があります：

  • HTML、XML、CSV、およびJavaScriptの解析の組み込みサポート
  • 画像（またはその他のメディア）を持つアイテムをスクレイピングし、画像ファイルもダウンロードするためのメディアパイプライン
  • ミドルウェア、拡張機能、およびパイプラインを使用して独自の機能をプラグインすることにより、Scrapyの拡張をサポート
  • 圧縮、キャッシュ、Cookie、認証、ユーザーエージェントスプーフィング、robots.txtの処理、統計、クロールの深さ制限などを処理するための幅広い組み込みミドルウェアと拡張機能
  • インタラクティブなスクレイピングシェルコンソール。開発とデバッグに非常に便利です。
  • ボットを監視および制御するためのWeb管理コンソール
  • Scrapyプロセスへの低レベルアクセス用のTelnetコンソール

返されるHTMLでXPathセレクターを使用して、 mininova torrentサイトに今日追加されたすべてのtorrentファイルに関する情報を抽出するコード例：

class Torrent(ScrapedItem):
    pass

class MininovaSpider(CrawlSpider):
    domain_name = 'mininova.org'
    start_urls = ['http://www.mininova.org/today']
    rules = [Rule(RegexLinkExtractor(allow=['/tor/\d+']), 'parse_torrent')]

    def parse_torrent(self, response):
        x = HtmlXPathSelector(response)
        torrent = Torrent()

        torrent.url = response.url
        torrent.name = x.x("//h1/text()").extract()
        torrent.description = x.x("//div[@id='description']").extract()
        torrent.size = x.x("//div[@id='info-left']/p[2]/text()[2]").extract()
        return [torrent]
44
nosklo

Pythonで記述されたマルチスレッドWebクローラーである HarvestMan も確認してください。 spider.py モジュールもご覧ください。

here 簡単なWebクローラーを構築するためのコードサンプルを見つけることができます。

6
CMS

上記のスクリプトをハッキングして、drupalサイトにアクセスするために必要なログインページを含めるようにした。

#!/usr/bin/python

import httplib2
import urllib
import urllib2
from cookielib import CookieJar
import sys
import re
from HTMLParser import HTMLParser

class miniHTMLParser( HTMLParser ):

  viewedQueue = []
  instQueue = []
  headers = {}
  opener = ""

  def get_next_link( self ):
    if self.instQueue == []:
      return ''
    else:
      return self.instQueue.pop(0)


  def gethtmlfile( self, site, page ):
    try:
        url = 'http://'+site+''+page
        response = self.opener.open(url)
        return response.read()
    except Exception, err:
        print " Error retrieving: "+page
        sys.stderr.write('ERROR: %s\n' % str(err))
    return "" 

    return resppage

  def loginSite( self, site_url ):
    try:
    cj = CookieJar()
    self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

    url = 'http://'+site_url 
        params = {'name': 'customer_admin', 'pass': 'customer_admin123', 'opt': 'Log in', 'form_build_id': 'form-3560fb42948a06b01d063de48aa216ab', 'form_id':'user_login_block'}
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    self.headers = { 'User-Agent' : user_agent }

    data = urllib.urlencode(params)
    response = self.opener.open(url, data)
    print "Logged in"
    return response.read() 

    except Exception, err:
    print " Error logging in"
    sys.stderr.write('ERROR: %s\n' % str(err))

    return 1

  def handle_starttag( self, tag, attrs ):
    if tag == 'a':
      newstr = str(attrs[0][1])
      print newstr
      if re.search('http', newstr) == None:
        if re.search('mailto', newstr) == None:
          if re.search('#', newstr) == None:
            if (newstr in self.viewedQueue) == False:
              print "  adding", newstr
              self.instQueue.append( newstr )
              self.viewedQueue.append( newstr )
          else:
            print "  ignoring", newstr
        else:
          print "  ignoring", newstr
      else:
        print "  ignoring", newstr


def main():

  if len(sys.argv)!=3:
    print "usage is ./minispider.py site link"
    sys.exit(2)

  mySpider = miniHTMLParser()

  site = sys.argv[1]
  link = sys.argv[2]

  url_login_link = site+"/node?destination=node"
  print "\nLogging in", url_login_link
  x = mySpider.loginSite( url_login_link )

  while link != '':

    print "\nChecking link ", link

    # Get the file from the site and link
    retfile = mySpider.gethtmlfile( site, link )

    # Feed the file into the HTML parser
    mySpider.feed(retfile)

    # Search the retfile here

    # Get the next link in level traversal order
    link = mySpider.get_next_link()

  mySpider.close()

  print "\ndone\n"

if __== "__main__":
  main()
3
shim

Ruya を使用しましたが、かなり良いことがわかりました。

3
kshahar

カールよりも良いものはありません。次のコードは、Amazon EC2で300秒未満で10,000個のURLを並行してクロールできます

注意：このような高速で同じドメインにヒットしないでください..

#! /usr/bin/env python
# -*- coding: iso-8859-1 -*-
# vi:ts=4:et
# $Id: retriever-multi.py,v 1.29 2005/07/28 11:04:13 mfx Exp $

#
# Usage: python retriever-multi.py <file with URLs to fetch> [<# of
#          concurrent connections>]
#

import sys
import pycurl

# We should ignore SIGPIPE when using pycurl.NOSIGNAL - see
# the libcurl tutorial for more info.
try:
    import signal
    from signal import SIGPIPE, SIG_IGN
    signal.signal(signal.SIGPIPE, signal.SIG_IGN)
except ImportError:
    pass


# Get args
num_conn = 10
try:
    if sys.argv[1] == "-":
        urls = sys.stdin.readlines()
    else:
        urls = open(sys.argv[1]).readlines()
    if len(sys.argv) >= 3:
        num_conn = int(sys.argv[2])
except:
    print "Usage: %s <file with URLs to fetch> [<# of concurrent connections>]" % sys.argv[0]
    raise SystemExit


# Make a queue with (url, filename) tuples
queue = []
for url in urls:
    url = url.strip()
    if not url or url[0] == "#":
        continue
    filename = "doc_%03d.dat" % (len(queue) + 1)
    queue.append((url, filename))


# Check args
assert queue, "no URLs given"
num_urls = len(queue)
num_conn = min(num_conn, num_urls)
assert 1 <= num_conn <= 10000, "invalid number of concurrent connections"
print "PycURL %s (compiled against 0x%x)" % (pycurl.version, pycurl.COMPILE_LIBCURL_VERSION_NUM)
print "----- Getting", num_urls, "URLs using", num_conn, "connections -----"


# Pre-allocate a list of curl objects
m = pycurl.CurlMulti()
m.handles = []
for i in range(num_conn):
    c = pycurl.Curl()
    c.fp = None
    c.setopt(pycurl.FOLLOWLOCATION, 1)
    c.setopt(pycurl.MAXREDIRS, 5)
    c.setopt(pycurl.CONNECTTIMEOUT, 30)
    c.setopt(pycurl.TIMEOUT, 300)
    c.setopt(pycurl.NOSIGNAL, 1)
    m.handles.append(c)


# Main loop
freelist = m.handles[:]
num_processed = 0
while num_processed < num_urls:
    # If there is an url to process and a free curl object, add to multi stack
    while queue and freelist:
        url, filename = queue.pop(0)
        c = freelist.pop()
        c.fp = open(filename, "wb")
        c.setopt(pycurl.URL, url)
        c.setopt(pycurl.WRITEDATA, c.fp)
        m.add_handle(c)
        # store some info
        c.filename = filename
        c.url = url
    # Run the internal curl state machine for the multi stack
    while 1:
        ret, num_handles = m.perform()
        if ret != pycurl.E_CALL_MULTI_PERFORM:
            break
    # Check for curl objects which have terminated, and add them to the freelist
    while 1:
        num_q, ok_list, err_list = m.info_read()
        for c in ok_list:
            c.fp.close()
            c.fp = None
            m.remove_handle(c)
            print "Success:", c.filename, c.url, c.getinfo(pycurl.EFFECTIVE_URL)
            freelist.append(c)
        for c, errno, errmsg in err_list:
            c.fp.close()
            c.fp = None
            m.remove_handle(c)
            print "Failed: ", c.filename, c.url, errno, errmsg
            freelist.append(c)
        num_processed = num_processed + len(ok_list) + len(err_list)
        if num_q == 0:
            break
    # Currently no more I/O is pending, could do something in the meantime
    # (display a progress bar, etc.).
    # We just call select() to sleep until some more data is available.
    m.select(1.0)


# Cleanup
for c in m.handles:
    if c.fp is not None:
        c.fp.close()
        c.fp = None
    c.close()
m.close()
3
codersofthedark

別の 単純なクモ BeautifulSoupとurllib2を使用します。あまり洗練されたものではなく、hrefのすべてを読み込んでリストを作成し、それを実行します。

2
rytis

pyspider.py

0
Lars Bauer Jørgensen