Pythonが初めてで、このエラーが発生しています:
Traceback (most recent call last):
File "/usr/local/bin/scrapy", line 4, in <module>
execute()
File "/opt/local/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/site-packages/scrapy/cmdline.py", line 130, in execute
_run_print_help(parser, _run_command, cmd, args, opts)
File "/opt/local/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/site-packages/scrapy/cmdline.py", line 96, in _run_print_help
func(*a, **kw)
File "/opt/local/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/site-packages/scrapy/cmdline.py", line 136, in _run_command
cmd.run(args, opts)
File "/opt/local/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/site-packages/scrapy/commands/crawl.py", line 42, in run
q = self.crawler.queue
File "/opt/local/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/site-packages/scrapy/command.py", line 31, in crawler
self._crawler.configure()
File "/opt/local/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/site-packages/scrapy/crawler.py", line 36, in configure
self.spiders = spman_cls.from_settings(self.settings)
File "/opt/local/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/site-packages/scrapy/spidermanager.py", line 33, in from_settings
return cls(settings.getlist('SPIDER_MODULES'))
File "/opt/local/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/site-packages/scrapy/spidermanager.py", line 23, in __init__
for module in walk_modules(name):
File "/opt/local/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/site-packages/scrapy/utils/misc.py", line 65, in walk_modules
submod = __import__(fullpath, {}, {}, [''])
File "/my_crawler/empt/empt/spiders/empt_spider.py", line 59
check_exists_sql = "SELECT * FROM LINKS WHERE link = '%s' LIMIT 1" % item['link']
^
IndentationError: unexpected indent
このコードの一部:
def parse_item(self, response):
hxs = HtmlXPathSelector(response)
sites = hxs.select('//a[contains(@href, ".mp3")]/@href').extract()
items = [ ]
#for site in sites:
#link = site.select('a/@href').extract()
#print site
for site in sites:
item = EmptItem()
item['link'] = site #site.select('a/@href').extract()
#### DB INSERT ATTEMPT ###
#MySQL Test
#open db connection
db = MySQLdb.connect("localhost","root","str0ng","TESTDB")
#prepare a cursor object using cursor() method
cursor = db.cursor()
#see if any links in the DB match the crawled link
check_exists_sql = "SELECT * FROM LINKS WHERE link = '%s' LIMIT 1" % item['link']
cursor.execute(check_exists_sql)
if cursor.rowcount = 0:
#prepare SQL query to insert a record into the db.
sql = "INSERT INTO LINKS ( link ) VALUES ( '%s')" % item['link']
try:
#execute the sql command
cursor.execute(sql)
#commit your changes to the db
db.commit()
except:
#rollback on error
db.rollback()
#fetch a single row using fetchone() method.
#data = cursor.fetchone()
#print "Database version: %s " % data
#disconnect from server
db.close()
### end mysql
items.append(item)
return items
インデントエラーはStackOverflowページでは明らかですが、エディターにはない場合があります。ここには、1、4、8スペースの異なるインデントタイプが混在しています。 PEP8 に従って、インデントには常に4つのスペースを使用する必要があります。また、 タブとスペースを混在させないでください 。
また、 '-tt
'コマンドラインオプション を使用してスクリプトを実行し、タブとスペースを誤って混在させた場合を判断することをお勧めします。もちろん、適切なエディターであれば、タブとスペースを強調表示できます( Vimの'list'
オプション など)。
エラーからわかるように、インデントが間違っています。ご覧のとおり、示された行で始まるコードは、for
ループに入れるには少なすぎますが、forループと同じレベルにするには多すぎます。 Pythonインデントの欠如はfor
ループの終了と見なされ、コードの残りの部分をインデントしすぎていると不平を言います。(def
行I ' mベットは、Stack Overflowでコードをフォーマットする方法の成果物にすぎません。)
編集:あなたの修正を考えると、ソースファイルにタブとスペースが混在していて、人間の目に見えるようになっていると確信していますコードは並んでいますが、Pythonはそうではないと考えています。他の人が示唆しているように、スペースのみを使用することをお勧めします( PEP 8 を参照)。 Python with python -t
、コードにタブとスペースが混在している場合は警告が表示され、問題を特定するのに役立ちます。
エラーは非常に簡単です-_check_exists_sql
_で始まる行は適切にインデントされていません。コードのコンテキストから、インデントと次の行をインデントして、その前の行に一致させます。
_ #open db connection
db = MySQLdb.connect("localhost","root","str0ng","TESTDB")
#prepare a cursor object using cursor() method
cursor = db.cursor()
#see if any links in the DB match the crawled link
check_exists_sql = "SELECT * FROM LINKS WHERE link = '%s' LIMIT 1" % item['link']
cursor.execute(check_exists_sql)
_
そして、for
ループが終了するまでインデントを続けます(items.append(item)
に至るまでインデントします。
エラーにはコードが正しくインデントされていないことが示されているため、_check_exists_sql
_はその上の行cursor = db.cursor()
と整列していません。
また、インデントには4つのスペースを使用します。
これを読んでください http://diveintopython.net/getting_to_know_python/indenting_code.html