web-dev-qa-db-ja.com

Pythonを使用してHTMLページのJavaScriptブロックで定義されたJSONオブジェクトを抽出するにはどうすればよいですか？

次の方法でデータが定義されているHTMLページをダウンロードしています。

... <script type= "text/javascript">    window.blog.data = {"activity":{"type":"read"}}; </script> ...

'window.blog.data'で定義されているJSONオブジェクトを抽出したいと思います。手動で解析するよりも簡単な方法はありますか？ （Beautiful Soapを調べていますが、解析せずに正確なオブジェクトを返すメソッドが見つからないようです）

ありがとう

編集： pythonヘッドレスブラウザ（Ghost.pyなど）でこれを行うことは可能であり、より正確でしょうか？

pythonhtml-parsingbeautifulsoupheadless-browser
17
user971956

BeautifulSoupはhtmlパーサーです。ここにはjavascriptパーサーも必要です。ところで、一部のjavascriptオブジェクトリテラルは有効なjsonではありません（ただし、この例では、リテラルは有効なjsonオブジェクトでもあります）。

単純なケースでは、次のことができます。

  1. hTMLパーサーを使用して<script>のテキストを抽出します
  2. window.blog...が1行であるか、オブジェクト内に';'がないと想定し、単純な文字列操作または正規表現を使用してjavascriptオブジェクトリテラルを抽出します。
  3. 文字列が有効なjsonであると想定し、jsonモジュールを使用して解析します

例：

#!/usr/bin/env python
html = """<!doctype html>
<title>extract javascript object as json</title>
<script>
// ..
window.blog.data = {"activity":{"type":"read"}};
// ..
</script>
<p>some other html here
"""
import json
import re
from bs4 import BeautifulSoup  # $ pip install beautifulsoup4
soup = BeautifulSoup(html)
script = soup.find('script', text=re.compile('window\.blog\.data'))
json_text = re.search(r'^\s*window\.blog\.data\s*=\s*({.*?})\s*;\s*$',
                      script.string, flags=re.DOTALL | re.MULTILINE).group(1)
data = json.loads(json_text)
assert data['activity']['type'] == 'read'

仮定が正しくない場合、コードは失敗します。

2番目の仮定を緩和するために、正規表現の代わりにjavascriptパーサーを使用できます。例： slimit （ @ approximatenumberが推奨 ）：

from slimit import ast  # $ pip install slimit
from slimit.parser import Parser as JavascriptParser
from slimit.visitors import nodevisitor

soup = BeautifulSoup(html, 'html.parser')
tree = JavascriptParser().parse(soup.script.string)
obj = next(node.right for node in nodevisitor.visit(tree)
           if (isinstance(node, ast.Assign) and
               node.left.to_ecma() == 'window.blog.data'))
# HACK: easy way to parse the javascript object literal
data = json.loads(obj.to_ecma())  # NOTE: json format may be slightly different
assert data['activity']['type'] == 'read'

オブジェクトリテラル（obj）をjsonオブジェクトとして扱う必要はありません。必要な情報を取得するために、他のastノードと同様にobjに再帰的にアクセスできます。これにより、任意のjavascriptコードをサポートできるようになります（ slimit で解析できます）。

16
jfs

このようなものが機能する可能性があります：

import re

HTML = """ 
<html>
    <head>
    ...
    <script type= "text/javascript"> 
window.blog.data = {"activity":
    {"type":"read"}
    };
    ...
    </script> 
    </head>
    <body>
    ...
    </body>
    </html>
"""

JSON = re.compile('window.blog.data = ({.*?});', re.DOTALL)

matches = JSON.search(HTML)

print matches.group(1)
6
Christian Thieme

同様の問題が発生し、最終的にphantomjsでSeleniumを使用しました。それは少しハッキーで、メソッドまでの正しい待機を完全に理解することはできませんでしたが、暗黙の待機はこれまでのところうまく機能しているようです。

from Selenium import webdriver
import json
import re

url = "http..."
driver = webdriver.PhantomJS(service_args=['--load-images=no'])
driver.set_window_size(1120, 550)
driver.get(url)
driver.implicitly_wait(1)
script_text = re.search(r'window\.blog\.data\s*=.*<\/script>', driver.page_source).group(0)

# split text based on first equal sign and remove trailing script tag and semicolon
json_text = script_text.split('=',1)[1].rstrip('</script>').strip().rstrip(';').strip()
# only care about first piece of json
json_text = json_text.split("};")[0] + "}"
data = json.loads(json_text)

driver.quit()

`` `

1
user1071182