web-dev-qa-db-ja.com

BeautifulSoupを使用してn番目の要素を取得する

大きなテーブルから、BeautifulSoupを使用して行5、10、15、20 ...を読みたいと思います。どうすればよいですか？ findNextSiblingとインクリメントカウンターは進むべき道ですか？

pythonweb-scrapingbeautifulsoup
23
aadvaark

findAllを使用してリスト内のすべての行を取得し、その後、スライス構文を使用して必要な要素にアクセスすることもできます。

rows = soup.findAll('tr')[4::5]
52
jcollado

これは、選択する行番号がわかっている場合は、美しいスープのselectを使用して簡単に行うことができます。 （注：これはbs4にあります）

row = 5
while true
    element = soup.select('tr:nth-of-type('+ row +')')
    if len(element) > 0:
        # element is your desired row element, do what you want with it 
        row += 5
    else:
        break
5
Sony Mathew

一般的な解決策として、テーブルをネストされたリストに変換して繰り返すことができます...

import BeautifulSoup

def listify(table):
  """Convert an html table to a nested list""" 
  result = []
  rows = table.findAll('tr')
  for row in rows:
    result.append([])
    cols = row.findAll('td')
    for col in cols:
      strings = [_string.encode('utf8') for _string in col.findAll(text=True)]
      text = ''.join(strings)
      result[-1].append(text)
  return result

if __name__=="__main__":
    """Build a small table with one column and ten rows, then parse into a list"""
    htstring = """<table> <tr> <td>foo1</td> </tr> <tr> <td>foo2</td> </tr> <tr> <td>foo3</td> </tr> <tr> <td>foo4</td> </tr> <tr> <td>foo5</td> </tr>  <tr> <td>foo6</td> </tr>  <tr> <td>foo7</td> </tr>  <tr> <td>foo8</td> </tr>  <tr> <td>foo9</td> </tr>  <tr> <td>foo10</td> </tr></table>"""
    soup = BeautifulSoup.BeautifulSoup(htstring)
    for idx, ii in enumerate(listify(soup)):
        if ((idx+1)%5>0):
            continue
        print ii

実行しています...

[mpenning@Bucksnort ~]$ python testme.py
['foo5']
['foo10']
[mpenning@Bucksnort ~]$
1
Mike Pennington

別のオプション、生のhtmlを好む場合...

"""Build a small table with one column and ten rows, then parse it into a list"""
htstring = """<table> <tr> <td>foo1</td> </tr> <tr> <td>foo2</td> </tr> <tr> <td>foo3</td> </tr> <tr> <td>foo4</td> </tr> <tr> <td>foo5</td> </tr>  <tr> <td>foo6</td> </tr>  <tr> <td>foo7</td> </tr>  <tr> <td>foo8</td> </tr>  <tr> <td>foo9</td> </tr>  <tr> <td>foo10</td> </tr></table>"""
result = [html_tr for idx, html_tr in enumerate(soup.findAll('tr')) \
     if (idx+1)%5==0]
print result

実行しています...

[mpenning@Bucksnort ~]$ python testme.py
[<tr> <td>foo5</td> </tr>, <tr> <td>foo10</td> </tr>]
[mpenning@Bucksnort ~]$
1
Mike Pennington