web-dev-qa-db-ja.com

TSVファイルを読み取って解析し、CSVとして保存するために操作する（*効率的に*）

ソースデータは、6列で200万行を超えるTSVファイルにあります。

ここに私が達成しようとしているものがあります：

  1. このソースファイルの3つの列（3、4、5）のデータを読み取る必要があります。
  2. 5番目の列は整数です。この整数値を使用して、3番目と4番目の列のデータを使用して（整数倍）行エントリを複製する必要があります。
  3. ＃2の出力をCSV形式の出力ファイルに書き込みたい。

以下は私が思いついたものです。

私の質問：これは効率的な方法ですか？ 200万行で試行すると集中的になる可能性があるようです。

まず、使用するサンプルタブの個別ファイルを作成し、「sample.txt」と呼びました。基本的なもので、4行しかありません。

Row1_Column1    Row1-Column2    Row1-Column3    Row1-Column4    2   Row1-Column6
Row2_Column1    Row2-Column2    Row2-Column3    Row2-Column4    3   Row2-Column6
Row3_Column1    Row3-Column2    Row3-Column3    Row3-Column4    1   Row3-Column6
Row4_Column1    Row4-Column2    Row4-Column3    Row4-Column4    2   Row4-Column6

次に、このコードがあります：

import csv 

with open('sample.txt','r') as tsv:
    AoA = [line.strip().split('\t') for line in tsv]

for a in AoA:
    count = int(a[4])
    while count > 0:
        with open('sample_new.csv','ab') as csvfile:
            csvwriter = csv.writer(csvfile, delimiter=',')
            csvwriter.writerow([a[2], a[3]])
        count = count - 1
pythonpython-2.7filecsvtab-delimited-text
63
CJH

csvモジュールを使用して、タブ区切り値ファイルを読み取る必要があります。 not一度にメモリに読み込みます。読み取った各行には、出力CSVファイルに行を書き込むために必要なすべての情報が含まれています。出力ファイルを開いたままにします。

import csv

with open('sample.txt','rb') as tsvin, open('new.csv', 'wb') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows([row[2:4] for _ in xrange(count)])

または、itertoolsモジュールを使用して itertools.repeat() で繰り返しを実行します。

from itertools import repeat
import csv

with open('sample.txt','rb') as tsvin, open('new.csv', 'wb') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows(repeat(row[2:4], count))
126
Martijn Pieters