web-dev-qa-db-ja.com

2つのテキストファイルを比較するWindowsバッチスクリプト

私はこのスクリプトを持っています：

for /f "delims=" %%a in (data_A.txt) DO (
    set "flag="
    for /f "delims=" %%b in (data_B.txt) do (
        if "%%a"=="%%b" CALL :flagit
    )
    if not defined flag >>notmatch.txt echo %%a
)

:flagit
set flag=1
goto :eof

2つのテキストファイルの各行を比較して、一致しないエントリを特定しています。ファイルには、チェックサムハッシュ値と相対パス情報が含まれています。

動作しますが、かなり遅いだけです。 100,000エントリのファイルには2時間30分以上かかります。Bにない可能性があるAのエントリとAにない可能性のあるBのエントリをキャプチャするには両方の方法を比較する必要があるため、2回実行する必要があります。データは必ずしも特定の並べ替え順でもありません。

キャプチャしたい：

  • セットBではなくセットAのファイル
  • セットAではなくセットBのファイル
  • チェックサムが一致しないファイル

最初の2つは快適に処理できます（A/Bにないファイル）。「一致しない」エントリを取得すると、それらは数が少なく、両方に相対パスが存在するかどうかを比較することは簡単です（期待しています）。しかし、その最後の1つは、リアルタイムのサックです。

データの例：

dd2da0dcb5a54989dd4d2312013ddb12345c0593ed59a6d307461d925d57226d89d24c2e5a95c0d4082b14118cb8766d89ae69e40c4dac1ab5bd718bd7c58d9a \Personal\Pictures\Camera 2019\2019-02-17 15.02.34.jpg 
509ebfd1e2c180ccd6bd679204b7c255f3c7abcdefg7660e219fa9eb58658d96a3ef8cec179221acb78be81f8dd78bd3a8b1a3cdaef0cd691725d3402a495b0b \Personal\Pictures\Camera 2019\2019-02-17 15.03.59.jpg 
a3180dce7675aeb161f8fe25fcbd39ff2678faf2326d3e2a39fchfasff90a714134bdd22f91103026c494e6ffcfd62d5cb3d46992de9dfff71b49f9a734c0ab9 \Personal\Pictures\Camera 2019\2019-02-17 17.11.41.jpg 
b5262c6ce5c4425a4ed737a7a8fdbc040c68003785d67177a25c86d9fb531ce42f74648783aed4bbb3aff7304b00d44b14eaa2a6c728b8802cafd22059570212 \Personal\Pictures\Camera 2019\2019-02-18 18.06.14.jpg 
da7e1eb7ec147628a59e702c55159bc32d66f3c540dfb4be436f136137af913a7139640701eba84f34796da4f35c9fasdffae35542f56b1dccf009d1cec30d20 \Personal\Pictures\Camera 2019\2019-02-22 06.18.15.jpg 
72c99a6f4394b4f65d4b66b00071de1d40cb717f525863875c36b2bc79dd0a8491ee8854b8b4437bfcfe4aa8379861aa43a7850dfac144d5db5b2c6b75dcf292 \Personal\Pictures\Camera 2019\2019-02-22 06.18.23.jpg 
4a8a39e68379b2c671d83935b13dc82dd60d5e8b36a32a8677698a9306876zcvaffaaa4af292d53a8f52df4ee1c7bc701068064f4d28009566e8825abf2ab077 \Personal\Pictures\Camera 2019\2019-02-22 06.20.10.jpg 
074103664be0c91664bd4e2e51d0e051c9cf8f27c26511d3a691d0asdfadfa134234808a16bf0679a8500910b09cf24d9e9c88788b4a749a81ec2d15f78cacfd \Personal\Pictures\Camera 2019\2019-02-22 06.27.14.jpg 
28dc03a7722b0781caa4dfasdf664w666777068c79456941a159ffefa1d9c34fed83b98858394c1aa471396a0b1a448d8dd89e361c564e6b27e451b2dd701dd7 \Personal\Pictures\Camera 2019\2019-02-23 11.54.34.jpg

Forループの動作方法は、一致しないものが見つかるまで他のファイルをスキャンし、ログファイルに出力してから、次のファイルに進みます。検索から除外するためにファイルが一致したか一致しなかった場合、方法があるはずです。

[〜＃〜] edit [〜＃〜]-はい、PowerShellを少しいじっています。 Compare-Objectはうまく機能しますが、AとBの両方に存在する異なるファイルのみを表示し、ログに記録する方法を理解する必要がありますAのみとBのみのファイルを分離する...

windowscommand-linepowershellbatchcomparison
4
HTWingNut
  • PowerShell/Updateの場合：

PowerShellで同じことを行うには、このanswerで言及されている@JoseZメソッドを使用できます。最小限の編集で、 NoMatch.txtファイルに保存された各ファイルで異なる文字列：

  • 両方が異なるコンテンツ、つまりdata_B.txtにないdata_A.txtとdata_A.txtにないdata_B.txtの行/コンテンツを取得するには
Set-Location -Path "D:\Your\Folder"; Clear-Content -path ".\NoMatch.txt"; $filebefore=".\data_A.txt"; $file_after=".\data_B.txt"

### Compare-Object way
$array = Compare-Object $(Get-Content $filebefore) $(Get-Content $file_after)
$array | where {$_.SideIndicator -eq "<="} | Format-Table -Property InputObject -AutoSize -HideTableHeaders

### -NotIn operator way
$(Get-Content $filebefore) | Where-Object {$_ -notIn $(Get-Content $file_after)} | Out-File ".\NoMatch.txt" -Append
$(Get-Content $file_after) | Where-Object {$_ -notIn $(Get-Content $filebefore)} | Out-File ".\NoMatch.txt" -Append
  • 出力は、NoMatch.txtに保存された各ファイルの最後の行です
>Get-Content ".\NoMatch.txt"

18dc03a7722b0781caa4dfasdf664w666777068c79456941a159ffefa1d9c34fed83b98858394c1aa471396a0b1a448d8dd89e361c564e6b27e451b2dd701
28dc03a7722b0781caa4dfasdf664w666777068c79456941a159ffefa1d9c34fed83b98858394c1aa471396a0b1a448d8dd89e361c564e6b27e451b2dd701
  • Data_A.txtにないdata_B.txtから行/コンテンツのみを取得するには
Set-Location -Path "D:\Your\Folder"; Clear-Content -path ".\NoMatch.txt"; $filebefore=".\data_A.txt"; $file_after=".\data_B.txt"

### Compare-Object way
$array = Compare-Object $(Get-Content $filebefore) $(Get-Content $file_after)
$array | where {$_.SideIndicator -eq "<="} | Format-Table -Property InputObject -AutoSize -HideTableHeaders

### -NotIn operator way
$(Get-Content $filebefore) | Where-Object {$_ -notIn $(Get-Content $file_after)} | Out-File ".\NoMatch.txt" -Append
  • 出力は、NoMatch.txtファイルに保存されたdata_B.txtファイルの最後の行です。
>Get-Content ".\NoMatch.txt"

18dc03a7722b0781caa4dfasdf664w666777068c79456941a159ffefa1d9c34fed83b98858394c1aa471396a0b1a448d8dd89e361c564e6b27e451b2dd701
  • Bat/cmdファイル：

より短い文字列の場合は、 Findstr /vixg:data_A.txt data_B.txt

/I         Specifies that the search is not to be case-sensitive.
  /X         Prints lines that match exactly.

  /V         Prints only lines that do not contain a match.

  /G:file    Gets search strings from the specified file(/ stands for console).

Obs .:Findstrがこの比較を行う/同じ/異なる文字列を見つけるために、全長250文字の最大制限の制限があります。 ：

(String_A).Length + (String_B).Length <= 250 characters

-これが、以下の例で文字列を最大125文字に減らした理由です。

最後の行と最初の文字のみ、data_A.txtファイルはdata_B.txtファイルと一致せず、NoMatch.txtファイルに保存されます。

  • Data_A.txtにないdata_B.txtから行/コンテンツのみを取得するには
@echo off 

cd /d "%~dp0" && if not exist data_B.txt call :^) 

cd. >nul >.\NoMatch.txt && for /f tokens^=* %%i in (
'findstr /vixg:data_A.txt data_B.txt')do >>.\NoMatch.txt echo=%%~i

goto :EOF

:^)
>data_A.txt ^
    (
     echo=dd2da0dcb5a54989dd4d2312013ddb12345c0593ed59a6d307461d925d57226d89d24c2e5a95c0d4082b14118cb8766d89ae69e40c4dac1ab5bd718bd7c58
     echo=509ebfd1e2c180ccd6bd679204b7c255f3c7abcdefg7660e219fa9eb58658d96a3ef8cec179221acb78be81f8dd78bd3a8b1a3cdaef0cd691725d3402a495
     echo=a3180dce7675aeb161f8fe25fcbd39ff2678faf2326d3e2a39fchfasff90a714134bdd22f91103026c494e6ffcfd62d5cb3d46992de9dfff71b49f9a734c0
     echo=b5262c6ce5c4425a4ed737a7a8fdbc040c68003785d67177a25c86d9fb531ce42f74648783aed4bbb3aff7304b00d44b14eaa2a6c728b8802cafd22059570
     echo=da7e1eb7ec147628a59e702c55159bc32d66f3c540dfb4be436f136137af913a7139640701eba84f34796da4f35c9fasdffae35542f56b1dccf009d1cec30
     echo=72c99a6f4394b4f65d4b66b00071de1d40cb717f525863875c36b2bc79dd0a8491ee8854b8b4437bfcfe4aa8379861aa43a7850dfac144d5db5b2c6b75dcf
     echo=4a8a39e68379b2c671d83935b13dc82dd60d5e8b36a32a8677698a9306876zcvaffaaa4af292d53a8f52df4ee1c7bc701068064f4d28009566e8825abf2ab
     echo=074103664be0c91664bd4e2e51d0e051c9cf8f27c26511d3a691d0asdfadfa134234808a16bf0679a8500910b09cf24d9e9c88788b4a749a81ec2d15f78ca
     echo=28dc03a7722b0781caa4dfasdf664w666777068c79456941a159ffefa1d9c34fed83b98858394c1aa471396a0b1a448d8dd89e361c564e6b27e451b2dd701
    ) && (
>data_B.txt ^
    (
     echo=dd2da0dcb5a54989dd4d2312013ddb12345c0593ed59a6d307461d925d57226d89d24c2e5a95c0d4082b14118cb8766d89ae69e40c4dac1ab5bd718bd7c58
     echo=509ebfd1e2c180ccd6bd679204b7c255f3c7abcdefg7660e219fa9eb58658d96a3ef8cec179221acb78be81f8dd78bd3a8b1a3cdaef0cd691725d3402a495
     echo=a3180dce7675aeb161f8fe25fcbd39ff2678faf2326d3e2a39fchfasff90a714134bdd22f91103026c494e6ffcfd62d5cb3d46992de9dfff71b49f9a734c0
     echo=b5262c6ce5c4425a4ed737a7a8fdbc040c68003785d67177a25c86d9fb531ce42f74648783aed4bbb3aff7304b00d44b14eaa2a6c728b8802cafd22059570
     echo=da7e1eb7ec147628a59e702c55159bc32d66f3c540dfb4be436f136137af913a7139640701eba84f34796da4f35c9fasdffae35542f56b1dccf009d1cec30
     echo=72c99a6f4394b4f65d4b66b00071de1d40cb717f525863875c36b2bc79dd0a8491ee8854b8b4437bfcfe4aa8379861aa43a7850dfac144d5db5b2c6b75dcf
     echo=4a8a39e68379b2c671d83935b13dc82dd60d5e8b36a32a8677698a9306876zcvaffaaa4af292d53a8f52df4ee1c7bc701068064f4d28009566e8825abf2ab
     echo=074103664be0c91664bd4e2e51d0e051c9cf8f27c26511d3a691d0asdfadfa134234808a16bf0679a8500910b09cf24d9e9c88788b4a749a81ec2d15f78ca
     echo=18dc03a7722b0781caa4dfasdf664w666777068c79456941a159ffefa1d9c34fed83b98858394c1aa471396a0b1a448d8dd89e361c564e6b27e451b2dd701
    ) ) && exit /b
  • 出力は、ファイル。\ NoMatch.txtに保存されたファイルdata_B.txtの最後の行です。
18dc03a7722b0781caa4dfasdf664w666777068c79456941a159ffefa1d9c34fed83b98858394c1aa471396a0b1a448d8dd89e361c564e6b27e451b2dd701
  • 両方が異なるコンテンツ、つまりdata_B.txtにないdata_A.txtとdata_A.txtにないdata_B.txtの行/コンテンツを取得するには
@echo off 

cd /d "%~dp0" && if not exist data_B.txt call :^) 

cd. >nul >notmatch.txt
for /f tokens^=* %%i in ('findstr /vixg:data_A.txt data_B.txt')do >>notmatch.txt echo=%%~i
for /f tokens^=* %%i in ('findstr /vixg:data_B.txt data_A.txt')do >>notmatch.txt echo=%%~i

goto :EOF

:^)
>data_A.txt ^
    (
     echo=dd2da0dcb5a54989dd4d2312013ddb12345c0593ed59a6d307461d925d57226d89d24c2e5a95c0d4082b14118cb8766d89ae69e40c4dac1ab5bd718bd7c58
     echo=509ebfd1e2c180ccd6bd679204b7c255f3c7abcdefg7660e219fa9eb58658d96a3ef8cec179221acb78be81f8dd78bd3a8b1a3cdaef0cd691725d3402a495
     echo=a3180dce7675aeb161f8fe25fcbd39ff2678faf2326d3e2a39fchfasff90a714134bdd22f91103026c494e6ffcfd62d5cb3d46992de9dfff71b49f9a734c0
     echo=b5262c6ce5c4425a4ed737a7a8fdbc040c68003785d67177a25c86d9fb531ce42f74648783aed4bbb3aff7304b00d44b14eaa2a6c728b8802cafd22059570
     echo=da7e1eb7ec147628a59e702c55159bc32d66f3c540dfb4be436f136137af913a7139640701eba84f34796da4f35c9fasdffae35542f56b1dccf009d1cec30
     echo=72c99a6f4394b4f65d4b66b00071de1d40cb717f525863875c36b2bc79dd0a8491ee8854b8b4437bfcfe4aa8379861aa43a7850dfac144d5db5b2c6b75dcf
     echo=4a8a39e68379b2c671d83935b13dc82dd60d5e8b36a32a8677698a9306876zcvaffaaa4af292d53a8f52df4ee1c7bc701068064f4d28009566e8825abf2ab
     echo=074103664be0c91664bd4e2e51d0e051c9cf8f27c26511d3a691d0asdfadfa134234808a16bf0679a8500910b09cf24d9e9c88788b4a749a81ec2d15f78ca
     echo=28dc03a7722b0781caa4dfasdf664w666777068c79456941a159ffefa1d9c34fed83b98858394c1aa471396a0b1a448d8dd89e361c564e6b27e451b2dd701
    ) && (
>data_B.txt ^
    (
     echo=dd2da0dcb5a54989dd4d2312013ddb12345c0593ed59a6d307461d925d57226d89d24c2e5a95c0d4082b14118cb8766d89ae69e40c4dac1ab5bd718bd7c58
     echo=509ebfd1e2c180ccd6bd679204b7c255f3c7abcdefg7660e219fa9eb58658d96a3ef8cec179221acb78be81f8dd78bd3a8b1a3cdaef0cd691725d3402a495
     echo=a3180dce7675aeb161f8fe25fcbd39ff2678faf2326d3e2a39fchfasff90a714134bdd22f91103026c494e6ffcfd62d5cb3d46992de9dfff71b49f9a734c0
     echo=b5262c6ce5c4425a4ed737a7a8fdbc040c68003785d67177a25c86d9fb531ce42f74648783aed4bbb3aff7304b00d44b14eaa2a6c728b8802cafd22059570
     echo=da7e1eb7ec147628a59e702c55159bc32d66f3c540dfb4be436f136137af913a7139640701eba84f34796da4f35c9fasdffae35542f56b1dccf009d1cec30
     echo=72c99a6f4394b4f65d4b66b00071de1d40cb717f525863875c36b2bc79dd0a8491ee8854b8b4437bfcfe4aa8379861aa43a7850dfac144d5db5b2c6b75dcf
     echo=4a8a39e68379b2c671d83935b13dc82dd60d5e8b36a32a8677698a9306876zcvaffaaa4af292d53a8f52df4ee1c7bc701068064f4d28009566e8825abf2ab
     echo=074103664be0c91664bd4e2e51d0e051c9cf8f27c26511d3a691d0asdfadfa134234808a16bf0679a8500910b09cf24d9e9c88788b4a749a81ec2d15f78ca
     echo=18dc03a7722b0781caa4dfasdf664w666777068c79456941a159ffefa1d9c34fed83b98858394c1aa471396a0b1a448d8dd89e361c564e6b27e451b2dd701
    ) ) && exit /b
  • 出力は、NoMatch.txtに保存された各ファイルの最後の行です
18dc03a7722b0781caa4dfasdf664w666777068c79456941a159ffefa1d9c34fed83b98858394c1aa471396a0b1a448d8dd89e361c564e6b27e451b2dd701
28dc03a7722b0781caa4dfasdf664w666777068c79456941a159ffefa1d9c34fed83b98858394c1aa471396a0b1a448d8dd89e361c564e6b27e451b2dd701
3
It Wasn't Me