web-dev-qa-db-ja.com

PowerShellのカスタムRoboCopyプログレスバー

私は毎日サーバーから大量のファイルをコピーするPowerShellスクリプトに興味があり、コンソール内のプログレスバーの実装に興味があります

File copy status - XX% complete.

ここで、XX%は、改行の後の改行ではなく同じ行で更新されます。今のところ、RoboCopyを使用することにしました。私は現在持っています

ROBOCOPY 'C:\Users\JMondy\Desktop\Sample1' 'C:\Users\JMondy\Desktop\Sample2' . /E /IS /NFL /NJH

次のステップは何ですか？

powershell
25
codo-sapien

Copy-WithProgressと呼ばれるPowerShell関数を作成しました。ロボコピーを使用していると具体的に述べたので、ロボコピー機能（少​​なくともその一部）をカプセル化するPowerShell関数を作成しました。

それがどのように機能するかをお見せします。また、 YouTubeビデオを記録して投稿 関数がどのように機能するように設計されているかを示し、テスト実行を呼び出しています。

関数は領域に分割されます：

  • 一般的なロボコピーパラメーター
  • ステージング（ロボコピージョブサイズが計算される場所）
  • コピー（robocopyジョブが開始される場所）
  • 進行状況バー（ロボコピーの進行状況が監視される場所）
  • 関数出力（スクリプトの残りで使用するために、いくつかの有用な統計が出力される場所）

関数にはいくつかのパラメーターがあります。

  • Source：ソースディレクトリ
  • Destination：宛先ディレクトリ
  • Gap：ロボコピーでサポートされているミリ秒単位の「パケット間ギャップ」。テスト用に人為的にコピーを遅くします）
  • ReportGap：ロボコピーの進行状況を確認する間隔（ミリ秒）

スクリプトの下部（関数定義の後）に、それを呼び出す方法の完全な例があります。すべてが可変化されているため、コンピューターで動作するはずです。 5つのステップがあります。

  1. ランダムソースディレクトリを生成する
  2. 宛先ディレクトリを生成する
  3. Copy-WithProgress関数を呼び出す
  4. いくつかの追加ソースファイルを作成します（経時的な変更をエミュレートするため）
  5. Copy-WithProgress関数を再度呼び出し、変更のみがレプリケートされることを検証します

以下は、関数の出力がどのように見えるかのスクリーンショットです。すべてのデバッグ情報が必要ない場合は、-Verboseパラメーターを省略できます。関数からPSCustomObjectが返され、次のことがわかります。

  1. コピーされたバイト数
  2. コピーされたファイルの数

Copy-WithProgress PowerShell Function

PowerShell ISEのPowerShell進行状況バーとPowerShellコンソールホストのスクリーンショットを次に示します。

PowerShell Progress Bar (ISE)

PowerShell Progress Bar (Console Host)

コードは次のとおりです。

function Copy-WithProgress {
    [CmdletBinding()]
    param (
            [Parameter(Mandatory = $true)]
            [string] $Source
        , [Parameter(Mandatory = $true)]
            [string] $Destination
        , [int] $Gap = 200
        , [int] $ReportGap = 2000
    )
    # Define regular expression that will gather number of bytes copied
    $RegexBytes = '(?<=\s+)\d+(?=\s+)';

    #region Robocopy params
    # MIR = Mirror mode
    # NP  = Don't show progress percentage in log
    # NC  = Don't log file classes (existing, new file, etc.)
    # BYTES = Show file sizes in bytes
    # NJH = Do not display robocopy job header (JH)
    # NJS = Do not display robocopy job summary (JS)
    # TEE = Display log in stdout AND in target log file
    $CommonRobocopyParams = '/MIR /NP /NDL /NC /BYTES /NJH /NJS';
    #endregion Robocopy params

    #region Robocopy Staging
    Write-Verbose -Message 'Analyzing robocopy job ...';
    $StagingLogPath = '{0}\temp\{1} robocopy staging.log' -f $env:windir, (Get-Date -Format 'yyyy-MM-dd HH-mm-ss');

    $StagingArgumentList = '"{0}" "{1}" /LOG:"{2}" /L {3}' -f $Source, $Destination, $StagingLogPath, $CommonRobocopyParams;
    Write-Verbose -Message ('Staging arguments: {0}' -f $StagingArgumentList);
    Start-Process -Wait -FilePath robocopy.exe -ArgumentList $StagingArgumentList -NoNewWindow;
    # Get the total number of files that will be copied
    $StagingContent = Get-Content -Path $StagingLogPath;
    $TotalFileCount = $StagingContent.Count - 1;

    # Get the total number of bytes to be copied
    [RegEx]::Matches(($StagingContent -join "`n"), $RegexBytes) | % { $BytesTotal = 0; } { $BytesTotal += $_.Value; };
    Write-Verbose -Message ('Total bytes to be copied: {0}' -f $BytesTotal);
    #endregion Robocopy Staging

    #region Start Robocopy
    # Begin the robocopy process
    $RobocopyLogPath = '{0}\temp\{1} robocopy.log' -f $env:windir, (Get-Date -Format 'yyyy-MM-dd HH-mm-ss');
    $ArgumentList = '"{0}" "{1}" /LOG:"{2}" /ipg:{3} {4}' -f $Source, $Destination, $RobocopyLogPath, $Gap, $CommonRobocopyParams;
    Write-Verbose -Message ('Beginning the robocopy process with arguments: {0}' -f $ArgumentList);
    $Robocopy = Start-Process -FilePath robocopy.exe -ArgumentList $ArgumentList -Verbose -PassThru -NoNewWindow;
    Start-Sleep -Milliseconds 100;
    #endregion Start Robocopy

    #region Progress bar loop
    while (!$Robocopy.HasExited) {
        Start-Sleep -Milliseconds $ReportGap;
        $BytesCopied = 0;
        $LogContent = Get-Content -Path $RobocopyLogPath;
        $BytesCopied = [Regex]::Matches($LogContent, $RegexBytes) | ForEach-Object -Process { $BytesCopied += $_.Value; } -End { $BytesCopied; };
        $CopiedFileCount = $LogContent.Count - 1;
        Write-Verbose -Message ('Bytes copied: {0}' -f $BytesCopied);
        Write-Verbose -Message ('Files copied: {0}' -f $LogContent.Count);
        $Percentage = 0;
        if ($BytesCopied -gt 0) {
           $Percentage = (($BytesCopied/$BytesTotal)*100)
        }
        Write-Progress -Activity Robocopy -Status ("Copied {0} of {1} files; Copied {2} of {3} bytes" -f $CopiedFileCount, $TotalFileCount, $BytesCopied, $BytesTotal) -PercentComplete $Percentage
    }
    #endregion Progress loop

    #region Function output
    [PSCustomObject]@{
        BytesCopied = $BytesCopied;
        FilesCopied = $CopiedFileCount;
    };
    #endregion Function output
}

# 1. TESTING: Generate a random, unique source directory, with some test files in it
$TestSource = '{0}\{1}' -f $env:temp, [Guid]::NewGuid().ToString();
$null = mkdir -Path $TestSource;
# 1a. TESTING: Create some test source files
1..20 | % -Process { Set-Content -Path $TestSource\$_.txt -Value ('A'*(Get-Random -Minimum 10 -Maximum 2100)); };

# 2. TESTING: Create a random, unique target directory
$TestTarget = '{0}\{1}' -f $env:temp, [Guid]::NewGuid().ToString();
$null = mkdir -Path $TestTarget;

# 3. Call the Copy-WithProgress function
Copy-WithProgress -Source $TestSource -Destination $TestTarget -Verbose;

# 4. Add some new files to the source directory
21..40 | % -Process { Set-Content -Path $TestSource\$_.txt -Value ('A'*(Get-Random -Minimum 950 -Maximum 1400)); };

# 5. Call the Copy-WithProgress function (again)
Copy-WithProgress -Source $TestSource -Destination $TestTarget -Verbose;
75
Trevor Sullivan

絶対にロボコピーを使用する必要がありますか？

そうでない場合は、各ファイルに対してこのスレッドのコードを呼び出すことができます： 大きなファイルのコピー中の進行状況（Copy-Item＆Write-Progress？）

または、PowerShellから呼び出されたrobocopyの/ Lスイッチを使用して、robocopyがコピーしたファイルのリストを取得し、for-eachループを使用して各ファイルをそのコピー機能で実行します。

「ファイルx/y-XX％完了」を報告できるように、書き込み進行コマンドをネストすることもできます。

このようなものは動作するはずで、サブディレクトリには少し作業が必要です（gciコマンドに-recurseを追加するだけではないようです）が、正しい方向に進むでしょう。

注：私は電話でこれを書いています、コードはまだテストされていません...

function Copy-File {
param( [string]$from, [string]$to)
$ffile = [io.file]::OpenRead($from)
$tofile = [io.file]::OpenWrite($to)
Write-Progress `
    -Activity ("Copying file " + $filecount + " of " + $files.count) `
    -status ($from.Split("\")|select -last 1) `
    -PercentComplete 0
try {
    $sw = [System.Diagnostics.Stopwatch]::StartNew();
    [byte[]]$buff = new-object byte[] 65536
    [long]$total = [long]$count = 0
    do {
        $count = $ffile.Read($buff, 0, $buff.Length)
        $tofile.Write($buff, 0, $count)
        $total += $count
        if ($total % 1mb -eq 0) {
            if([int]($total/$ffile.Length* 100) -gt 0)`
                {[int]$secsleft = ([int]$sw.Elapsed.Seconds/([int]($total/$ffile.Length* 100))*100)
                } else {
                [int]$secsleft = 0};
            Write-Progress `
                -Activity ([string]([int]($total/$ffile.Length* 100)) + "% Copying file")`
                -status ($from.Split("\")|select -last 1) `
                -PercentComplete ([int]($total/$ffile.Length* 100))`
                -SecondsRemaining $secsleft;
        }
    } while ($count -gt 0)
$sw.Stop();
$sw.Reset();
}
finally {
    $ffile.Close()
    $tofile.Close()
    }
}

$srcdir = "C:\Source;
$destdir = "C:\Dest";
[int]$filecount = 0;
$files = (Get-ChildItem $SrcDir | where-object {-not ($_.PSIsContainer)});
$files|foreach($_){
$filecount++
if ([system.io.file]::Exists($destdir+$_.name)){
                [system.io.file]::Delete($destdir+$_.name)}
                Copy-File -from $_.fullname -to ($destdir+$_.name)
};

個人的には、USBスティックへの小さなコピーにこのコードを使用していますが、PCバックアップ用のPowerShellスクリプトでロボコピーを使用しています。

2
Graham Gold

これらのソリューションは優れていますが、次のように、すべてのファイルを簡単にフローティング状態にする簡単で迅速な方法があります。

robocopy <source> <destination> /MIR /NDL /NJH /NJS | %{$data = $_.Split([char]9); if("$($data[4])" -ne "") { $file = "$($data[4])"} ;Write-Progress "Percentage $($data[0])" -Activity "Robocopy" -CurrentOperation "$($file)"  -ErrorAction SilentlyContinue; }
2
Amrinder

RoboCopyのネイティブPowerShell[〜＃〜] gui [〜＃〜]バージョンです。 （EXEファイルなし）

私はそれが何かを助けることを願っています。

enter image description here

https://gallery.technet.Microsoft.com/PowerShell-Robocopy-GUI-08c9cacb

参考までに、PowerCopy GUIツールとCopy-WithProgressバーを組み合わせることができる人はいますか？

1
Deniz Porsuk

進行状況バーはすてきで、何百ものファイルをコピーする場合を除いて、進行状況を示すと操作が遅くなります。 robocopyヘルプが、パフォーマンスを向上させるために/ MTフラグが出力をログにリダイレクトするように指示する理由の1つです。

1
Nelis

私はAmrinderの提案された答えに基づいてこれを使用することになりました：

robocopy.exe $Source $Destination $PatternArg $MirrorArg /NDL /NJH /NJS | ForEach-Object -Process {
    $data = $_.Split([char]9);
    if (($data.Count -gt 4) -and ("$($data[4])" -ne ""))
    {
        $file = "$($data[4])"
        Write-Progress "Percentage $($data[0])" -Activity "Robocopy" -CurrentOperation "$($file)" -ErrorAction SilentlyContinue; 
    }
    else
    {
        Write-Progress "Percentage $($data[0])" -Activity "Robocopy" -CurrentOperation "$($file)"
    }
}
# Robocopy has a bitmask set of exit codes, so only complain about failures:
[int] $exitCode = $global:LastExitCode;
[int] $someCopyErrors = $exitCode -band 8;
[int] $seriousError = $exitCode -band 16;
if (($someCopyErrors -ne 0) -or ($seriousError -ne 0))
{
    Write-Error "ERROR: robocopy failed with a non-successful exit code: $exitCode"
    exit 1
}

フィー、ビル

0
Bill Tutt