web-dev-qa-db-ja.com

Azure Blob StorageからAWS S3にデータをコピーする

Azure Data Factoryを初めて使用し、興味深い要件があります。

理想的にはAzure Data Factoryを使用して、ファイルをAzure BlobストレージからAmazon S3に移動する必要があります。

ただし、S3はシンクとしてサポートされていません。

enter image description here

https://docs.Microsoft.com/en-us/Azure/data-factory/copy-activity-overview

また、ここで読んださまざまなコメントから、Blob StorageからS3に直接コピーすることはできないことを理解しています。ファイルをローカルにダウンロードしてから、S3にアップロードする必要があります。

データファクトリー、SSIS、またはAzure Runbookでそのようなことを実行できる例を誰かが知っていますか？データファクトリーから呼び出されるAzureロジックアプリまたは関数を作成するオプションがあると思います。

amazon-s3ssisazure-storageazure-storage-blobsazure-data-factory-2
5
James Cooke

なんとかこれで動作するようになりました-それは他の誰かにとって役立つかもしれません。

HTTPリクエストをトリガーとして使用するAzure関数を作成することにしました。

これら2つの投稿は私を大いに助けてくれました。

Azure関数でNuGetパッケージを使用するにはどうすればよいですか？

C＃を使用してAzure BlobからAWS S3にコピー

Azure関数2.xを使用している場合は、Nugetパッケージに対する私の回答に注意してください。

ここにコードがあります-あなたはあなたのニーズに合わせてこれの基礎を変更することができます。 Azure Data Factoryはパイプラインから送信されたhttpリクエストからの応答としてこれを要求するため、JSONシリアル化されたオブジェクトを返します。

#r "Microsoft.WindowsAzure.Storage"
#r "Newtonsoft.Json"
#r "System.Net.Http"

using System.Net;
using Microsoft.AspNetCore.Mvc;
using Microsoft.Extensions.Primitives;
using Newtonsoft.Json;
using Microsoft.WindowsAzure.Storage.Blob;
using System.Net.Http;
using Amazon.S3; 
using Amazon.S3.Model;
using Amazon.S3.Transfer;
using Amazon.S3.Util;


public static async  Task<IActionResult> Run(HttpRequest req, ILogger log)
{
    log.LogInformation("Example Function has recieved a HTTP Request");

    // get Params from query string
    string blobUri = req.Query["blobUri"];
    string bucketName = req.Query["bucketName"];

    // Validate query string
    if (String.IsNullOrEmpty(blobUri) || String.IsNullOrEmpty(bucketName)) {

        Result outcome = new Result("Invalid Parameters Passed to Function",false,"blobUri or bucketName is null or empty");
        return new BadRequestObjectResult(outcome.ConvertResultToJson());
    }

    // cast the blob to its type
    Uri blobAbsoluteUri = new Uri(blobUri);
    CloudBlockBlob blob = new CloudBlockBlob(blobAbsoluteUri);

    // Do the Copy
    bool resultBool = await CopyBlob(blob, bucketName, log);

    if (resultBool) { 
        Result outcome = new Result("Copy Completed",true,"Blob: " + blobUri + " Copied to Bucket: " + bucketName);
        return (ActionResult)new OkObjectResult(outcome.ConvertResultToJson());       
    }
    else {
        Result outcome = new Result("ERROR",false,"Copy was not successful Please review Application Logs");
        return new BadRequestObjectResult(outcome.ConvertResultToJson()); 
    }  
}

static async Task<bool> CopyBlob(CloudBlockBlob blob, string existingBucket, ILogger log) {

        var accessKey = "myAwsKey";
        var secretKey = "myAwsSecret";
        var keyName = blob.Name;

        // Make the client 
        AmazonS3Client myClient = new AmazonS3Client(accessKey, secretKey, Amazon.RegionEndpoint.EUWest1);

        // Check the Target Bucket Exists; 
        bool bucketExists = await AmazonS3Util.DoesS3BucketExistAsync (myClient,existingBucket);

        if (!bucketExists) {
            log.LogInformation("Bucket: " + existingBucket + " does not exist or is inaccessible to the application");
            return false;
        }

        // Set up the Transfer Utility
        TransferUtility fileTransferUtility = new TransferUtility(myClient);

        // Stream the file
        try {

            log.LogInformation("Starting Copy");

            using (var stream = await blob.OpenReadAsync()) {

                // Note: You need permissions to not be private on the source blob
                log.LogInformation("Streaming");

                await fileTransferUtility.UploadAsync(stream,existingBucket,keyName);

                log.LogInformation("Streaming Done");   
            }

            log.LogInformation("Copy completed");
        }
        catch (AmazonS3Exception e) {
                log.LogInformation("Error encountered on server. Message:'{0}' when writing an object", e.Message);
            }
        catch (Exception e) {
                log.LogInformation("Unknown encountered on server. Message:'{0}' when writing an object", e.Message);
                return false;
        }

        return true; 
    }

public class Result {

    public string result;
    public bool outcome;
    public string UTCtime;
    public string details; 

    public Result(string msg, bool outcomeBool, string fullMsg){
        result=msg;
        UTCtime=DateTime.Now.ToString("yyyy-MM-dd h:mm:ss tt");
        outcome=outcomeBool;
        details=fullMsg;
    }

    public string ConvertResultToJson() {
        return JsonConvert.SerializeObject(this);
    } 
}
1
James Cooke

AzCopyを使用してAzure Storageから一時的なローカルリポジトリにファイルをダウンロード

Azure Cloud Storageからローカルシステムにファイルをダウンロードできます。以下のコマンドを実行し、再帰フラグを使用してすべてのファイルをコピーします

azcopy /Source:[source_container_url] /Dest:[local_file_path] /Sourcekey:[source_storage_account_access_key] /s

aws s3 cpコマンドを使用してローカルファイルをAmazon S3にアップロード

 aws s3 cp local_file_path s3://my-bucket/ --recursive
0
Eric Bellet