web-dev-qa-db-ja.com

データ仮想化とは何ですか？

私たちの会社が私たちのテスト環境のためにData Virtualisationを考慮すべきかどうか尋ねられました。メリットは次のとおりです。

  • 機密データのスクリーニング
  • テスト環境での高速データ更新
  • DRおよびBIシナリオの潜在的なメリット

しかし、私はマーケティング情報しか見つけていません。技術的なことは何もありません。私が理解できることから、2つのアプローチがあります：

  • データモデルからユーザーを抽象化する本番データベース上のサービスレイヤー（おそらく、その新しいレイヤーによって提示される異なるデータモデルになります）。
  • 技術者以外のユーザーが使用できるデータの復元とその後の操作を自動化するツールで、データベースのバックアップやSQLスクリプトを使用するよりも高速です。

技術的な情報を見ることなく、これは私にはスネークオイルのにおいがします。しかし、私は手に負えないことを却下するのではなく、それを理解したいと思います。

キーワード：[data-as-a-service] [data-virtualization] [data-virtualization] [delphix] [denodo]

replicationbackuprestorevirtualisationdaas
4
JohnLBevan

データ仮想化は抽象化レイヤーの提供であるため、データコンシューマーは、元のデータの物理的な場所や形式を知る必要がありません。 PostGres DB、MySQL DB、SQL Server DB、Parquet/ORCファイルのバッチ全体があり、クエリを作成する人はその物理性にまったく気づいていません。彼らに関する限り、彼らはPresto（またはあなたが使用することを選択したデータ仮想化ソリューション）への接続を確立しています。

Apache Prestoなどのテクノロジーでは、SQLクエリを実行するための中心点が可能ですが、Presto自体は、ソースデータがどこに何であるかを知るように構成されているため、エンドユーザーは知る必要がありません。 Prestoは、特にJDBC接続、セキュリティ、LDAP認証に関して、Teradataから多くの情報を得ているオープンソースツールです。また、StarBurstからの商用サポートもあります。 Starburstは最近、Presto用のコストベースのクエリオプティマイザを発表しました。

AWSは、AWS Athenaをベースにしているため、Prestoを信頼しています。その利点は、データがリレーショナルデータベースに存在する必要がないことです。ファイルベースにすることもできます。

機密データのスクリーニングに関しては、誰が何にアクセスできるかを選択できますが、それはデータマスキングまたは難読化ツールではありません。

それはスネークオイルではありませんが、銀の弾丸でもありません。ソースシステムには明らかにヒットがあり、そのヒットが何であるかを理解する必要があります。主な利点は、データをあちこちに移動する必要がなく、そのデータ移動をサポートするための膨大なテクノロジーを備えていることです。

2
Dave Poole