正確なスキーマを持つ2つのテーブル間のデータの違いをどのようにして見つけ、同期SQLを生成してユニオン結果(重複なし)を取得するのですか?
これらは2つのテーブルです。
SOURCE01.dbo.Customers (31,022 rows)
TARGET01.dbo.Customers (29,300 rows)
各テーブルのスキーマは次のとおりです。
[CustomerId] : nvarchar(255)
[CustomerSerializedProfile]: nvarchar(max)
[CreatedDatetime] : DateTime
前の回答で述べたtablediffとpowershellの他に、SQLとUNION ALLステートメントを使用して、2つの同一のテーブルで一致しないレコードを見つけることもできます。
SELECT MIN(TableName) AS TableName
,ID
,NAME
,lastname
,Address
,City
FROM (
SELECT 'Table A' AS TableName
,Customers.id
,Customers.NAME
,Customers.lastname
,Customers.Address
,Customers.City
FROM Customers
UNION ALL
SELECT 'Table B' AS TableName
,CustomersOld.id
,CustomersOld.NAME
,CustomersOld.lastname
,CustomersOld.Address
,CustomersOld.City
FROM CustomersOld
) tmp
GROUP BY ID
,NAME
,lastname
,Address
,City
HAVING COUNT(*) = 1
ORDER BY id;
試すことができる別のオプションは、Visual Studio自体でデータ比較を使用することです。ソースデータベースとターゲットデータベースのデータを比較し、同期用に選択したテーブルの同期スクリプトを作成します。
そして最後に、重要なことですが、SQLデータ比較ツール- ApexSQL Data Diff を使用して、すべての同期オプションを設定し、テーブルと列を異なる名前でマップし、GUIで比較するための独自のキーを作成できます。無人で実行するようにスケジュールすることができ、朝のSQL Serverジョブ履歴を確認するだけで済みます。これらのオプションに関する詳細が必要な場合は、この記事を読むことをお勧めします: http://solutioncenter.apexsql.com/automatically-compare-and-synchronize-sql-server-data/
これがSQL Serverデータツールに組み込まれていることについて、まだ驚くべきことはありません。たとえばRedgateと比較すると、機能は基本ですが。
ネイティブツールの使用:
tablediff: tablediffユーティリティ は、ソーステーブルのデータを宛先テーブルのテーブルと比較します。
powershell:compare-objectを使用すると、それを実現できます。 ここに良い例があります
第三者:
redgateスキーマとデータの比較。 powershellとスキーマ/データ比較を使用して、物事を自動化することもできます。
私は最近、これを同様の目的で使用しました:
select
s.*
,t.*
from SOURCE01.dbo.Customers as s
full outer join TARGET01.dbo.Customers as t
on s.CustomerId = t.CustomerId
where s.CustomerSerializedProfile <> t.CustomerSerializedProfile
or s.CreatedDatetime <> t.CreatedDatetime
or s.CustomerId is NULL
or t.CustomerId is NULL;
一貫性のある主キーに依存しています。しかし、結局のところ、一貫性のあるものが必要です。上記のようなコードを生成するためのメタスクリプトは、比較的簡単に記述でき、多列テーブルを簡単に比較できます。
同期に関しては、source left join target
およびtarget left join source
、次に、それぞれの結果を使用して実行する処理を決定します。
これにより、2つのテーブルの違いがわかります。これを挿入クエリでラップして、AからBに、またはその逆に違いを入れることができます。
SELECT A.CustomerId, A.CustomerSerializedProfile, A.CreatedDatetime
FROM SOURCE01.dbo.Customers A
WHERE NOT EXISTS (SELECT B.ID
FROM TARGET01.dbo.Customers
WHERE B.CustomerId= A.CustomerId
AND B.CustomerSerializedProfile= A.CustomerSerializedProfile
AND B.CreatedDatetime= A.CreatedDatetime)
無料のツールの1つにTableDiffの完全なインターフェースがあります。
http://nobhillsoft.com/Diana.aspx
また、DB比較ツールも確認してください。無制限の量のデータを比較するのはこれだけです(他の何百万ものレコードを実行することはできません)…リンクされている2つのサーバーを比較する限り
http://nobhillsoft.com/NHDBCompare.aspx
(サードパーティ製品のこのスレッドで他のリンクを見たので、その合法性について言及するのは合法だと思います...そうでない場合はお知らせください)
両方のテーブルに同様の主キーがある場合、以下の戦略を使用してソーステーブルとターゲットテーブルを比較できます(複合キー列にアスタリスクを付けました)。
with src as (select someCol1*,
someCol2*,
someCol3,
someCol4,
someCol5
from src_table),
tgt as (select someCol1NameCouldDiffer* as someCol1,
someCol2*,
someCol3,
someCol4,
someCol5
from tgt_table),
--Find which keys have at least 1 non-key column difference:
diffs as (select someCol1,
someCol2
from (select all 5 columns
from src
**union**
select all 5 columns
from target )
**group by** someCol1, someCol2
**having count(*)>1**
--Reselect all columns you wish to compare from src union target,
--joining on the keys from "diffs" above to show only records which
--have data differences.
select *
from (select all 5 columns
from src
union
select all 5 cols
from tgt) t1
join diffs on t1.someCol1 = diffs.someCol1
and t1.someCol2 = diffs.someCol2
**order by ** someCol1, someCol2 desc
これは、ユニオンが暗黙的に個別のレコードを返すため機能します。したがって、ターゲット内で正確に一致すると予想されるソース内の特定の行(キーによって識別される)の場合、srcとターゲットの和集合は、任意の特定のキーに対して1行を返すと予想されます。したがって、上記の戦略を使用してキーを見つけ、複数の行を持つユニオン結果を返し、srcユニオンターゲットを再度クエリできます(今回は、差分テーブルと結合することで、差異のあるレコードのみを選択します)比較するすべての列を選択し、キーを構成する列で並べ替えると、どの列が一致していないかが正確にわかります。 「as」ステートメントを使用して相互に別名を付けることができるため、ソースとターゲットの列名は一致する必要がないことに注意してください。
同様の問題があり、SQL 'EXCEPT'コマンドを使用して問題を解決しました。 EXCEPTコマンドは2つのSELECTステートメントを受け取り、2番目(右)のSELECTステートメントではなく、最初のSELECTステートメント(左)によって返される行を返します。
SELECT * from table1 where x,y,z
EXCEPT
SELECT * from table2 where a,b,c
PS:SELECTステートメントによって返される両方のテーブルのスキーマが一致する必要があります。
より明確にするために、以下にアクセスしてください ここにチュートリアルポイントページ
/*
Compare master table data on 2 servers (
1. Change server name
2. Set RaceDate (@racedate) with the >, < ,= >= operator
before you run)
--KNOWN ISSUES
1. Tables need PKs
*/
SET NOCOUNT ON
--Destination Server Details
DECLARE @destServ nvarchar(40)='[sql\inst23]' --required -- If local instance, leave the string empty
DECLARE @destdb nvarchar(40)='DBName' --required
DECLARE @destSchema nvarchar(40)='dbo' --required
DECLARE @destTable nvarchar(40)='TableName' --required
-- Source Server Details
DECLARE @SourServ nvarchar(40)='[sql\inst07]' --required
DECLARE @Sourdb nvarchar(40)='DBonRemoteServer' --required
DECLARE @SourSchema nvarchar(40)='dbo' --required
DECLARE @SourTable nvarchar(40)='TableName' --required -- TableName format 'MyTable'
DECLARE @WHERE nvarchar(400) = 'WHERE 1=1'
DECLARE @Clause nvarchar(400)= 'AND Id > 201808201500000' --Choose a Predicate to limit data --Start with AND . e.g: 'AND Date > ''20180801'' '
SELECT @WHERE = @WHERE + @Clause
DECLARE @randomtablesuffix nvarchar(5)
SELECT @randomtablesuffix= SUBSTRING(CAST(NEWID() as nvarchar(255)),1,5)
declare @v nvarchar(max), @sql nvarchar(max), @retval nvarchar(max) , @ParamDef nvarchar(400)
--GET Columns List as varchar Columns for HASHBYTES to compare
SELECT @sql='SELECT @vv= COALESCE(@vv,'''')+''CAST(ISNULL(''+ COLUMN_NAME + '',0) as VARCHAR(''+
CASE WHEN DATA_TYPE IN (''varchar'',''nvarchar'') THEN CAST(CHARACTER_MAXIMUM_LENGTH as varchar(5)) ELSE ''60 '' END +'')) + ''
from '+ @destdb + '.INFORMATION_SCHEMA.COLUMNS where TABLE_NAME='+ QUOTENAME(@destTable,'''') + ''
SET @ParamDef = N'@vv nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @vv=@v OUTPUT;
SELECT @v= SUBSTRING(@v,0,LEN(@v))
--Keys to JOIN
DECLARE @pkeylistJoinOUT nvarchar(4000)=''
SET @sql='SELECT @pkeylistJoin = ISNULL(@pkeylistJoin,'''') + '' a.''+ QUOTENAME(COLUMN_NAME) + ''=b.''+ QUOTENAME(COLUMN_NAME) + '' AND''
FROM '+@destdb+'.[INFORMATION_SCHEMA].[KEY_COLUMN_USAGE]
WHERE TABLE_NAME='+ QUOTENAME(@destTable,'''') + ' ORDER BY ORDINAL_POSITION'
SET @ParamDef = N'@pkeylistJoin nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @pkeylistJoin=@pkeylistJoinOUT OUTPUT;
SELECT @pkeylistJoinOUT = REPLACE(REPLACE(REVERSE( SUBSTRING(REVERSE(@pkeylistJoinOUT), CHARINDEX(']', REVERSE(@pkeylistJoinOUT)), LEN(@pkeylistJoinOUT)) ),']',''),'[','')
--Get Column List
DECLARE @ColumnListOut nvarchar(max)=''
SET @sql='SELECT @ColumnList=ISNULL(@ColumnList,'''') + COLUMN_NAME + '','' FROM '+@destdb +'.[INFORMATION_SCHEMA].[COLUMNS] WHERE TABLE_NAME='+QUOTENAME(@destTable,'''')+ ' ORDER BY ORDINAL_POSITION'
SET @ParamDef = N'@ColumnList nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @ColumnList=@ColumnListOut OUTPUT;
SET @ColumnListOut=SUBSTRING(@ColumnListOut,0,LEN(@ColumnListOut))
--Now Compare
SELECT @sql='
SELECT a.* INTO ##_destissues'+@randomtablesuffix+' FROM (
SELECT HASHBYTES (''SHA2_512'','+ @v +')HashVal,'+ @ColumnListOut +' FROM '+@destServ+'.'+@destdb+'.'+@destSchema+'.'+@destTable + ' x WITH (NOLOCK) ' + @WHERE + '
)a
JOIN (
SELECT HASHBYTES (''SHA2_512'','+@v +')HashVal,'+ @ColumnListOut + ' FROM ' +@SourServ +'.'+ @Sourdb+ '.'+@SourSchema+'.'+ @SourTable +' y WITH (NOLOCK) ' + @WHERE + '
)
b ON '+@pkeylistJoinOUT + ' AND a.HashVal <> b.HashVal '
--print @sql
exec (@sql)
SELECT @sql='
SELECT b.* INTO ##_sourceissues'+@randomtablesuffix+ ' FROM (
SELECT HASHBYTES (''SHA2_512'','+ @v +')HashVal,'+ @ColumnListOut +' FROM '+@destServ+'.'+@destdb+'.'+@destSchema+'.'+@destTable + ' x WITH (NOLOCK) ' + @WHERE + '
)a
JOIN (
SELECT HASHBYTES (''SHA2_512'','+@v +')HashVal,'+ @ColumnListOut + ' FROM ' +@SourServ +'.'+ @Sourdb+ '.'+@SourSchema+'.'+ @SourTable +' y WITH (NOLOCK) ' + @WHERE + '
)
b ON '+@pkeylistJoinOUT + ' AND a.HashVal <> b.HashVal '
exec (@sql)
--Get Column List for Pivoting
DECLARE @ColumnListOutasVC nvarchar(max)=''
SET @sql='SELECT @ColumnList=ISNULL(@ColumnList,'''')+ ''CAST(''+ COLUMN_NAME + '' AS VARCHAR(200)) as ''+ COLUMN_NAME + '','' FROM ' + @destdb+'.[INFORMATION_SCHEMA].[COLUMNS] WHERE TABLE_NAME='+QUOTENAME(@desttable,'''')
SET @ParamDef = N'@ColumnList nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @ColumnList=@ColumnListOutasVC OUTPUT;
SET @ColumnListOutasVC=SUBSTRING(@ColumnListOutasVC,0,LEN(@ColumnListOutasVC))
--Get PKs as VARCHAR Values
DECLARE @pkeylistJoinOUTVC nvarchar(4000)=''
SET @sql='SELECT @pkeylistJoin = ISNULL(@pkeylistJoin,'''') + ''CAST(''+COLUMN_NAME + '' as varchar(200)) as '' + COLUMN_NAME + ''1,'' FROM '+ @destdb+'.[INFORMATION_SCHEMA].[KEY_COLUMN_USAGE] WHERE TABLE_NAME='+QUOTENAME(@destTable,'''') + ' ORDER BY ORDINAL_POSITION'
SET @ParamDef = N'@pkeylistJoin nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @pkeylistJoin=@pkeylistJoinOUTVC OUTPUT;
SET @pkeylistJoinOUTVC=SUBSTRING(@pkeylistJoinOUTVC,0,LEN(@pkeylistJoinOUTVC))
--SELECT @pkeylistJoinOUTVC
SET @sql='
select * INTO ##_destissuedetail'+@randomtablesuffix+ ' from(
select '+ @pkeylistJoinOUTVC + ', ' + @ColumnListOutasVC
+ '
from
##_destissues'+ @randomtablesuffix+ '
)c UNPIVOT
(
Vals for ColNames in ('+@ColumnListOut+')
) d'
EXEC( @sql)
SET @sql='
select * INTO ##_sourceissuedetail'+@randomtablesuffix+' from(
select '+ @pkeylistJoinOUTVC + ', ' + @ColumnListOutasVC
+ '
from
##_sourceissues'+ @randomtablesuffix+'
)c UNPIVOT
(
Vals for ColNames in ('+@ColumnListOut+')
) d'
EXEC( @sql)
SELECT 'Tables to look for data are ##_destissuedetail'+@randomtablesuffix +' and ##_sourceissuedetail ' +@randomtablesuffix
SET @sql='
SELECT * FROM ##_destissuedetail'+@randomtablesuffix+ '
EXCEPT
SELECT * FROM ##_sourceissuedetail' +@randomtablesuffix
EXEC (@sql)
スクリプト(関連する詳細が提供されている場合)は、2つのテーブルを比較します(たとえば、server1のCustomersをServer2のCustomersと比較します)。
このスクリプトは、列数が多いテーブルを比較しているが、正確に一致しない列を見つけるのに苦労している場合に便利です。
353列のテーブルがあり、それを別のテーブルと比較して、値が一致しないことを検出する必要がありました。このスクリプトは、正確なタプルを見つけるのに役立ちます。
2つの同一のテーブル間の違いを見つけるには
選択する *
FROM SOURCE01.dbo.Customers
連合
選択する *
FROM TARGET01.dbo.Customers
例外
選択する *
FROM SOURCE01.dbo.Customers
INTERSECT
選択する *
FROM TARGET01.dbo.Customers
操作の順序により、INTERSECTが最初に実行され、両方のテーブルに存在する行のみのデータセットが提供されます。次にUNIONが実行され、重複することなく両方のテーブルのすべての行が提供されます。最後に、EXCEPTが実行され、UNION(両方のテーブルのすべての行)から、両方のテーブルの行であるINTERSECTデータセットが削除されます。これにより、一方のテーブルには存在し、もう一方には存在しない行のみを含むデータセットが残ります。データセットが空に戻った場合、すべての行はテーブル間で同じです。
https://docs.Microsoft.com/en-us/sql/t-sql/language-elements/set-operators-except-and-intersect-transact-sql