web-dev-qa-db-ja.com

2つのSQLテーブルの内容の違いを見つけて同期SQLを作成する方法

正確なスキーマを持つ2つのテーブル間のデータの違いをどのようにして見つけ、同期SQLを生成してユニオン結果（重複なし）を取得するのですか？

これらは2つのテーブルです。

SOURCE01.dbo.Customers (31,022 rows)

TARGET01.dbo.Customers (29,300 rows)

各テーブルのスキーマは次のとおりです。

  • [CustomerId] : nvarchar(255)
  • [CustomerSerializedProfile]: nvarchar(max)
  • [CreatedDatetime] : DateTime
sql-serversql-server-2008-r2
13
Dio Phung

前の回答で述べたtablediffとpowershellの他に、SQLとUNION ALLステートメントを使用して、2つの同一のテーブルで一致しないレコードを見つけることもできます。

SELECT MIN(TableName) AS TableName
   ,ID
   ,NAME
   ,lastname
   ,Address
   ,City
FROM (
SELECT 'Table A' AS TableName
    ,Customers.id
    ,Customers.NAME
    ,Customers.lastname
    ,Customers.Address
    ,Customers.City
FROM Customers

UNION ALL

SELECT 'Table B' AS TableName
    ,CustomersOld.id
    ,CustomersOld.NAME
    ,CustomersOld.lastname
    ,CustomersOld.Address
    ,CustomersOld.City
FROM CustomersOld
) tmp
GROUP BY ID
   ,NAME
   ,lastname
   ,Address
   ,City
HAVING COUNT(*) = 1
ORDER BY id;

試すことができる別のオプションは、Visual Studio自体でデータ比較を使用することです。ソースデータベースとターゲットデータベースのデータを比較し、同期用に選択したテーブルの同期スクリプトを作成します。

そして最後に、重要なことですが、SQLデータ比較ツール- ApexSQL Data Diff を使用して、すべての同期オプションを設定し、テーブルと列を異なる名前でマップし、GUIで比較するための独自のキーを作成できます。無人で実行するようにスケジュールすることができ、朝のSQL Serverジョブ履歴を確認するだけで済みます。これらのオプションに関する詳細が必要な場合は、この記事を読むことをお勧めします： http://solutioncenter.apexsql.com/automatically-compare-and-synchronize-sql-server-data/

7
Andreas Voller

これがSQL Serverデータツールに組み込まれていることについて、まだ驚くべきことはありません。たとえばRedgateと比較すると、機能は基本ですが。

1つ以上のテーブルのデータを参照データベースのデータと比較して同期する の詳細

6
Martin Smith

ネイティブツールの使用：

tablediff： tablediffユーティリティ は、ソーステーブルのデータを宛先テーブルのテーブルと比較します。

powershell：compare-objectを使用すると、それを実現できます。 ここに良い例があります

第三者：

redgateスキーマとデータの比較。 powershellとスキーマ/データ比較を使用して、物事を自動化することもできます。

4
Kin Shah

私は最近、これを同様の目的で使用しました：

select
    s.*
    ,t.*
from SOURCE01.dbo.Customers as s
full outer join TARGET01.dbo.Customers as t
    on s.CustomerId = t.CustomerId
where s.CustomerSerializedProfile <> t.CustomerSerializedProfile
or s.CreatedDatetime <> t.CreatedDatetime
or s.CustomerId is NULL
or t.CustomerId is NULL;

一貫性のある主キーに依存しています。しかし、結局のところ、一貫性のあるものが必要です。上記のようなコードを生成するためのメタスクリプトは、比較的簡単に記述でき、多列テーブルを簡単に比較できます。

同期に関しては、source left join targetおよびtarget left join source、次に、それぞれの結果を使用して実行する処理を決定します。

3
Michael Green

これにより、2つのテーブルの違いがわかります。これを挿入クエリでラップして、AからBに、またはその逆に違いを入れることができます。

SELECT A.CustomerId, A.CustomerSerializedProfile, A.CreatedDatetime
  FROM SOURCE01.dbo.Customers A
 WHERE NOT EXISTS (SELECT B.ID
                 FROM TARGET01.dbo.Customers
                WHERE B.CustomerId= A.CustomerId
                  AND B.CustomerSerializedProfile= A.CustomerSerializedProfile
                  AND B.CreatedDatetime= A.CreatedDatetime)
2
Reaces

無料のツールの1つにTableDiffの完全なインターフェースがあります。

http://nobhillsoft.com/Diana.aspx

また、DB比較ツールも確認してください。無制限の量のデータを比較するのはこれだけです（他の何百万ものレコードを実行することはできません）…リンクされている2つのサーバーを比較する限り

http://nobhillsoft.com/NHDBCompare.aspx

（サードパーティ製品のこのスレッドで他のリンクを見たので、その合法性について言及するのは合法だと思います...そうでない場合はお知らせください）

1
Jonathan Scion

両方のテーブルに同様の主キーがある場合、以下の戦略を使用してソーステーブルとターゲットテーブルを比較できます（複合キー列にアスタリスクを付けました）。

with src as (select someCol1*, 
                    someCol2*, 
                    someCol3, 
                    someCol4, 
                    someCol5
             from src_table),

tgt as (select someCol1NameCouldDiffer* as someCol1, 
               someCol2*, 
               someCol3, 
               someCol4, 
               someCol5
        from tgt_table),

--Find which keys have at least 1 non-key column difference:

diffs as (select someCol1, 
                 someCol2 
          from (select all 5 columns 
                from src 
                **union** 
                select all 5 columns 
                from target ) 
           **group by** someCol1, someCol2 
           **having count(*)>1** 

--Reselect all columns you wish to compare from src union target, 
--joining on the keys from "diffs" above to show only records which 
--have data differences.

select * 
from (select all 5 columns 
      from src 
      union 
      select all 5 cols 
       from tgt) t1 
join diffs on t1.someCol1 = diffs.someCol1 
           and t1.someCol2 = diffs.someCol2 
**order by ** someCol1, someCol2 desc

これは、ユニオンが暗黙的に個別のレコードを返すため機能します。したがって、ターゲット内で正確に一致すると予想されるソース内の特定の行（キーによって識別される）の場合、srcとターゲットの和集合は、任意の特定のキーに対して1行を返すと予想されます。したがって、上記の戦略を使用してキーを見つけ、複数の行を持つユニオン結果を返し、srcユニオンターゲットを再度クエリできます（今回は、差分テーブルと結合することで、差異のあるレコードのみを選択します）比較するすべての列を選択し、キーを構成する列で並べ替えると、どの列が一致していないかが正確にわかります。 「as」ステートメントを使用して相互に別名を付けることができるため、ソースとターゲットの列名は一致する必要がないことに注意してください。

1
mancini0

同様の問題があり、SQL 'EXCEPT'コマンドを使用して問題を解決しました。 EXCEPTコマンドは2つのSELECTステートメントを受け取り、2番目（右）のSELECTステートメントではなく、最初のSELECTステートメント（左）によって返される行を返します。

SELECT * from table1 where x,y,z 
EXCEPT
SELECT * from table2 where a,b,c

PS：SELECTステートメントによって返される両方のテーブルのスキーマが一致する必要があります。

より明確にするために、以下にアクセスしてください ここにチュートリアルポイントページ

0
avirup.m97
/*
Compare master table data on 2 servers (
1. Change server name
2. Set RaceDate (@racedate) with the >, < ,= >= operator 
 before you run)

 --KNOWN ISSUES
 1. Tables need PKs

*/
SET NOCOUNT ON

--Destination Server Details
DECLARE @destServ nvarchar(40)='[sql\inst23]'    --required             -- If local instance, leave the string empty 
DECLARE @destdb nvarchar(40)='DBName'         --required        
DECLARE @destSchema nvarchar(40)='dbo'        --required        
DECLARE @destTable  nvarchar(40)='TableName'    --required      

-- Source Server Details
DECLARE @SourServ nvarchar(40)='[sql\inst07]'   --required      
DECLARE @Sourdb nvarchar(40)='DBonRemoteServer'  --required     
DECLARE @SourSchema nvarchar(40)='dbo'          --required      
DECLARE @SourTable  nvarchar(40)='TableName'      --required                                -- TableName format 'MyTable'

DECLARE @WHERE nvarchar(400) = 'WHERE 1=1'

DECLARE @Clause nvarchar(400)= 'AND Id > 201808201500000'       --Choose a Predicate to limit data --Start with AND . e.g: 'AND Date > ''20180801'' '

SELECT @WHERE = @WHERE + @Clause

DECLARE @randomtablesuffix nvarchar(5)
SELECT @randomtablesuffix= SUBSTRING(CAST(NEWID() as nvarchar(255)),1,5)


declare @v nvarchar(max), @sql nvarchar(max), @retval nvarchar(max) , @ParamDef nvarchar(400)

--GET Columns List as varchar Columns for HASHBYTES to compare
SELECT @sql='SELECT @vv= COALESCE(@vv,'''')+''CAST(ISNULL(''+ COLUMN_NAME  + '',0) as VARCHAR(''+ 
        CASE WHEN DATA_TYPE IN (''varchar'',''nvarchar'') THEN CAST(CHARACTER_MAXIMUM_LENGTH as varchar(5)) ELSE ''60 '' END +'')) + ''
from '+ @destdb + '.INFORMATION_SCHEMA.COLUMNS where TABLE_NAME='+ QUOTENAME(@destTable,'''') + ''

SET @ParamDef = N'@vv nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @vv=@v OUTPUT;

SELECT @v= SUBSTRING(@v,0,LEN(@v))

--Keys to JOIN
DECLARE @pkeylistJoinOUT nvarchar(4000)=''
SET @sql='SELECT @pkeylistJoin = ISNULL(@pkeylistJoin,'''') + '' a.''+ QUOTENAME(COLUMN_NAME) + ''=b.''+ QUOTENAME(COLUMN_NAME) + '' AND'' 
    FROM '+@destdb+'.[INFORMATION_SCHEMA].[KEY_COLUMN_USAGE]
    WHERE TABLE_NAME='+ QUOTENAME(@destTable,'''') + ' ORDER BY ORDINAL_POSITION'

SET @ParamDef = N'@pkeylistJoin nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @pkeylistJoin=@pkeylistJoinOUT OUTPUT;  

SELECT @pkeylistJoinOUT = REPLACE(REPLACE(REVERSE( SUBSTRING(REVERSE(@pkeylistJoinOUT), CHARINDEX(']', REVERSE(@pkeylistJoinOUT)), LEN(@pkeylistJoinOUT)) ),']',''),'[','')


--Get Column List 

DECLARE @ColumnListOut nvarchar(max)=''
SET @sql='SELECT  @ColumnList=ISNULL(@ColumnList,'''') + COLUMN_NAME + '',''  FROM '+@destdb +'.[INFORMATION_SCHEMA].[COLUMNS] WHERE TABLE_NAME='+QUOTENAME(@destTable,'''')+ ' ORDER BY ORDINAL_POSITION'

SET @ParamDef = N'@ColumnList nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @ColumnList=@ColumnListOut OUTPUT;  


SET @ColumnListOut=SUBSTRING(@ColumnListOut,0,LEN(@ColumnListOut))

--Now Compare

SELECT @sql='

SELECT a.* INTO ##_destissues'+@randomtablesuffix+' FROM (
SELECT HASHBYTES (''SHA2_512'','+ @v +')HashVal,'+ @ColumnListOut +' FROM '+@destServ+'.'+@destdb+'.'+@destSchema+'.'+@destTable + ' x WITH (NOLOCK) ' + @WHERE + '
)a 
JOIN (
SELECT HASHBYTES (''SHA2_512'','+@v +')HashVal,'+ @ColumnListOut + ' FROM ' +@SourServ +'.'+ @Sourdb+ '.'+@SourSchema+'.'+ @SourTable +' y WITH (NOLOCK)  ' + @WHERE + '
)
b ON '+@pkeylistJoinOUT + ' AND  a.HashVal <> b.HashVal '

--print @sql

exec (@sql)


SELECT @sql='

SELECT b.* INTO ##_sourceissues'+@randomtablesuffix+ ' FROM (
SELECT HASHBYTES (''SHA2_512'','+ @v +')HashVal,'+ @ColumnListOut +' FROM '+@destServ+'.'+@destdb+'.'+@destSchema+'.'+@destTable + ' x WITH (NOLOCK) ' + @WHERE + '
)a 
JOIN (
SELECT HASHBYTES (''SHA2_512'','+@v +')HashVal,'+ @ColumnListOut + ' FROM ' +@SourServ +'.'+ @Sourdb+ '.'+@SourSchema+'.'+ @SourTable +' y WITH (NOLOCK)  ' + @WHERE + '
)
b ON '+@pkeylistJoinOUT + ' AND  a.HashVal <> b.HashVal '


exec (@sql)

--Get Column List for Pivoting
DECLARE @ColumnListOutasVC nvarchar(max)=''

SET @sql='SELECT  @ColumnList=ISNULL(@ColumnList,'''')+  ''CAST(''+ COLUMN_NAME + '' AS VARCHAR(200)) as ''+ COLUMN_NAME + '',''   FROM ' + @destdb+'.[INFORMATION_SCHEMA].[COLUMNS] WHERE TABLE_NAME='+QUOTENAME(@desttable,'''')


SET @ParamDef = N'@ColumnList nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @ColumnList=@ColumnListOutasVC OUTPUT;  

SET @ColumnListOutasVC=SUBSTRING(@ColumnListOutasVC,0,LEN(@ColumnListOutasVC))

--Get PKs as VARCHAR Values

DECLARE @pkeylistJoinOUTVC nvarchar(4000)=''

SET @sql='SELECT @pkeylistJoin = ISNULL(@pkeylistJoin,'''') + ''CAST(''+COLUMN_NAME + '' as varchar(200)) as '' + COLUMN_NAME + ''1,''  FROM '+ @destdb+'.[INFORMATION_SCHEMA].[KEY_COLUMN_USAGE]   WHERE TABLE_NAME='+QUOTENAME(@destTable,'''') + '  ORDER BY ORDINAL_POSITION'

SET @ParamDef = N'@pkeylistJoin nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @pkeylistJoin=@pkeylistJoinOUTVC OUTPUT;    
SET @pkeylistJoinOUTVC=SUBSTRING(@pkeylistJoinOUTVC,0,LEN(@pkeylistJoinOUTVC))
--SELECT @pkeylistJoinOUTVC





SET @sql='
select  * INTO ##_destissuedetail'+@randomtablesuffix+ ' from(
select '+ @pkeylistJoinOUTVC + ', ' + @ColumnListOutasVC
                + '
from 
##_destissues'+ @randomtablesuffix+ '
)c UNPIVOT
(
Vals for ColNames in ('+@ColumnListOut+')
) d'

EXEC( @sql)


SET @sql='
select  * INTO ##_sourceissuedetail'+@randomtablesuffix+' from(
select '+ @pkeylistJoinOUTVC + ', ' + @ColumnListOutasVC
                + '
from 
##_sourceissues'+ @randomtablesuffix+'
)c UNPIVOT
(
Vals for ColNames in ('+@ColumnListOut+')
) d'

EXEC( @sql)

SELECT 'Tables to look for data are ##_destissuedetail'+@randomtablesuffix +' and  ##_sourceissuedetail ' +@randomtablesuffix

SET @sql='
SELECT * FROM ##_destissuedetail'+@randomtablesuffix+ '
EXCEPT
SELECT * FROM ##_sourceissuedetail' +@randomtablesuffix

EXEC (@sql)

スクリプト（関連する詳細が提供されている場合）は、2つのテーブルを比較します（たとえば、server1のCustomersをServer2のCustomersと比較します）。

このスクリプトは、列数が多いテーブルを比較しているが、正確に一致しない列を見つけるのに苦労している場合に便利です。

353列のテーブルがあり、それを別のテーブルと比較して、値が一致しないことを検出する必要がありました。このスクリプトは、正確なタプルを見つけるのに役立ちます。

0
user191127

2つの同一のテーブル間の違いを見つけるには

選択する *
FROM SOURCE01.dbo.Customers

連合

選択する *
FROM TARGET01.dbo.Customers

例外

選択する *
FROM SOURCE01.dbo.Customers

INTERSECT

選択する *
FROM TARGET01.dbo.Customers


操作の順序により、INTERSECTが最初に実行され、両方のテーブルに存在する行のみのデータセットが提供されます。次にUNIONが実行され、重複することなく両方のテーブルのすべての行が提供されます。最後に、EXCEPTが実行され、UNION（両方のテーブルのすべての行）から、両方のテーブルの行であるINTERSECTデータセットが削除されます。これにより、一方のテーブルには存在し、もう一方には存在しない行のみを含むデータセットが残ります。データセットが空に戻った場合、すべての行はテーブル間で同じです。



https://docs.Microsoft.com/en-us/sql/t-sql/language-elements/set-operators-except-and-intersect-transact-sql

0
mihalko