web-dev-qa-db-ja.com

UNION ALLを使用してHive内の多くのテーブルを結合しますか？

複数のテーブルから1つの変数を一緒に追加して（行バインド、連結）、Hiveに1つの列を持つ1つの長いテーブルを作成しようとしています。これはこの質問（ HiveQL UNION ALL ）に基づいてUNION ALLを使用して可能であると思いますが、これを達成するための効率的な方法がわかりませんか？

擬似コードは次のようになります。

CREATE TABLE tmp_combined AS
SELECT b.var1 FROM tmp_table1 b
UNION ALL
SELECT c.var1 FROM tmp_table2 c
UNION ALL
SELECT d.var1 FROM tmp_table3 d
UNION ALL
SELECT e.var1 FROM tmp_table4 e
UNION ALL
SELECT f.var1 FROM tmp_table5 f
UNION ALL
SELECT g.var1 FROM tmp_table6 g
UNION ALL
SELECT h.var1 FROM tmp_table7 h;

どんな助けでもありがたいです！

sqlhivehiveql
7
baha-kev

次のコーディングで試してください...

Select * into tmp_combined  from 
(
    SELECT b.var1 FROM tmp_table1 b
    UNION ALL
    SELECT c.var1 FROM tmp_table2 c
    UNION ALL
    SELECT d.var1 FROM tmp_table3 d
    UNION ALL
    SELECT e.var1 FROM tmp_table4 e
    UNION ALL
    SELECT f.var1 FROM tmp_table5 f
    UNION ALL
    SELECT g.var1 FROM tmp_table6 g
    UNION ALL
    SELECT h.var1 FROM tmp_table7 h
) CombinedTable

次のステートメントで使用します。set Hive.exec.parallel = true

これにより、異なる選択が同時に実行されます。それ以外の場合は、段階的に実行されます。

29
Marimuthu Kandasamy

これは、行バインドを実行するための簡単で効率的な方法であると私は思います。少なくとも、それが私のコードで使用する方法です。ところで、疑似コードを直接配置すると、構文エラーが発生する可能性があります。

create table join_table as select * from (select ... join all select join all select...) tmp;

2
Haoyan

私は同じ概念を行いましたが、異なるテーブルemployeeとlocationについて、それがあなたを信じるのに役立つかもしれません：

DATA:Table_e-employee
empid empname
13  Josan
8   Alex
3   Ram
17  Babu
25  John

Table_l-location
empid emplocation
13  San Jose
8   Los Angeles
3   Pune,IN
17  Chennai,IN
39  Banglore,IN

Hive> SELECT e.empid AS a ,e.empname AS b FROM employee e 
UNION ALL 
SELECT l.empid AS a,l.emplocation AS b FROM location l;

エイリアスaおよびbのOutPut：

13  San Jose
8   Los Angeles
3   Pune,IN
17  Chennai,IN
39  Banglore,IN
13  Josan
8   Alex
3   Ram
17  Babu
25  John
1
ChikuMiku