web-dev-qa-db-ja.com

Hadoop Pig：コマンドライン引数を渡す

これを行う方法はありますか？たとえば、処理するファイルの名前などを渡しますか？

hadoopapache-pig
22
downer

これは 別の質問 で示されましたが、コマンドラインで入力パラメーターを指定して、ロード時にそれを使用できます。次に例を示します。

コマンドライン：

pig -f script.pig -param input = somefile.txt

script.pig：

raw = LOAD '$ input' AS（...）;

Amazon Web Services Elastic Map Reduceを使用している場合、「$ input」は、提供する入力のスクリプトに渡されるものであることに注意してください。

41
rjzii

使用できます...
1。パラメーターが少ない場合は、-param（-p）を使用します。
2。パラメータが多い場合は、-param_file（-m）を使用します

コマンドライン引数の値の性質に応じて、どちらのアプローチも使用できます。スクリプトを開発してテストするときは、-paramを使用します。 pigスクリプトのバッチ処理またはcrontabを介した実行の準備ができたら、-param_fileを使用して、変更が必要な場合にparams.initファイルを簡単に更新できるようにします。

man pigは利用可能なすべてのオプションを表示します。

-m, -param_file path to the parameter file
-p, -param key value pair of the form param=val

ここにサンプルコードがあります...

student.txt（入力データ）

001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,Chennai

params.init（すべてのパラメーターを保持するファイル）

fileName='hdfs://horton/user/jgosalia/students.txt'
cityName='Chennai'

filter.pig

students = LOAD '$fileName' USING PigStorage(',') AS (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray);
students = FILTER students BY city == '$cityName';
DUMP students;

OPT 1：コマンドラインでのパラメーターの使用（-paramまたは-p）＆出力

pig -param fileName='hdfs://horton/user/jgosalia/students.txt' -param cityName='Chennai' filter.pig

... Trimming the logs ...

(6,Archana,Mishra,23,9848022335,Chennai)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)

OPT 2：コマンドラインでのparamsファイルの使用（-param_fileまたは-m）＆出力

pig -param_file params.init filter.pig

... Trimming the logs ...

(6,Archana,Mishra,23,9848022335,Chennai)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)

注：ファイルパスには絶対パスを使用してください（パラメーターとして、およびparamファイルパスを-param_fileに指定する場合（-m））。

4
JRG

PIGスクリプトにパラメーターを渡すのは簡単です。

まず、$ input_fileなどの「$」を使用してpig内の変数をマークします。次に、pig -params input_file = '/ path/to/data'を使用してスクリプトにパラメーターを渡します

詳細はこちらをご覧ください： http://wiki.Apache.org/pig/ParameterSubstitution

2
Lord Voldemort