web-dev-qa-db-ja.com

apache-pig

豚とハイブの違いは?なぜ両方がありますか?

Pig Latin:日付範囲(ディレクトリ構造の一部)から複数のファイルをロードします

Hadoop内で複数のファイルを1つにマージする

Apache Pigでマップデータ型を使用するにはどうすればよいですか?

Hadoop Pig:コマンドライン引数を渡す

PigでJSONを解析するにはどうすればよいですか?

単語に基づいて文字列をフィルタリングする

Pig Latinの2つの列で外部結合を行う方法

pig-JOINの後にFOREACHで列を参照する方法

ピッグラテンを使用して個別のカウントを選択

PIGエイリアス内の行数をカウントする方法

ApachePigとApacheHiveの違いは何ですか?

PigでSTORE(上書き)をHDFSに強制するには?

pigでnull値をフィルタリングする

Hadoop、HBase、Hive、Pigを使用する場合

演算子でHiveグループから要素の配列/バッグを取得する方法は?

豚:グループごとに上位n個の値を取得

Apache PIGに条件付きIFのような演算子はありますか?

豚vsハイブvsネイティブマップリデュース

Pigでグループを単一のタプルにフラット化する方法は?

列のサブセットで豚ラテン語でDISTINCTを実行する方法は?

Piglatinを使用してテキストファイルをロードしているときにヘッダーをスキップする

Apache Pig:レデューサーのフラット化と並列実行

エラー1066:エイリアスのイテレータを開くことができません-Pig

oozieジョブをデプロイして実行する方法は?

寄木細工のファイルからスキーマ/列名を取得するにはどうすればよいですか?

SparseVector列を持つRDDをVectorとして列を持つDataFrameに変換するにはどうすればよいですか?

PySparkで複数の機能をエンコードして組み立てる

Apache Spark 2.0:Java.lang.UnsupportedOperationException:Java.time.LocalDateのエンコーダーが見つかりません

scalaリストをDataFrameまたはDataSetに変換

データフレーム行を更新された行にマップしようとしたときにエンコーダエラーが発生しました

Spark 2.0データセットとデータフレーム

DataFrameからLibSVM形式にデータを準備する方法は?

行タイプのエンコーダーSpark Datasets

ドットの列名spark

Apache Commons HttpClientはGZIPをサポートしていますか?

Spark SQLで変数/パラメータを動的にバインドしますか?

Spark MLで分類するための正しいデータフレームを作成する方法

SparkのDataFrame、Dataset、およびRDDの違い

spark-mlでカテゴリ機能を処理する方法は?

Spark MLLibのTFVector RDDからWordの詳細を取得する方法は?

モデルをMLパイプラインからS3またはHDFSに保存する方法は?

DataFrame結合の最適化-ブロードキャストハッシュ結合

Spark DataFrame in PythonからlabeledPointsを作成します

ネストされた列をSpark DataFrameから削除する

RandomForestモデルを相互検証する方法は?

DataFrame / Dataset groupBy動作/最適化

将来の使用のためにMLモデルを保存する

DataFrameで複数の特徴ベクトルをマージする方法は?

PysparkとPCA:このPCAの固有ベクトルを抽出するにはどうすればよいですか?彼らが説明している分散の量をどのように計算できますか?

Apache Spark不足している機能に遭遇すると、NullPointerExceptionをスローします

Spark、Scala、DataFrame:特徴ベクトルを作成する

ベクトルの列を合計するカスタム集計関数を定義する方法は?

SparkSQL HiveContextを使用した「INSERT INTO ...」

Spark DataFrameでnull値を空の配列に変換します

ケースクラスを使用してJSONをエンコードすると、「データセットに格納されているタイプのエンコーダーが見つかりません」というエラーが表示されるのはなぜですか?

SparkのHashingTFとCountVectorizerの違いは何ですか?

Spark 1.6:describe()によって生成されたDataFrameのフィルタリング

SparkContextがランダムに閉じてしまう理由と、Zeppelinからどのように再起動するのですか?

zNodeを作成しようとするときのApache Curatorの未実装エラー

Spark Dataset API-join

カスタムオブジェクトをデータセットに格納する方法

PySparkでカスタムEstimatorを作成する方法

Kafkaプロデューサー-org.Apache.kafka.common.serialization.StringSerializerが見つかりませんでした

トレーニング前にSeqを並列化するようにDataFrameを並列化する必要があります

PySpark計算相関

Spark 2.X Datasetsでカスタムエンコーダーを作成するには?

ベクターを列に分割する方法-PySparkを使用する

ScalaおよびSpark UDF関数

カスタムケースクラスのデータセットを作成するときに、「データセットに格納されているタイプのエンコーダーが見つかりません」というのはなぜですか?

Spark MLパッケージとMLLIBパッケージの違いは何ですか

Spark DataFrameのVectorUDT列の要素にアクセスする方法は?

埋め込まれたコンマを含む引用フィールドを含むCSVファイルの読み取り

SparkSQL DataFrameのMapType列からキーと値を取得する方法

Scala with Spark Datasetsで型付き結合を実行する

CSVをSparkタイムスタンプと日付タイプのデータフレームに読み込む

「spark.yarn.executor.memoryOverhead」設定の値は?

Sparkデータフレーム-キーによる削減

Spark DataSetフィルターのパフォーマンス

SparkException:アセンブルする値をnullにすることはできません

Spark 2データセットのNULL値の例外

agg関数を適用する前に10進値を2桁に制限するにはどうすればよいですか?

配列(つまり、リスト)列をベクターに変換する方法

Spark Rowのデータセットを文字列に変換するには?

from_jsonをKafka connect0.10およびSpark構造化ストリーミングで使用する方法は?

Spark Javaでデータセットをトラバース/反復する方法は?

Apache Storm vs Apache Samza vs Apache Spark

構造化ストリーミングを使用してKafkaからJSON形式でレコードを読み取る方法は?

sparkヒープメモリ構成とタングステンがオフ

列全体の大文字小文字を小文字に変更する方法は?

バッチ処理でのSpark / FlinkよりもApache Beamの利点は何ですか?

Spark Dataframeの列のベクターから値を抽出する方法

データフレームをlibsvm形式に変換します

1回限りの保証と1回以上の保証の違い

フォーマットごとの書き込みまたは読み取りオプションのリファレンスはどこにありますか?

Apache Spark Scalaでデータフレームをデータセットに変換するには?

Sparkデータフレームの既存の列全体を新しい列で上書きする方法は?

Spark numpyマトリックスからのデータフレームの作成

Spark 1.6のウィンドウ集計でcollect_setおよびcollect_list関数を使用する方法

Sparkプロパティ(Spark 1.6)を通じてSpark-ShellでHiveサポートを有効または無効にする方法は?