web-dev-qa-db-ja.com

python-hdfs

Python3でHDFSを操作するための最良のモジュールは何ですか?

Python HDFSからストリームとしてファイルを読み取る

pandas.HDFStoreテーブルから列を選択する

pysparkおよびHDFSコマンド

hdfsからデータフレームとしてcsvファイルを読み込む

Python:pandasデータフレームをパーケットファイルに保存

pysparkデータフレームをHDFSに書き込み、それをデータフレームに読み戻す方法は?

Hadoopへのデータの書き込み

スケーラブルな画像ストレージ

hadoop.tmp.dirはどうあるべきですか?

HDFSはデフォルトでファイルをローカルに保存しますか?

Hadoopは入力分割をどのように実行しますか?

Hadoopはディレクトリをコピーしますか?

HiveはHDFSのどこにファイルを保存しますか?

Java APIを使用してHadoopでファイルを移動しますか?

Hadoop、マッパー出力を圧縮する方法、レデューサー出力は圧縮しない方法

HDFSディレクトリサイズを確認する方法は?

S3からAmazon EMR HDFSにファイルをコピーするにはどうすればよいですか?

LeaseExpiredException:HDFSのリースエラーはありません

hadoop fs -putとhadoop fs -copyFromLocalの違い

Namenodeが開始されていません

データノードは開始されていません

HadoopでのAmazon S3とS3nの違い

HDFS:ファイルを再帰的にリストするにはどうすればよいですか?

PigでSTORE(上書き)をHDFSに強制するには?

Hadoopでのファイルのブロック数の表示

hadoop hdfsのディレクトリおよびそのサブディレクトリ内のすべてのファイルをリストする方法

リモートマシンからHDFSにファイルを配置するときにユーザー名を指定する方法

HDFSファイルのサイズを見つける方法

HDFS空きスペース使用可能コマンド

hdfsで許可が拒否されました

HDFSからファイルを転送する

HDFSの大きなブロックサイズ!未使用スペースはどのように考慮されますか?

実行中のHadoopクラスターにノードを追加する方法はありますか?

フラットファイルからHiveテーブルにデータを読み込むときにnull値を取得する

hive-データと一緒に外部Hiveテーブルを削除する方法

引用符で囲まれたフィールドにコンマを含むハイブロードCSV

JavaからHDFSへの書き込み、「minReplicationの代わりに0ノードにのみレプリケートできます」

Hadoopプロセスはどのようにブロック境界を越えてレコードを分割しますか?

dfs.namenode.servicerpc-addressまたはdfs.namenode.rpc-addressが構成されていません

copyFromLocalスイッチを使用してデータをhdfsに移動する

Hadoop入力に最適な分割可能な圧縮= bz2?

hdfsファイルのマージ

データをコピーせずにHiveテーブルにデータをインポートすることは可能ですか?

HDFSへの書き込みは、minReplication(= 1)ではなく0ノードにのみ複製できました。

名前ノードはセーフモードです。帰れない

ファイルの名前変更におけるHadoop

Java API、ユーザー認証を介したリモートホストからのHDFSアクセス

Javaでhdfsにファイルを書き込みます

Hadoop:Datanodeプロセスが強制終了されました

hdfs-ls:ローカル例外で失敗しました:com.google.protobuf.InvalidProtocolBufferException:

画像/ビデオをHadoopHDFSに保存する

Hadoopを使用せずにHDFSでSnappy圧縮ファイルを読み取るにはどうすればよいですか?

HDFSの高スループットと低遅延

HBaseとHadoop / HDFSの違い

JavaでのHDFSおよびローカルファイルの読み取り

Sparkスタンドアロンモード:圧縮方法spark HDFSに書き込まれる出力

hadoop 0.23.8の構成中に、「Datanodeがnamenodeとの通信を拒否しました」というエラーが発生する

豚:グループごとに上位n個の値を取得

HDFSからローカルファイルシステムにファイルをコピーする方法

「hadoop fs」シェルコマンドと「hdfs dfs」シェルコマンドの違いは何ですか?

ポート9000でhadoop接続が拒否されました

DFSを使用しないとはどういう意味ですか?

hadoop fs -putコマンド

破損したHDFSファイルを修正する方法

HDFSのデータブロックサイズ、なぜ64MBですか?

「hadoop fs -head」シェルコマンドがないのはなぜですか?

有効なhadoopホームディレクトリを検出できませんでした

ネームノードとセカンダリネームノード

BufferedReader.close()を実行すると、HadoopFileSystemが例外を閉じました

Hadoop-データノードとタスクトラッカーを再起動します

HDFSディレクトリ内のファイル数

Hadoop 2.2のインストール `。 'そのようなファイル、又はディレクトリはありません

Hadoop 2.2.0のHDFSの構成ファイルはどこにありますか?

hdfsに「pwd」に相当するものはありますか?

HDFSデータの数行を取得する

Map Reduceプログラミングのレデューサーのシャッフルおよびソートフェーズの目的は何ですか?

ハイブにスキーマを作成する

HDFSがデータを保存する場所

「hadoop fs -mkdir」が許可拒否で失敗するのはなぜですか?

HDFSのデフォルトのNamenodeポートは50070ですが、いくつかの場所で8020または9000に遭遇しました

HDFSの既存のファイルにデータを追加Java

Apache Spark移動平均

ディレクトリが存在しない場合、hadoopを使用してディレクトリを作成する方法

誤った構成:namenodeアドレスdfs.namenode.rpc-addressが構成されていません

キーSpark-1つのSparkジョブによる複数の出力への書き込み

Linuxでhdfsのスーパーグループにユーザーを追加する方法は?

API呼び出しをリストするHadoopのFileSystemのワイルドカード

Spark糸の概念の理解について

Apache Spark and JavaでCSVをDataFrame / DataSetとして解析

HDFSがリッスンしているポート番号を見つける

HDFSにディレクトリが既に存在するかどうかを確認する

sas7bdatファイルをcsvに変換する方法は?

実行中のデータノードはありません。この操作で除外されるノードはありません

HDFSに保存されているファイルを開いてVIで編集する

Spark= HDFSディレクトリの反復

hadoopファイルシステムにディレクトリを作成する

hdfsのディレクトリ名を変更します

hadoopはローカルファイルシステムフォルダーをHDFSにコピーします

hadoop fs -lsは「no such file or directory」という結果になります