web-dev-qa-db-ja.com

java）からhdfsフォルダーを削除します

Edgeノードで実行されているJavaアプリで、hdfsフォルダーが存在する場合は削除する必要があります。フォルダーに出力されるmapreduceジョブ（sparkを使用）を実行する前に削除する必要があります。 。

私は私が方法を使うことができるとわかりました

org.Apache.hadoop.fs.FileUtil.fullyDelete(new File(url))

ただし、ローカルフォルダー（実行中のコンピューターのファイルURL）でのみ機能させることができます。私は次のようなものを使おうとしました：

url = "hdfs://hdfshost:port/the/folder/to/delete";

hdfs://hdfshost:port hdfs namenodeIPCです。 mapreduceに使用しているので、正しいです。しかし、それは何もしません。

では、どのURLを使用する必要がありますか、それとも別の方法がありますか？

注： ここ は問題の単純なプロジェクトです。

javahadoophdfs
9
Juh_

私はそれをこのようにします：

    Configuration conf = new Configuration();
    conf.set("fs.hdfs.impl",org.Apache.hadoop.hdfs.DistributedFileSystem.class.getName());
    conf.set("fs.file.impl",org.Apache.hadoop.fs.LocalFileSystem.class.getName());
    FileSystem  hdfs = FileSystem.get(URI.create("hdfs://<namenode-hostname>:<port>"), conf);
    hdfs.delete("/path/to/your/file", isRecursive);

ファイルパスにhdfs://hdfshost:port/は必要ありません

10
Tucker

これは私にとってはうまくいきます。

私のWordCountプログラムに次のコードを追加するだけです。

import org.Apache.hadoop.fs.*;

...
Configuration conf = new Configuration();

Path output = new Path("/the/folder/to/delete");
FileSystem hdfs = FileSystem.get(URI.create("hdfs://namenode:port"),conf);

// delete existing directory
if (hdfs.exists(output)) {
    hdfs.delete(output, true);
}

Job job = Job.getInstance(conf, "Word count");
...

分散ファイルシステムを取得するには、hdfs://hdfshost:portを明示的に追加する必要があります。それ以外の場合、コードはローカルファイルシステムでのみ機能します。

18
Jun

ディレクトリ内のすべてのファイルを削除する必要がある場合：

1）ディレクトリにファイルがいくつあるかを確認します。

2）後でそれらをすべて削除します

     public void delete_archivos_dedirectorio() throws IOException {

//namenode= hdfs://ip + ":" + puerto 

            Path directorio = new Path(namenode + "//test//"); //nos situamos en la ruta//
            FileStatus[] fileStatus = hdfsFileSystem.listStatus(directorio); //listamos los archivos que hay actualmente en ese directorio antes de hacer nada
            int archivos_basura =  fileStatus.length; //vemos cuandoarchivos hay en el directorio antes de hacer nada, y luego iteramos hasta el nuemro de archivos que haya y llos vamos borrando para luego ir crandolos de nuevo en el writte.


            for (int numero = 0; numero <= archivos_basura ; numero++) {

                Path archivo = new Path(namenode + "//test//" + numero + ".txt");

                try {

                    if(hdfsFileSystem.exists(archivo)) {

                        try {
                            hdfsFileSystem.delete(archivo, true);
                        } catch (IOException ex) {
                            System.out.println(ex.getMessage());
                        }
                    }
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }

幸運を ：）

0
Carlos Noé