web-dev-qa-db-ja.com

JavaでリモートHBaseに接続する方法は？

スタンドアロンのHBaseサーバーがあります。これは私のhbase-site.xmlです：

<configuration>
 <property>
    <name>hbase.rootdir</name>
    <value>file:///hbase_data</value>
  </property>
</configuration>

HBaseのデータを操作するためのJavaプログラムを作成しようとしています。

HBaseサーバーでプログラムを実行すると、正常に動作します。しかし、リモートアクセス用に構成する方法がわかりません。

  Configuration config = HBaseConfiguration.create();
   HTable table = new HTable(config, "test");
   Scan s = new Scan();

IPとポートを追加しようとしましたが、機能しません。

config.set("hbase.master", "146.169.35.28:60000")

誰もそれを行う方法を教えてもらえますか？

ありがとう！

hbase
38
leon

以下は、HBaseへの接続に使用するHTableを作成するために使用するシステムのスニペットです。

Configuration hConf = HBaseConfiguration.create(conf);
hConf.set(Constants.HBASE_CONFIGURATION_ZOOKEEPER_QUORUM, hbaseZookeeperQuorum);
hConf.setInt(Constants.HBASE_CONFIGURATION_ZOOKEEPER_CLIENTPORT, hbaseZookeeperClientPort);

HTable hTable = new HTable(hConf, tableName);

HTH

編集：値の例：

public static final String HBASE_CONFIGURATION_ZOOKEEPER_QUORUM                     = "hbase.zookeeper.quorum";
public static final String HBASE_CONFIGURATION_ZOOKEEPER_CLIENTPORT                 = "hbase.zookeeper.property.clientPort";
...
hbaseZookeeperQuorum="PDHadoop1.corp.CompanyName.com,PDHadoop2.corp.CompanyName.com";
hbaseZookeeperClientPort=10000;
tableName="HBaseTableName";
27
QuinnG

hbase.masterは@Deprecatedです。クライアントは、Zookeeperを使用して、HBaseサーバーの現在のホスト名/ポートを取得します。

@Deprecated
config.set("hbase.master", "146.169.35.28:60000")

HadoopとHBaseは、DNSと/etc/hosts構成に非常に敏感です。ホスト名が127.0.0.1を指していないことを確認してください。そうしないと、localhostのみでリッスンする多くのサービスが開始されます。設定のどこでもIPアドレスを使用しないようにしてください。

私の/etc/hosts：

192.168.2.3     cloudera-vm     # Added by NetworkManager
127.0.0.1       localhost.localdomain   localhost
127.0.1.1       cloudera-vm-local localhost

/etc/hbase/hbase-site.xmlには設定set distributed=falseが必要です（これはテストのみに使用しているため）：

<property>
  <name>hbase.cluster.distributed</name>
  <value>false</value>
</property>

/etc/zookeeper/Zoo.cfg

# the port at which the clients will connect
clientPort=2181
server.0=cloudera-vm:2888:3888

My Javaプロセスのリスト：

root@cloudera-vm:~# jps
1643 TaskTracker
1305 JobTracker
1544 SecondaryNameNode
2037 Bootstrap
9622 DataNode
10144 Jps
9468 NameNode
1948 RunJar
9746 HMaster
12
vladaman

一言で言えば、これは私が使用するものです：

    Configuration hBaseConfig =  HBaseConfiguration.create();
    hBaseConfig.setInt("timeout", 120000);
    hBaseConfig.set("hbase.master", "*" + hbaseHost + ":9000*");
    hBaseConfig.set("hbase.zookeeper.quorum",zookeeperHost);
    hBaseConfig.set("hbase.zookeeper.property.clientPort", "2181");

HBaseHostおよびzookeeperHostの場合、zookeeperがインストールされているクラスターコンピューターのIPアドレスを渡すだけです。もちろん、ポート番号もパラメータ化できます。これが接続を成功させるための最良の方法であると100％確信しているわけではありませんが、今のところ問題なく機能しています。

7
Marquez

私の知る限り、リモートhbaseサーバーに接続したい場合、通常のJavaクライアントは機能しません。この場合、設定を宣言してリモートhbaseに接続しようとします貴重な回答で言及されています。

上記のものを試しましたが、成功しませんでした。代わりに、リモートサーバーへの接続にThrift APIを使用しました。

これ リンクはThrift APIを使用する最良の例ですJava client.It確実に動作します。私は同じものを使用しています。必要のないアイテムも、同じように機能するサンプルコードも提供しています。

public class ThriftClient 
{

    port = 9090;
    //Connection to hbase
    TTransport transport = new TSocket(hostname, port);
    TProtocol protocol = new TBinaryProtocol(transport, true, true);
    Hbase.Client client = new Hbase.Client(protocol);

    transport.open();

    int z=Link.length();
    byte[] tablename = bytes("YOUR TABLE NAME");

    // Create the demo table with two column families, entry: and unused:
    ArrayList<ColumnDescriptor> columns = new ArrayList<ColumnDescriptor>();
    ColumnDescriptor col = null;
    col = new ColumnDescriptor();
    col.name = ByteBuffer.wrap(bytes("YOUR_COLUMN_FAMILY_NAME"));
    col.maxVersions = 10;
    columns.add(col);

    System.out.println("creating table: " + utf8(tablename));
    try 
    {
        client.createTable(ByteBuffer.wrap(tablename), columns);
    } 
    catch (AlreadyExists ae) 
    {
        System.out.println("WARN: " + ae.message);
    }

    Map<ByteBuffer, ByteBuffer> dummyAttributes = null;
    boolean writeToWal = false;
    // Test UTF-8 handling
    byte[] invalid = {(byte) 'f', (byte) 'o', (byte) 'o', (byte) '-',
        (byte) 0xfc, (byte) 0xa1, (byte) 0xa1, (byte) 0xa1, (byte) 0xa1};
    byte[] valid = {(byte) 'f', (byte) 'o', (byte) 'o', (byte) '-',
        (byte) 0xE7, (byte) 0x94, (byte) 0x9F, (byte) 0xE3, (byte) 0x83,
        (byte) 0x93, (byte) 0xE3, (byte) 0x83, (byte) 0xBC, (byte) 0xE3,
        (byte) 0x83, (byte) 0xAB};


    ArrayList<Mutation> mutations;

    // Run some operations on a bunch of rows

    NumberFormat nf = NumberFormat.getInstance();
    nf.setMinimumIntegerDigits(10);
    nf.setGroupingUsed(false);
    byte[] row=bytes("YOUR ROW NAME");

    mutations = new ArrayList<Mutation>();
    mutations.add(new Mutation(false, ByteBuffer.wrap(bytes("YOUR_COLUMN_FAMILY_NAME:YOUR_COLUMN_NAME")), ByteBuffer.wrap(bytes("YOUR_ROW_VALUE")), writeToWal));
    client.mutateRow(ByteBuffer.wrap(tablename), ByteBuffer.wrap(row), mutations, dummyAttributes);

    transport.close();

    // Helper to translate byte[]'s to UTF8 strings
private static String utf8(byte[] buf) {
    try {
        return decoder.decode(ByteBuffer.wrap(buf)).toString();
    } catch (CharacterCodingException e) {
        return "[INVALID UTF-8]";
    }
}

// Helper to translate strings to UTF8 bytes
private static byte[] bytes(String s) {
    try {
        return s.getBytes("UTF-8");
    } catch (UnsupportedEncodingException e) {
        e.printStackTrace();
        return null;
    }
}
}
1
ashubhargave

私の場合、/ etc/hostsでたくさん遊んだ後、ログファイル「hbase-bgi-master-servername.log」で次の行を見つけました。

"2017-11-21 19：56：32,999 INFO [RS：0; servername：45553] regionserver.HRegionServer：servername.local.lan、45553,1511290584538として機能し、servername.local.lan/172.0.1.2：45553のRpcServer 、sessionid = 0x15fdff039790002 "

完全なホスト名（私の場合は "servername.local.lan"）が実際にクライアント側とサーバー側の両方でサーバーのIPを指していることを常に確認してください。

0
user3484366