3

试图截断这样的表

list.each{|name| truncate(name) if name.end_with?('abc123')}

不会工作。一个人将如何解决这个问题？

4

5 回答 5

4

在HBase shell你也可以这样做：

java_import org.apache.hadoop.hbase.client.HBaseAdmin
java_import org.apache.hadoop.hbase.HBaseConfiguration

admin = HBaseAdmin.new(HBaseConfiguration.create)
admin.listTables.each {|i| t=i.getNameAsString; truncate(t) if t.end_with?('abc123')}
于 2012-11-12T10:05:38.520 回答
2

您可以使用 Python 的Happybase和下面的脚本来执行此操作（您还需要启用与 HBase 的 Thrift 连接）：

import happybase

# String that the table name ends with
string = "abc123"

# Connect to HBase
c = happybase.Connection()

# For each table
for t in c.tables():
  # If the table ends with this string
  if t.endswith(string):
    # Disable and delete the table
    c.disable_table(t)
    c.delete_table(t)
    # Recreate it
    # Make sure to edit the below line with your own column-family structure
    c.create_table(t, {'cf':{}})
    # Print the name of the table
    print (t + " truncated")
于 2012-11-08T23:21:44.107 回答
1

为了从上面补充 Suman 的答案，这是我自己使用节俭的 ruby​​ rake 任务。

# coding: utf-8
namespace :truncate do
  desc 'batch truncate tables'
  task :tables => :environment do

    require 'thrift'

    socket = ::Thrift::Socket.new(Constants.hbase_url, Constants.hbase_port, 5)
    transport = ::Thrift::BufferedTransport.new(socket)
    transport.open

    protocol = ::Thrift::BinaryProtocol.new(transport)

    hbase_conn = Apache::Hadoop::Hbase::Thrift::Hbase::Client.new(protocol)

    # define some columns
    col1 = Apache::Hadoop::Hbase::Thrift::ColumnDescriptor.new(:name => 'cf1', :maxVersions => 1, :inMemory => true)
    col2 = Apache::Hadoop::Hbase::Thrift::ColumnDescriptor.new(:name => 'cf2', :maxVersions => 1, :inMemory => true)

    hbase_conn.getTableNames.each do |table_name|
      if table_name.end_with?('abc123')
        hbase_conn.disableTable(table_name)
        hbase_conn.deleteTable(table_name)
        hbase_conn.createTable(table_name,[col1,col2])
        puts "truncated #{table_name}"
      end
    end

  end
end
于 2012-11-12T07:59:59.943 回答
1

在重击中

我通常只使用我开发的这个 Bash one-liner 来迭代所有 HBase 表，然后一一截断它们。

$ for i in $(hbase shell <<<list |& sed -e '/row(s)/,$d;1,/TABLE/d;/SLF4J:/d'); do \
    hbase shell <<<"truncate '$i'"; done

for 循环遍历此命令生成的所有输出：

hbase shell <<<list |& sed -e '/row(s)/,$d;1,/TABLE/d;/SLF4J:/d'

这将获取hbase shell list命令的输出，然后将其解析为只是表名。然后 for 循环简单地调用hbase shell <<<"truncate '..tablename..'"多次。

在红宝石中

在 HBase 的 shell 中，您可以完全访问 Ruby，因此您可以这样做。

$ echo 'list.each {|t| truncate t}; quit;' | hbase shell
于 2016-04-27T05:02:23.267 回答
1

如果您在，那么您可以对所有表数据hbase shell发出以下命令truncate

list.each {|tableName| truncate tableName}
于 2017-06-14T09:55:26.587 回答