3.3.1 比较过滤器ppt

本文由用户“chenzp214579504”分享发布 更新时间:2021-11-30 06:55:00 举报文档

以下为《3.3.1 比较过滤器ppt》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

3.3.1 比较过滤器程某某

2020.02.12任务 3.3 过滤器操作过滤器简介Hbase提供了种类丰富的过滤器(filter)来提高数据处理的效率,用户可以通过内置或自定义的过滤器来对数据进行过滤,所有的过滤器都在服务端生效,即谓词下推(predicate push down)。这样可以保证过滤掉的数据不会被传送到客户端,从而减轻网络传输和客户端处理的压力.1.客户端创建过滤器并配置好。

2.查询时发送序列化后的过滤器给对应的RegionServer。

3.RegionServer使用过滤器过滤数据,将过滤结果返回给客户端。HBase 内置过滤器可以分为三类:分别是比较过滤器,专用过滤器和包装过滤器比较过滤器(Comparision Filters ):比较过滤器需要两个参数,分别是比较运算符和比较器实例。

专用过滤器(Dedicated Filters):适用于范围更小的筛选规则

包装过滤器(Decorating Filters):此类过滤器要通过包装其他的过滤器才有意义,是其他过滤器的一种加强比较运算符:

1. LESS ()

7. NO_OP (no operation,排除所有)比较过滤器

行健过滤器RowFilter

列族过滤器FamilyFilter

列过滤器QualifierFilter

值过滤器ValueFilter

参考列过滤器DependentColumnFilter

过滤器简介常用比较器:

(1)二进制比较器(BinaryComparator):按字典序比较指定的字节数组。如’binary:abc’,按字典排序跟’abc’进行比较

(2)二进制前缀比较器(BinaryPrefixComparator):按字典序与指定的字节数组进行比较,但只比较到这个字节数组的长度。如’binaryprefix:abc’,按字典顺序只跟’abc’比较前3个字符

(3)正则表达式比较器(RegexStringComparator):使用给定的正则表达式与指定的字节数组进行比较,仅支持=、!=两个比较运算符。如’regexstring:^ab*cd$’,按正则表达式匹配以ab开头,以cd结尾的值。

(4)子串比较器(SubstringComparator):测试给定的子字符串是否出现在指定的字节数组中,比较不区分大小写,仅支持=、!=两个比较运算符。如’substring:abc’,匹配包含abc的值。过滤器简介前面创建的user表没有数据,且只有一个info列族。下面给user添加一个account列族,并从本地/home/training导入数据user.txtalter 'user', {NAME=>"account", VERSIONS=>2}user表结构如下数据准备上传本地account.txt数据到hdfs:hdfs dfs -put user.txt /数据准备执行以下命令把hdfs上的user.txt数据导入hbase中的user表hbase org.apache.hadoop.hbase.mapreduce.ImportTsv

-Dimporttsv.separator=","

-Dimporttsv.columns=HBASE_ROW_KEY,info:sex,info:age,account:login,account:password user /user.txt数据准备用法: scan '表名',{FILTER=>"RowFilter(比较运算符,'比较器:比较内容')", LIMIT=>返回行数}行健过滤器RowFilter

基于行键 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 查看值包含2个''chen''的数据,查询最新的两个版本

scan 'user',{FILTER=>"ValueFilter(=,'regexstring:\(chen\).*\\1')", VERSIONS=>2}比较过滤器实例 过滤器的另一种用法:shell中应用过滤器API查看值包含''201913''的数据,查看前2行

import org.apache.hadoop.hbase.filter.RowFilter

import org.apache.hadoop.hbase.filter.CompareFilter

import org.apache.hadoop.hbase.filter.SubstringComparator

scan 'user',{FILTER=>RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'),SubstringComparator.new("201913")), VERSIONS=>2}用法:

import org.apache.hadoop.hbase.filter.过滤器

import org.apache.hadoop.hbase.filter.比较器

import org.apache.hadoop.hbase.filter.比较运算符

scan '表名',{FILTER=>RowFilter.new(CompareFilter::比较运算符,比较器.new("比较内容"))}比较过滤器实例参考列过滤器DependentColumnFilter

允许用户指定一个参考列或引用列来过滤其他列的过滤器,过滤的原则是基于参考列的时间戳来进行筛选.此过滤器提供两个参数--列族和列限定符,它将返回与参考列具有相同时间戳的行的所有键值对。如果某行不包含这个指定的列,则什么都不返回。此过滤器提供了四种构造函数:

DependentColumnFilter()

DependentColumnFilter(byte[] family,byte[] qulifier)

DependentColumnFilter(byte[] family,byte[] qulifier,boolean dropDependentColumn)

DependentColumnFilter(byte[] family,byte[] qulifier,boolean dropDependentColumn,CompareOp valueCompareOp, WritableByteArrayComparable valueComparator)

相关参数:

boolean dropDependentColumn -- 决定参考列被返回还是丢弃,为true时表示参考列被返回,为false时表示被丢弃

CompareOp valueCompareOp -- 比较运算符

WritableByteArrayComparable valueComparator -- 比较器比较过滤器实例查找和''info:sex''列、值包含''male''的单元格具有相同时间戳的数据,返回结果包含该单元格,显示前2行。

import org.apache.hadoop.hbase.filter.DependentColumnFilter

import org.apache.hadoop.hbase.filter.CompareFilter

import org.apache.hadoop.hbase.filter.SubstringComparator

scan 'user',{FILTER=>DependentColumnFilter.new(Bytes.toBytes("info"),Bytes.toBytes("sex"),false,CompareFilter::CompareOp.valueOf('EQUAL'),SubstringComparator.new("male")),LIMIT=>2}比较过滤器实例本节完,谢谢![文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。

  1. RTL8723DS蓝牙问题分析
  2. 雅思词汇表(最新完整版)(1)
  3. XX区~学年度九月英语试卷
  4. 数字图像处理作业
  5. 有关中秋的古诗中英文对照

以上为《3.3.1 比较过滤器ppt》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览