以下为《3.3.1 比较过滤器ppt》的无排版文字预览,完整格式请下载
下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。
3.3.1 比较过滤器程某某
2020.02.12任务 3.3 过滤器操作过滤器简介Hbase提供了种类丰富的过滤器(filter)来提高数据处理的效率,用户可以通过内置或自定义的过滤器来对数据进行过滤,所有的过滤器都在服务端生效,即谓词下推(predicate push down)。这样可以保证过滤掉的数据不会被传送到客户端,从而减轻网络传输和客户端处理的压力.1.客户端创建过滤器并配置好。
2.查询时发送序列化后的过滤器给对应的RegionServer。
3.RegionServer使用过滤器过滤数据,将过滤结果返回给客户端。HBase 内置过滤器可以分为三类:分别是比较过滤器,专用过滤器和包装过滤器比较过滤器(Comparision Filters ):比较过滤器需要两个参数,分别是比较运算符和比较器实例。
专用过滤器(Dedicated Filters):适用于范围更小的筛选规则
包装过滤器(Decorating Filters):此类过滤器要通过包装其他的过滤器才有意义,是其他过滤器的一种加强比较运算符:
1. LESS ()
7. NO_OP (no operation,排除所有)比较过滤器
行健过滤器RowFilter
列族过滤器FamilyFilter
列过滤器QualifierFilter
值过滤器ValueFilter
参考列过滤器DependentColumnFilter
过滤器简介常用比较器:
(1)二进制比较器(BinaryComparator):按字典序比较指定的字节数组。如’binary:abc’,按字典排序跟’abc’进行比较
(2)二进制前缀比较器(BinaryPrefixComparator):按字典序与指定的字节数组进行比较,但只比较到这个字节数组的长度。如’binaryprefix:abc’,按字典顺序只跟’abc’比较前3个字符
(3)正则表达式比较器(RegexStringComparator):使用给定的正则表达式与指定的字节数组进行比较,仅支持=、!=两个比较运算符。如’regexstring:^ab*cd$’,按正则表达式匹配以ab开头,以cd结尾的值。
(4)子串比较器(SubstringComparator):测试给定的子字符串是否出现在指定的字节数组中,比较不区分大小写,仅支持=、!=两个比较运算符。如’substring:abc’,匹配包含abc的值。过滤器简介前面创建的user表没有数据,且只有一个info列族。下面给user添加一个account列族,并从本地/home/training导入数据user.txtalter 'user', {NAME=>"account", VERSIONS=>2}user表结构如下数据准备上传本地account.txt数据到hdfs:hdfs dfs -put user.txt /数据准备执行以下命令把hdfs上的user.txt数据导入hbase中的user表hbase org.apache.hadoop.hbase.mapreduce.ImportTsv
-Dimporttsv.separator=","
-Dimporttsv.columns=HBASE_ROW_KEY,info:sex,info:age,account:login,account:password user /user.txt数据准备用法: scan '表名',{FILTER=>"RowFilter(比较运算符,'比较器:比较内容')", LIMIT=>返回行数}行健过滤器RowFilter
基于行键 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 查看值包含2个''chen''的数据,查询最新的两个版本
scan 'user',{FILTER=>"ValueFilter(=,'regexstring:\(chen\).*\\1')", VERSIONS=>2}比较过滤器实例 过滤器的另一种用法:shell中应用过滤器API查看值包含''201913''的数据,查看前2行
import org.apache.hadoop.hbase.filter.RowFilter
import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
scan 'user',{FILTER=>RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'),SubstringComparator.new("201913")), VERSIONS=>2}用法:
import org.apache.hadoop.hbase.filter.过滤器
import org.apache.hadoop.hbase.filter.比较器
import org.apache.hadoop.hbase.filter.比较运算符
scan '表名',{FILTER=>RowFilter.new(CompareFilter::比较运算符,比较器.new("比较内容"))}比较过滤器实例参考列过滤器DependentColumnFilter
允许用户指定一个参考列或引用列来过滤其他列的过滤器,过滤的原则是基于参考列的时间戳来进行筛选.此过滤器提供两个参数--列族和列限定符,它将返回与参考列具有相同时间戳的行的所有键值对。如果某行不包含这个指定的列,则什么都不返回。此过滤器提供了四种构造函数:
DependentColumnFilter()
DependentColumnFilter(byte[] family,byte[] qulifier)
DependentColumnFilter(byte[] family,byte[] qulifier,boolean dropDependentColumn)
DependentColumnFilter(byte[] family,byte[] qulifier,boolean dropDependentColumn,CompareOp valueCompareOp, WritableByteArrayComparable valueComparator)
相关参数:
boolean dropDependentColumn -- 决定参考列被返回还是丢弃,为true时表示参考列被返回,为false时表示被丢弃
CompareOp valueCompareOp -- 比较运算符
WritableByteArrayComparable valueComparator -- 比较器比较过滤器实例查找和''info:sex''列、值包含''male''的单元格具有相同时间戳的数据,返回结果包含该单元格,显示前2行。
import org.apache.hadoop.hbase.filter.DependentColumnFilter
import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
scan 'user',{FILTER=>DependentColumnFilter.new(Bytes.toBytes("info"),Bytes.toBytes("sex"),false,CompareFilter::CompareOp.valueOf('EQUAL'),SubstringComparator.new("male")),LIMIT=>2}比较过滤器实例本节完,谢谢![文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。
以上为《3.3.1 比较过滤器ppt》的无排版文字预览,完整格式请下载
下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。