3.3.1 比较过滤器ppt

本文由用户“chenzp214579504”分享发布 更新时间:2021-11-30 06:55:00 举报文档

以下为《3.3.1 比较过滤器ppt》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

3.3.1 比较过滤器程某某

2020.02.12任务 3.3 过滤器操作过滤器简介Hbase提供了种类丰富的过滤器(filter)来提高数据处理的效率,用户可以通过内置或自定义的过滤器来对数据进行过滤,所有的过滤器都在服务端生效,即谓词下推(predicate push down)。这样可以保证过滤掉的数据不会被传送到客户端,从而减轻网络传输和客户端处理的压力.1.客户端创建过滤器并配置好。

2.查询时发送序列化后的过滤器给对应的RegionServer。

3.RegionServer使用过滤器过滤数据,将过滤结果返回给客户端。HBase 内置过滤器可以分为三类:分别是比较过滤器,专用过滤器和包装过滤器比较过滤器(Comparision Filters ):比较过滤器需要两个参数,分别是比较运算符和比较器实例。

专用过滤器(Dedicated Filters):适用于范围更小的筛选规则

包装过滤器(Decorating Filters):此类过滤器要通过包装其他的过滤器才有意义,是其他过滤器的一种加强比较运算符:

1. LESS ()

7. NO_OP (no operation,排除所有)比较过滤器

行健过滤器RowFilter

列族过滤器FamilyFilter

列过滤器QualifierFilter

值过滤器ValueFilter

参考列过滤器DependentColumnFilter

过滤器简介常用比较器:

(1)二进制比较器(BinaryComparator):按字典序比较指定的字节数组。如’binary:abc’,按字典排序跟’abc’进行比较

(2)二进制前缀比较器(BinaryPrefixComparator):按字典序与指定的字节数组进行比较,但只比较到这个字节数组的长度。如’binaryprefix:abc’,按字典顺序只跟’abc’比较前3个字符

(3)正则表达式比较器(RegexStringComparator):使用给定的正则表达式与指定的字节数组进行比较,仅支持=、!=两个比较运算符。如’regexstring:^ab*cd$’,按正则表达式匹配以ab开头,以cd结尾的值。

(4)子串比较器(SubstringComparator):测试给定的子字符串是否出现在指定的字节数组中,比较不区分大小写,仅支持=、!=两个比较运算符。如’substring:abc’,匹配包含abc的值。过滤器简介前面创建的user表没有数据,且只有一个info列族。下面给user添加一个account列族,并从本地/home/training导入数据user.txtalter 'user', {NAME=>"account", VERSIONS=>2}user表结构如下数据准备上传本地account.txt数据到hdfs:hdfs dfs -put user.txt /数据准备执行以下命令把hd 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 .hbase.filter.CompareFilter

import org.apache.hadoop.hbase.filter.SubstringComparator

scan 'user',{FILTER=>DependentColumnFilter.new(Bytes.toBytes("info"),Bytes.toBytes("sex"),false,CompareFilter::CompareOp.valueOf('EQUAL'),SubstringComparator.new("male")),LIMIT=>2}比较过滤器实例本节完,谢谢![文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。

  1. RTL8723DS蓝牙问题分析
  2. 雅思词汇表(最新完整版)(1)
  3. XX区~学年度九月英语试卷
  4. 数字图像处理作业
  5. 有关中秋的古诗中英文对照

以上为《3.3.1 比较过滤器ppt》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览