大数据在金融行业中的应用

本文由用户“gggg_pgf003”分享发布 更新时间:2023-05-16 09:10:46 举报文档

以下为《大数据在金融行业中的应用》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

数据掘金-大数据在金融行业中的应用

在当前大数据技术潮流中,各行各业都在不断的探索如何应用大数据技术以解决企业面临的问题。目前国内已有不少金融机构开始尝试通过大数据来驱动相关金融业务运营。如下是百分点就金融行业如何应用大数据技术提出我们的见解。

按照我们的经验,企业面向消费者的应用大致可以分为运营、服务和营销三大类,在金融行业中这三类应用的典型例子有:

运营类:历史记录管理、多渠道数据整合分析、产品定位分析、客户洞察分析、客户全生命周期分析等。

服务类:个性化坐席分配、个性化产品推荐、个性化权益匹配、个性化产品定价、客户体验优化、客户挽留等。

营销类:互联网获客、产品推广、交叉销售、社会化营销、渠道效果分析等。

大数据技术在这些应用中都可以发挥价值,其核心是通过一系列的技术手段,采集、整合和挖掘用户全方位的数据,为每个用户建立数据档案,也就是常说的“用户画像”。

大数据可应用于金融行业实时数据分析,场景包括:

在风险管理领域,可以应用于实时反欺诈、反洗钱,实时风险识别、在线授信等场景;

在渠道方面,可以应用于全渠道实时监测、资源动态优化配置等场景;

在用户管理和服务领域,可以应用于在线和柜面服务优化、客户流失预警及挽留、个性化推荐、个性化定价等场景;

在营销领域,可以应用于(基于互联网用户行为的)事件式营销、差异化广告投放与推广等场景。

大数据在金融业统计分析类应用中的优势

大数据在数据量、多种数据源、多种数据结构、复杂计算任务方面都优于传统的数据仓库技术,这里仅举两个例子:

大量数据的运算,例如:两张Oracle里面表数据分别是1000多万和800多万做8层join,放在大数据平台运算比在Oracle里面运算至少快2倍多;

对于跨数据库类型的表之间的join,例如一张Oracle的表和一张sqlserver的表,在传统的数据仓库中是没有办法join的。可以将数据通过sqoop等工具放到HDFS上面。利用hive,pig, impala,spark等进行更快的处理。

大数据协助银行实现其对客户的多维度分析

有人指出,目前银行自身的数据难以完成客户全维度分析,那么应用大数据又能如何?首先,有几个问题我们需要仔细思考:什么叫客户“全维度”?有没有可能做到“全维度”?按照百分点的理解,不存在对一个人的“全维度”的刻画,因为我们现实中都做不到。您可以想象,一个人的DNA可以代表他的“全维度”吗?或者他的所有言论可以代表他的“全维度”吗?都不可以。我们期望的“全维度”实际上是想说最大可能的利用和挖掘手上的数据资源!基于上面的理解,我们认为银行在大数据平台建设过程中最需要考虑的是如何最大程度的整合所有数据源,特别是行内自有数据源,并且针对业务需求做出有价值的分析应用。

其次,假设银行要引入第三方数据,这些数据怎么利用?这些数据如何和行内数据整合发挥价值?这些数据又如何转化为客户“全维度”分析?显然的,第三方数据也不是直接就能“全维度”的,还是要经过一系列的数据分析和挖掘。对银行客户了解、并且契合银行业务的数据一定来自于银行业内!任何外部的数据都需要经过大量的转换和业务解读才能直接在银行中使用。如果需要第三方数据支撑,银行必须找到对金融业务有相当理解,并且已经按照银行业务诉求分析好的数据才是有价值的。

最后,按照我们的理解和实践经验,银行只需要把第三方数据看做一个数据源即可,“全维度”的关键还是如何整合所有数据源并进行深度挖掘。

在百分点的实际案例中,我们有一套自己的方法论,包括数据的集成、清洗、脱敏、多渠道整合、用户画像标签建模、用户画像整合、用户画像服务等 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 法满足数据处理需求,一般的做法是利用其它工具,例如Pig、原生MapReduce等。

HDFS数据怎么入Hbase

HDFS数据导入到HBase有三种方式:

可以通过普通的MR程序,在Map或者Reduce里面通过HTable的对象来写入到HBase。

直接通过MR程序,用HBase的TableMapper和TableReducer方法,然后用TableMapReduceUtil类来执行MR,和1类似。

如果数据量大,建议使用bulkload的方式,通过HfileOutputFormat方法生成HFile格式的数据,再通过LoadIncrementalHfile的方法把结果加载到Hbase。

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]

以上为《大数据在金融行业中的应用》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览