以下为《信息内容安全大作业》的无排版文字预览,完整格式请下载
下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。
/
《互联网舆情监测系统的设计研究》
学 院 计算机科学与技术
专 业 信息安全
姓 名
学 号
任课教师 葛 徽
年 月 日
互联网舆情监测系统的设计研究
要求:不能低于六千,且应包含以下若干板块: 题目、摘要、关键词、研究背景(历史与现状)、主要结果(改进算法)、总结(问题与展望)、参考文献等。
摘要:
关键字:
研究背景:
随着社会的快速发展,人民生活水平的不断提高以及物质文化生活的丰富多彩,人们越来越重视个人权益的实现,尤其是积极通过各种途径实现自己的言论自由,而互联网的迅猛发展在一定程度上为言论自由提供了场所,由此产生了互联网舆情。互联网舆情是指在一定的社会空间内,通过互联网围绕中介性社会事件的发生、发展和变化,民众对公共问题和社会管理者产生和持有的社会政治态度、信念和价值观。因此,提升互联网舆情监测能力,已经成为一项关乎长远发展的重点工程。当互联网公共危机事件相关舆论缺乏有效监管时,往往在短时间内迅速扩散,引起社会广泛关注,甚至给人们带来普遍危机感。
文章针对基于互联网的舆情监测系统进行了研究和设计,对采用的关键技术及应用进行了阐述。如何在第一时间获知网络舆情信息、建立舆情预警机制、准确判断舆情来源和发展趋势、快速生成公共危机应对策略,是舆情监测需要解决的问题。
舆情监测系统的必要性
随着信息技术的不断进步, 互联网已成为当今社会最重要的信息载体。根据CNNIC第35次报告显示, 目前我国网民规模达到6.49亿。其中, 搜索引擎用户为5.22亿, 博客用户为1.09亿, 即时通信用户为5.88亿, 微博用户为2.49亿[1]。这些数字随着社会的发展还在不断增加。海量用户通过互联网获取最新资讯, 对各种社会事件发表自己的态度、意见、观点。部分观点会在互联网上快速传播、发酵, 达到一定程度后形成互联网舆情 (或称网络舆情) 。互联网舆情是社会舆情在互联网上的真实映射。
与传统舆情的传播方式不同, 互联网舆情的形成和传播更加迅速, 更加难以控制。互联网已成为社会舆情的放大器。因此, 有必要建设高效的互联网舆情监测和预警系统, 使相关部门能够及时发现和跟踪负面舆情, 并及时疏导或应对。
舆情监测系统的设计原则
3.舆情监测系统的技术架构
3.1 舆情信息采集系统
互联网信息监测系统应包含舆情信息采集、舆情信息分析、舆情信息服务管理三大主要功能模块:通过部署舆情信息采集系统,实现基于特定领域的信息采集分析;通过部署舆情分析引擎系统,实现基于的热点识别、自动分类、聚类分析、倾向性分析与统计、主题跟踪、信息自动摘要、截取证据、趋势分析、突发事件分析、报警、统计报告等功能;通过部署舆情信息服务管理系统,实现舆情信息的快速获取、查询、分类、编辑、汇总、简报服务、文档转换、报表定制等功能。
舆情信息采集系统的目标是从各种互联网媒体采集信息,通过Web挖掘技术和多种搜索引擎技术,实现全网络、大深度的立体采集信息体系。其核心思想是根据内容中的关键词,对采集的信息进行多维度过滤、特征抽取、分类、排序。
采集系统主要分为两大模块,即全网搜索和定制网站搜索。全网搜索是利用Google、百度等网络搜索引擎实现全网络搜索,其优点是覆盖面广,但反馈不及时。定制网站搜索是对指定的网站量身定制一套搜索模型,根据目标网页源码的类型、结构、Web特征等,选择最优的Web挖掘方式,例如基于关键字的模糊挖掘或基于正则表达式的脚本挖掘。最终,将采集到的结果去掉无关信息,保留标题、链接、 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 haracter matching)。
(3)文本形式化技术
文本形式化的目的是使用一定可衡量的因素来代表文本,从而方便掌握文本的各种特点,它是高级检索的基础工作。常用的文本形式化算法采用有以下模型:布尔模型(Boolean Model)、概率模型(Probabilistic Model)、聚类模型(Cluster Model)和向量空间模型(Vector Space Model)等。
4. 3文本聚/分类技术
经过一系列的舆情信息搜集与处理,我们得到了大量数据集,而这些舆情的主题并不十分明显,这里我们就需要用到数据挖掘中的分类和聚类方法来判断所得信息主题是否与部门监测的主题一致,预测舆情的发展趋势,为舆论引导的相关工作提供了参考。
1.文本分类算法
分类算法通过数据集中的数据表现出来的特性(这里也就是通过文本形式化生成的文本特征)来对数据进行分类,从而得到与监测主题相关的舆情信息,结果直观。
2.文本聚类算法
聚类算法的中心思想是把数据元素分成簇,使簇内元素相关性更大,不同簇间元素相关性小,从而达到相互区分的目标,利用这点可以将网络舆论的热点进行归纳,很容易在一个簇中发现近期舆论的突出表现和倾向,这为舆论引导工作点明了方向。
4.4 舆情信息分析与展示技术
(1)可视化分析
可视化分析技术的设计思想是将数据库(这里就是我们的舆情信息数据库)中的数据项映射成生成图元素,将各个数据项特征表示成图形,并且使用高维度方式来代表数据元素的各个属性值大小。使用线状图、柱状图等统计学图形,能够对相关数据更直观更方便的了解和分析。
(2)观点倾向分析
观点倾向分析有很多种方式,例如获取网络热门事件相关网页,利用聚类算法处理评论,得到的句集使用分词技术,然后通过对比事先建立的语料库中的关键词计算语句的情感倾向,从而得到网民情感倾向,了解网民的真正看法。
5.基础数据指标
5.1?横截面(α)值
第一步:首先计算单个参考平台 α值,此处采用基础log函数。举例:
//
第二步:设置不同参考平台占比。计算总α值。举例:
///
5.2?舆情等级(β)值
公式:
/
前期通过人工研判。人为根据当前舆情形势,调整舆情等级。系统需要记录每次人工调整舆情等级时,舆情等级当前分数值β。
系统不断学习,记录每次舆情等级区间分数值,最大及最小阈值取值范围,形成分数画图曲线(舆情类型作为分数画图曲线重要参考因素)。
/
5.3?舆情趋势(Z)值
根据当前横截面α值减去上一等级α值,除以爆发耗时X,得出舆情趋势Z。
公式:
/
注意:舆情趋势Z需要通过多次学习调级过程,不断修正,取平均舆情趋势值Z。
6.关键运算方式:
6.1如何定义舆情等级
分数画图曲线形成后,当下一次舆情预警产生时,系统计算此条预警舆情分值β①,将β①落入分数画图曲线,判断区间范围,得出下一舆情等级。
6.2如何计算预估时间参数
系统以1小时为时间参考基数,计算此条预警舆情的舆情因子α①及α②,计算此条预警舆情每小时舆情趋势值Z①。
将Z①与平均舆情趋势值Z对比,判断此条预警舆情趋势段区间范围。
用预警舆情下一舆情等级α值,除以所在区间段平均舆情趋势Z,计算得出预估时间参数(预估耗时)。
6.3如何计算概率
根据预警舆情类型及舆情趋势。统计历史记录中此类型舆情最低β分值所抵达舆情等级区间。同时对比舆情趋势,判断是否存在舆情趋势区间与β分值区间跨等级情况。计算得出升级下一舆情等级概率。
6.4如何执行处置动作
需要在系统内预设多种处置动作Y。并且需要根据不同舆情等级,配置不同处置动作。配置处置动作时,定义每项处置动作加分分值。
算法模型计算后,根据处置动作Y所在舆情等级区间,计算下一舆情等级分值β与处置动作Y所对应分值 差值。生成待执行处置动作。
/
[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]
以上为《信息内容安全大作业》的无排版文字预览,完整格式请下载
下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。