以下为《基于PCFG的中文句法分析算法实现实验报告》的无排版文字预览,完整格式请下载
下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。
实 验 报 告
题 目基于PCFG的中文句法分析算法实现
课 程 自然语言处理
专 业 软件工程
班 级 软件1913班
姓 名 郝某某
学 号 ***611
分 数
老 师
时 间
山西农业大学***
实验名称
基于PCFG的中文句法分析算法实现
二、实验目的
1.理解PCFG句法分析原理
2.了解句法分析数据集
3.实现基于PCFG的中文句法分析
三、实验内容与结果分析
实验内容:
Standford Parser 的下载和安装
PCFG中文句法分析算法实现
步骤:
打开Stanford Parser自带图形化操作界面
点击“Load File”导入需要解析文件,点击“Load Parser”载入模型文件。
#coding=utf-8
# 分词
import jieba
# PCFG句法分析
from nltk. 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 path_to_models_jar=model_path,
model_path=pcfg_path
)
sentence = parser.raw_parse(seg_str)
for line in sentence:
print(line.leaves())
line.draw()
四、心得体会
本次实验课学习了基于PCFG的中文句法分析,PCFG:是基于概率的上下文无关文法,PCFG的规则表示为A—>α ? ?p,A为非终结符,p为A推导出α的概率,相同左部的产生式概率分布满足归一化条件。基于PCFG的句法分析模型中,假设满足以下三个条件:1.位置不变性:子树的概率不依赖子树所管辖的单词在句子中位置;2.上下文无关性:子树的概率不依赖子树控制单词以外的单词;3.祖先无关性:子树的概率不依赖推导出子树的祖先节点。PCFG三个基本问题(与HMM类似):a.给定一个句子W = w1w2wn和文法G,如何快速计算P(W|G)b.给定一个句子W = w1w2wn和文法G,选择句法结构树 t 使得在W的所有结构树中有最大概率?c.给定一个句子W = w1w2wn和文法G,如何调节G的概率参数,使得句子的概率最大?即求解argMAXGP(W|G)。为解决这三个问题,通常只考虑文法具有乔姆斯基范式的情况,对于任意一个CFG,都可以将其转化为CNF文法。
[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]
以上为《基于PCFG的中文句法分析算法实现实验报告》的无排版文字预览,完整格式请下载
下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。