基于PCFG的中文句法分析算法实现实验报告

本文由用户“BEEWITHZICO”分享发布 更新时间:2022-03-17 17:02:28 举报文档

以下为《基于PCFG的中文句法分析算法实现实验报告》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。



实 验 报 告

题 目基于PCFG的中文句法分析算法实现

课 程 自然语言处理

专 业 软件工程

班 级 软件1913班

姓 名 郝某某

学 号 ***611

分 数

老 师

时 间

山西农业大学***

实验名称

基于PCFG的中文句法分析算法实现

二、实验目的

1.理解PCFG句法分析原理

2.了解句法分析数据集

3.实现基于PCFG的中文句法分析

三、实验内容与结果分析

实验内容:

Standford Parser 的下载和安装

PCFG中文句法分析算法实现

步骤:

打开Stanford Parser自带图形化操作界面



点击“Load File”导入需要解析文件,点击“Load Parser”载入模型文件。



#coding=utf-8

# 分词

import jieba

# PCFG句法分析

from nltk. 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 path_to_models_jar=model_path,

model_path=pcfg_path

)

sentence = parser.raw_parse(seg_str)

for line in sentence:

print(line.leaves())

line.draw()





四、心得体会

本次实验课学习了基于PCFG的中文句法分析,PCFG:是基于概率的上下文无关文法,PCFG的规则表示为A—>α ? ?p,A为非终结符,p为A推导出α的概率,相同左部的产生式概率分布满足归一化条件。基于PCFG的句法分析模型中,假设满足以下三个条件:1.位置不变性:子树的概率不依赖子树所管辖的单词在句子中位置;2.上下文无关性:子树的概率不依赖子树控制单词以外的单词;3.祖先无关性:子树的概率不依赖推导出子树的祖先节点。PCFG三个基本问题(与HMM类似):a.给定一个句子W = w1w2wn和文法G,如何快速计算P(W|G)b.给定一个句子W = w1w2wn和文法G,选择句法结构树 t 使得在W的所有结构树中有最大概率?c.给定一个句子W = w1w2wn和文法G,如何调节G的概率参数,使得句子的概率最大?即求解argMAXGP(W|G)。为解决这三个问题,通常只考虑文法具有乔姆斯基范式的情况,对于任意一个CFG,都可以将其转化为CNF文法。

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]

以上为《基于PCFG的中文句法分析算法实现实验报告》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览