计算所汉语词性标记集

本文由用户“j20880”分享发布 更新时间:2021-11-06 05:43:51 举报文档

以下为《计算所汉语词性标记集》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

计算所汉语词性标记集

Version 3.0

制订人:刘某某 张某某 张某某

说明

计算所汉语词性标记集(共计99个,22个一类,66个二类,11个三类)主要用于中***计算技术研究所研制的汉语词法分析器、句法分析器和汉英机器翻译系统。本标记集主要参考了以下词性标记集:

北大《人民日报》语料库词性标记集;

北大2002新版词性标记集(草稿);

清华大学汉语树库词性标记集;

教育部语用所词性标记集(国家推荐标准草案2002版);

美国宾州大学中文树库(ChinesePennTreeBank)词性标记集;

由于计算所的汉语词法分析器主要采用北大《人民日报》语料库进行参数训练,因此本

词性标记集主要以北大《人民日报》语料库的词性标记集为蓝本,并参考了北大《汉语语法信息词典》中给出的汉语词的语法信息。

本标记集在制定过程中主要考虑了以下几方面的因素:

有助于提高汉语词法分析器的切分和标注正确率;

有助于提高汉语句法分析器的正确率;

有助于汉英机器翻译系统进行翻译;

易于从北大《人民日报》语料库词性标记集进行转换;

对于语法功能不同的词,在不造成词法分析和句法分析歧义区分困难的情况下,尽可能细分子类。

基于以上考虑,我们在标注过程中尽量避免那些容易出错的词性标记,而采用那些不容易出错、而对提高汉语词法句法分析正确率有明显作用的标记。例如,在动词的子类中,我们参考了宾州大学中文树库的做法,把汉语动词“是”和“有”分别做成单独的标记,而没有采用“系动词”的标记。因为同样是“是”这个动词,其句法功能很多,作“系动词”只是其中一种功能,而要区分这些功能是非常困难的,会导致词法分析的正确率下降。

在名词子类中,我们区分了“汉语人名”、“日语人名”和“翻译人名”,这不仅仅是因为这三种人名要采用不同的参数进行训练与识别,而且在汉英机器翻译中也要采用不同的分析算法进行翻译。又如,我们把 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 )

m 数词

mq 数量词

量词(1个一类,2个二类)

q 量词

qv 动量词

qt 时量词

副词(1个一类)

d 副词

介词(1个一类,2个二类)

p 介词

pba 介词“把”

pbei 介词“被”

连词(1个一类,1个二类)

c 连词

cc 并列连词

助词(1个一类,15个二类)

u 助词

uzhe 着

ule 了 喽

uguo 过

ude1 的 底

ude2 地

ude3 得

usuo 所

udeng 等 等等 云云

uyy 一样 一般 似的 般

udh 的话

uls 来讲 来说 而言 说来

uzhi 之

ulian 连 (“连小学生都会”)

叹词(1个一类)

e 叹词

语气词(1个一类)

y 语气词(delete yg)

拟声词(1个一类)

o 拟声词

前缀(1个一类)

h 前缀

后缀(1个一类)

k 后缀

字符串(1个一类,2个二类)

x 字符串

xe Email字符串

xs 微博会话分隔符

xm 表情符合

xu 网址URL

标点符号(1个一类,16个二类)

w 标点符号

wkz 左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ { <

wky 右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >

wyz 左引号,全角:“ ‘ 『

wyy 右引号,全角:” ’ 』

wj 句号,全角:。

ww 问号,全角:? 半角:?

wt 叹号,全角:! 半角:!

wd 逗号,全角:, 半角:,

wf 分号,全角:; 半角: ;

wn 顿号,全角:、

wm 冒号,全角:: 半角: :

ws 省略号,全角:…… …

wp 破折号,全角:   --  - 半角:--- ----

wb 百分号千分号,全角:% ‰ 半角:%

wh 单位符号,全角:¥ $ £ ° ℃ 半角:$

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。

  1. 七下词性练习
  2. 英语时态结构
  3. html练习题
  4. 4A U3 How many(下)(培优学案)
  5. 近五年高考英语语法填空词性转换总结
  6. 英汉语言比较期末论文
  7. 5A必背语法知识点
  8. 301的地得练习

以上为《计算所汉语词性标记集》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览