以下为《科学形码测评体系介绍》的无排版文字预览,完整格式请下载
下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。
科学形码测评体系介绍
by逆卷炎灵 2015-12-16
目录
一、 测评体系适用范围 1
(一) 形码定义及特征 1
(二) 形码的本质 1
(三) 测评体系的意义 1
二、 形码优劣评价维度 2
(一) 输入法的事实评价 2
1. 易学性 2
2. 效率 4
3. 打字手感 6
(二) 输入法的价值评价 7
三、 具体指标说明 7
(一) 统计样本说明 7
1. 样本数量 7
2. 样本层次 8
(二) 编码效率 8
1. 离散情况 8
2. 编码效率 9
(三) 手感 9
1. 加权字均当量与加权键均当量 9
2. 连续当量算法问题 10
3. 指法标记 11
(四) 其它 14
四、 技术说明 14
五、 结语 16
测评体系适用范围
形码定义及特征
本测评体系仅适用于形码,所谓形码指的是广义上的形码,即包括全形码(如五笔)、形音码(如希码)、音形码(如二笔、双拼形)。不适用于纯音码(如双拼、全拼),也不适用于特殊输入介质的输入法,如鼠标输入、手写、速录等输入法。形码不需要借助像音码那样的智能算法(包括词库或语言模型等各种算法实现的智能),其主要特征是一字一码,精确度较高,在用户熟练的情况下可以实现脱离键盘与屏幕的全盲打,无需进行选字。
形码的本质
对于这种形码来说,其实本质非常简单,无论是音、形还是笔画,最终表现都为编码到汉字的对应关系。而对于打字者来说,任何输入法都是根据汉字特征所进行的编码转换。汉字有以下特征属性:
笔画(含笔画种类、方向、长度、角度等);
字形(含大小、笔画数、形状特征、结构特征等);
读音(含声母、韵母、声调);
字义。
因此,所有输入法能实现的无非是以上汉字特征到编码的转换,无论采用何种方式进行编排,都没有本质区别。
测评体系的意义
在码马奔腾的时代,要辨别一个输入法的优劣实为困难,每个输入法作者都宣称自己占领了输入法的最高点,甚至发现汉字基因、永久解决输入法难题等等……然而在今天看来,找到一种汉字特征与编码之间的对应方法,也即研究出一种编码方案,已经不是什么难事,而是一个输入法的最低限度的要求,输入法之间已经从质的比拼上升为量的比拼。看谁的输入法效率更高、手感更好、更易学……为了让那那些王婆们原形毕露、让用户看到客观真实的评价、让输入法作者们有改良编码的依据,特制作了本测评体系。
编码方案的优劣并非不可捉摸,好与坏只是人的主观判断,没有量化的、客观的数据作参考,输入法的评价只能停留在自说自话的层面,即便作者与用户之间为此争得面红耳赤,也无法得出另旁人信服的结论。本测评体系最大的特点就是根据输入法的实际使用情况,将以往只靠主观臆断的输入法评价转化为客观化、量化的数据,以保证输入法之间的评价有章可循。
形码优劣评价维度
输入法的事实评价
在评价输入法的优劣之前,必须明白,好与坏、美与丑都包含之事实与价值两个维度。前者表达的是事实“是什么”,后者表达的是这个事实“怎么样”,拾金是一个事实,不昧是一个判断。对于输入法也一样,手感好不好是一个价值判断,但有多少跨排组合、有多少小指组合,这是一个事实判断;打字快不快是一个价值评价,但加权码长是多少,是一个事实判断,二者必须区分清楚。
对于一个输入法来说,要想好用,必须满足以下要件:
易学性
这个很好理解,易学性指的是一个输入法是否容易学,五笔需要背字根、二笔需要熟悉拆分,这都是阻碍因素。具体而言,输入法的易学性取决于以下要件:
字根(码元)
无论是音,还是形,还是笔画,都是字信息的一部分,术语本应当叫做码元,我们这里统称字根,也就是说,即使是声母、韵母,也视为一个字根。
依据字根是否有理,可分为【有理字根】和【无理字根】:前者指的是通过音托、形托、意托、规律排列等手段使字根与键盘之间建立一种联系,方便记忆的字根;后者指的是字根的位置与键盘毫无关系,完全地靠死记硬背。实际上,所有的声母都是【有理字根】,双拼中的韵母都是【无理字根】。举例:将字根【口】通过音托放在K上方便记忆,这是音托有理字根;将字根【艹】通过形托放在H上,这是形托有理字根;将【牛、羊、马、狗】之类与动物有关的字根统一放到K上,这是意托有理字根;而二笔那种按照一定规律排列字根位置的,是规律有理字根。而将【日】放在J上,完全找不到任何理由的,是无理字根。
依据字根与字形之间的对应关系是否紧密,可分为【显性字根】和【隐性字根】:前者指字根与对应字形之间无需转换即可对应,如字根为艹,打出来的形也是艹;后者是指字根与字形之间需要一定的思维转换才能判定,如二笔中的字根【撇折】,对应字根【句框】。
一般来说,有理字根的数量决定了记忆难度,而显性字根的数量决定了思考难度。哪怕这个输入法有上百个字根,只要有理,那么它就是易学的,比如三拼、亿用这些全音托式的形码,实际上并不难学。在直观性上,音大于形,形大于笔画,越直观的越好打。
规则
所谓规则,指的就是取码规则,也即如何运用现有的字根分布打出汉字。双拼的取码规则就很简单,先打声母、再打韵母。但有些形码的取码规则就很复杂,比如郑码的双编码、五笔的识别码、瘦码的忽首忽末等等。
规则依照其所适用的汉字的范围,可以分为【有理规则】和【无理规则】,需要说明的是,此处的有理与无理,指的不是规则本身是否合乎道理,而是此种规则是否广泛适用于该输入法中的多数汉字、是否与该输入法的主流规则相背。比如我们常见的无理码,硬性规定“或”打HJ,与字根分布全无关系,此规则只适用于“或”这一个字,所以是【无理规则】,希码中的字根字单打笔画,适用于所有字根字,尽管字根字的数量并不多,但由于其具有广泛适用性,所以是【有理规则】。有些输入法规定走之旁优先打,这也是一种【有理规则】,尽管其适用的汉字数量并不多。而一旦某种规则只适用于少量汉字,缺乏了适用性或者与主流规则不符,其有理性就消失,变成【无理规则】,产生很多无理码。如果一个输入法的无理规则很多,那么该输入法的规范性就很差,也即存在很多与主流规则不相符的例外情况。
【有理规则】和【有理字根】并非越多越好,规则与字根都需要人去理解和记忆。在人的一般记忆规律中,有理的东西总要比无理的东西好记忆。但好记不代表不需要花时间来记忆,比如为了达到高效的离散率,使用500个字根、上百条规则,即使有理,也并非一个易学的输入法。因为无论是有理规则,还是无理规则,都需要记忆。
就目前而言,易学性并不容易量化,但也不是没有可能,通过对字根分布是否采用音托或者形托等分析,可以对【有理值】进行计算,但这难度实在很大。本测评系统没有对易学性进行量化,对易学性的评价需要靠个人。
效率
影响打字速度的因素有很多,最主要因素在于人,但仍不能脱离输入法。人是内功,输入法是外功,我们此处不考虑人对输入法的影响,而考虑输入法对人的影响。在讨论编码效率之前,我们必须分清编码的两个概念,一是编码方案本身,二是编码技术。
编码方案与编码技术的区分
【编码方案】仅仅指的是输入法的字根(码元)设定 + 输入法的取码规则,而【编码技术】指的是编排编码的技巧和手段。在【编码方案】定型时,仅仅只能确定一个字的单字全码,至于这个字到底如何打,是打全码还是简码,则属于【编码技术】的范畴。请通过以下两点对其进行区分:二者的外延不同,【编码方案】包含字根设定、取码规则,是输入法的本体,而【编码技术】指的是出简不出全、一简二重、顶功、全码盲打、大词库等技术与方法;二者的适用性不同,【编码方案】是输入法质的规定性,决定了一个输入法与另一个输入法之间的区别,而【编码技术】则适用于所有输入法。例如出简不出全这种设定,五笔可以用,郑码也可以用,再比如一简二重、二简二重这种设定,一般的输入法也都可以使用。当然有些【编码技术】的运用需要对【编码方案】进行改造才能适用,比如顶功,可以认为类似声笔飞码、小兮码那种输入法,是【编码技术】与【编码方案】的综合应用。
编码方案和编码技术好比人和武器的区别,在战争中,决定单兵作战能力的不仅有个人的身体素质和实力,还包括武器装备。编码方案就是人,而编码技术则是武器。本测评系统好比体检一样,测试的是作为人(编码方案)能力,而非作为武器(编码技术)的能力。当然编码方案的优劣并不意味着最终效率,对于离散低的输入法来说,其可以通过使用特简(如二笔)和简码词(如双拼形的无效空间)来提高效率,而离散高的输入法则无法使用这些东西(但仍可以使用候选多重)。这相当于不同体质的人可以使用不同的武器一样,身法轻盈的人可以使用双刺但不能使用大锺,相反身高力壮的人可以使用大锺却不便使用双刺。
编码方案与编码技术共同形成一份码表,但真正决定效率的,是编码方案。评价一个输入法的效率如何,主要是评价其编码效率如何。出简不出全、多重候选、打词等技术可以使输入法降低码长,但同时也会带来记忆负担;全码盲打的设定,可以降低用户的记忆负担,使其快速掌握全盲打。编码方案的优劣往往决定着编码技术的发挥。所以,输入法效率的评价,应当以编码方案的效率为主要依据,而这一依据又主要反映为离散率与键长。
【离散率】也有人称其为分辩率,指的是编码方案将不同汉字置于不同的编码位置上,并将其尽量离散开来的能力。例如对于区位码来说,每一个汉字都对应一个编码,其离散率为100%,而在五笔中,XX去的编码都是fcu,也即构成了【重码】。在输入法中,重码的出现意味着不确定性,意味着用户需要通过意识确认才能确定打出的是不是某一个字。如果一个输入法的离散率高,意味着其可以设定更多的无重码的简码,意味着其词组的重码率更低。而如果一个输入法的离散率低,则其无重简码的数量就会很少。以双拼输入法为例,由于汉语音节是一个固定数值,所以无论双拼输入法怎么折腾,其二级无重有理简码最多只有400多,这就是离散率所起的决定性作用。要想计算出离散率并非易事,实际上离散率并不是一个单一的一维数据,依据编码位置的不同,可分为一码离散率、二码离散等等,难以用一个数据表达。例如对于双拼形来说,其二码有效空间仅有400多,但在三码、四码上通过辅助码则可以大幅降低重码,提高离散率。所以,一个双拼形在二码上的离散率不如五笔,但在三码、四码上有可能高于五笔,也就是说双拼形的单字重码可能优于五笔,但打过双拼的知道,双拼打词组的重码并不少。基于上述差异,在实践中,人们往往通过键长来判断离散率。
【键长】指的是打出一个字所需的按键数目。在顶功不兴盛的年代,码长与键长没有什么不同,不会引起概念分歧,但在顶功输入法中,码长与键长是两个不同的数值,因此本文改用标准术语【键长】。一个输入法如果键长短,意味着可以用更少的按键打出更多的字,对输入法的效率有着决定性的作用。狭义上的键长指的是某输入法面对各种文章的普遍的综合的表现情况,广义上的键长包括单字键长、打某句话的键长、打某篇文章的键长。在以往的宣传中,总有人会拿一两句话或者一两篇文章的键长来印证自己的输入法编码效率高,这是不正确的,因为其不具有普遍性、综合性,有可能是偶然的。
键长的影响因素
键长(狭义上的)同时会受编码方案与编码技术影响,在以往人们讨论输入法时,总时容易忽略编码方案与编码技术的区别。例如某个输入法使用一简二重、二简三重那种候选多重的方式,在遇到四码字、三码字时,就可以通过选字键压缩键长(如09五笔)。这并非是编码方案带来的效果,而是编码技术,换句话说,任何一个输入法都可以这样做。再比如对于打词,大部分输入法采用的都是四码一词、平均两码一字,如此来说,如果两个输入法的词库相同,所打的文章又相同,不考虑选词问题的话,其键长应处于同一水平。而利用无理码、简码词等手段降低键长,更加与编码方案无关。同样的,使用大家都能做到的全码盲打来声称自己的输入法可以实现快速盲打是对以往输入法的突破,也不过是自欺欺人的技量。
打字手感
我们要承认,输入法的评价应当是分阶段的,对于新入门的人来说,能快速轻松地打出字的输入法就是好输入法,他们对于打字手感毫无概念。但是对于那些打字速度过百,对打字具有要.高求的人来说,输入法的手感问题甚至是制约打字速度的关键。在以往,人们对输入法的手感评价都主观的,人们往往通过各手指使用率、各码元占用率、同手异指数等数据来评价输入法手感的优劣。但是本人认为,只有当量与指法标记是最佳的判断标准,手指使用率只能作为参考。
【当量】出自陈某某、张鹿的《键位相关速度当量的研究》一文,他们从二百多万个实验数据中统计分析出通用小键盘连续击键位相关速度当量的矩阵。简而言之,当量代表两个按键组合按下的时间间隔。由于采用了最少值归1 的算法,其最少值为1.0,无上限。根据统计,左右手交替击键速度最快,速度当量多数为1.0-1.2之间,同手的组合多在1.5-2.5之间。具体情况,还请移步当量表查看数据。总之,【当量】这一概念是基于经验研究的对手感问题的第一次量化。他使输入法的手感有迹可循,有理可用。然而,【当量】理论并未给出逻辑层面的解释,为什么左右交替快,为什么同手组合慢?这些问题并非经验所能回答,需要根据人的手指特性去研究。因此,本人曾提出了【指法标记】的概念。
【指法标记】指的是基于逻辑将按键组合进行分门别类,并在评价输入法手感优劣时对其进行统计。本人将所有按键组合分为左右互击、同指跨排、错手、小指干扰、同指连击。其中左右互击为最佳指法,而其余则为差指法,至于同指跨排和错手哪个更差,我认为这是一个个人偏好的问题。有人更不喜欢跨排,也有人更讨厌小指,不能一概而论。
【手指使用率】是通过统计各个按键在输入法中的整体比例,在标准按键指法下判断各个手指的使用比率。例如通过统计,很容易得出某份码表中小指的使用率为5%,在与其它输入法对比的基础上可以得出该码表小指压力是大或小的结论。【手指使用率】固然可以在宏观角度观察一个输入法的手感状况,但由于其是对各个按键的纵向分析,并未考虑指法组合问题,所以有时并不能准确反映手感。例如统计发现食指使用率高,这足以说明手感好么?当然不是,食指使用率高,可能意味着跨排很多。那么食指使用率高一定意味着跨排很多吗,也不是,因为有可能它是互击。判断手感的基本单位应当是按键组合,我们不能单纯地去判断y好按还是k好按。在标准指法的原始手位下,y需要移动食指才能按到,而k可以直接按。据此有人认为k比y好按,所以应当在y上少安排字根,这是错误的。我们可以对比组合sy和组合kp,前者为左右互击,后者为小指干扰,应当是前者好按,后者难按。由此可见,不存在某一键是否好按的说法,只有在按键组合中才能发现手感的好与坏。
输入法的价值评价
以上只是输入法的事实评价标准,还有很多有关输入法是好是坏的的标准,但其均为价值评价标准。例如,对于一个不太熟悉普通话拼音的人来说,带有韵母的输入法都不是好输入法;对于一个经常看稿打字,尤其有很多生僻字的人来说,只有四码全形的输入法才是好输入法;对于古文化工作者来说,只有支持超超超大字符集并且能简繁通打的输入法才是好输入法;对于经常要作会议记录而又无力学习速录的人来说,双拼似乎是最好的归宿。同样的,有人认为二笔的音形转换是一个障碍,也有人认为形码需要记形无法智能实在太难,有人对重码零容忍所以只打单字,有人则认为大词库才是王道。
以上种种判断标准,均因人而异,与个人喜好有关,因此并非本文所要研究的内容。本文认为,没有最好的输入法,只有最适合的输入法。每个人都应当基于事实评价,结合自己的喜好来选择是适合自己的输入法。而本测评系统,仅仅是为大家进行事实评价提供客观、量化的数据参考,并不对输入法进行好或坏的评价。
具体指标说明
统计样本说明
样本数量
在以往的输入法评价中,人们往往忽略统计标本对指标的影响。我们经常听到,某一输入法的重码为125组,某一输入法的重码为15组,却往往不知道其所用字集为何,到底是GB、GBK,是8105个字还是20902个字,到底是出简不出全还是全码重码?本文认为,决定输入法优劣的,应当为字频靠前的、人们常用的字的指标。为了统一测量尺度,确定统计标准,本测评系统采用了GB字与2013通用字的交集部分中的字频前6000字。
对于字频,本测评默认采用的是“笪骏现代汉语单字频率列表”,采用此字频表没有任何理由。因为字频表本来就不是一个固定的东西,统计标本不同则统计结果不同,使用者不同则字频参考程度就不同。例如本人主业为法律,“法”字的字频绝对在前10。对于一般字频表来说,如果其统计样本足够大,则与其它字频在前1500的差异并不会太大。对于字频6000以后的字,则完全没有太大参考意义,例如某次统计偶然统计到一篇介绍某种古生物的文章,那么这种古生物的有关的生僻字就可能进入字频前6000,其偶然性过大。统计不可能没有误差,因字频表不同而产生的误差,属于正常范围。
样本层次
本测评的结果,是按字频的层次来进行的,也即区分为前300字、前500字、前1500字、前3000字、前6000字几个层次,分别统计每一层次上的指标情况。这么做的目的是显而易见的,在以往人们讨论输入法指标是时候,会忽略指标所统计的字频层次。殊不知,在前300字有重码和在后300字有重码,有着天壤之别;在前300有差指法和在后300有差指法,亦上天上地下。人们往往认为重码少是好的,但实际上字频靠后的字的重码对输入法效率的影响微乎其微。
脱离字集、脱离字频层次来谈输入法的优劣,是不科学的,脱离字集谈重码,就是耍流氓。有一些输入法作者在遇到重码字时,就不去做这个字,甚至使用多规则将其变为无理码,以此来宣扬自己无重码,这没有意义。在高字频层次的字上有理且无重就可以了,为了一些字频靠后的重码增加大量字根、无理规则来达到无重或低重,是得不偿失的做法。
编码效率
离散情况
在这里要首先说明,前文已经说过,我们要区分编码方案与编码技术对效率指标的影响。对于打词来说,不同的输入法具有不同的打词规则、不同的词库,无法统一测评且运算量极大。而单字离散效率是词组效率的基础,所以此处的测评仅为单字。同样的,本测评不会对候选多重作出任何评价,因为无法判断某一个编码上的字是多重候选还是正常重码,对于一字多码的情况,程序有另一套独立的算法。然而,本文并不排斥出简不出全这种做法,原因有以下三点。
第一,即使作者不在码表中做简码,也同样会遇到码表的排序问题,的 = debs肯定要排在 德 = deix的前面。而如果用户在输入d这一个字母时,“的”字排在了首位,则正常用户都会按空格上屏而非打ebs。因此,出简不出全这种现象,是合乎使用规律的编码技术。
第二,无重有理简码的数量极限值最能反映离散率,也是输入法作者最关心、用户最关心的数据。在单字打法下,简码数量决定着输入法的键长,在词组打法下,离散率和重码率决定着输入法的键长。例如某输入法二码上有600字,就可说明其二字词的空间是600x600。
第三,有些作者会使用高频简码词替代二简字的技术,例如“我们”是一个极高频的词组,将其置于编码we位置,而将we上的二简字后移。这种完全属于编码技术的范畴,本系统无法对其作出评价,因为对于所有输入法来说,都可以做大量的简码词,即使不排在首位,也可以排在候选位以此降低码长,例如可以设定 w = 我、 w = 我们、 w = 我的。
综上,本系统测评的【离散情况】包括1码、2码、3码、4码、重码这几项指标。
编码效率
编码效率其实是对离散情况的总结,本测评所采用的公式为:
加权键长 = (每字键长 x 字频值)之和 / (字频值之和)
其中,键长是码长 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 项【一字一码】调整为【是】,这样表格的计算速度就会大大提高。
我是顶功,如何使用?
本测评体系默认四码定长,所以会在输入法之后自动加下划线表示空格。为了适用顶功输入法,特设定了【最大码长】的选项,如果你的输入法是二码顶,调整为2即可。但是对于那些不规则顶功,例如有特简某某、混合顶功之类的输入法,可以自己把【最大码长】调整为【0】,此时程序不会加任何的下划线,但你自己需要视情况加入下划线以保证数据的准确性。
最后的结果怎么看?
在计算完毕之后,请在【统计结果】里查看结果,这里的每一项数据都能在frc表中找到对应的汉字,不会有错。你可以使用Excel的筛选、排序等功能详细查看码表中的各个汉字的表现情况,进而进行针对性的改进。
如果你对测试结果的指标意义不理解,请回头读本文。
结语
感谢输入法界各位持之以恒的研究者,在没有金钱回报,没有收益的情况下,仍在以自己的兴趣支撑着。本测评系统的很多观点来自其它研究者,不一一列举,特感谢有无边、形符四码、大牛双拼、听雨、希码输入法各位群友、二笔输入法各位群友,为本测评系统提出了建议和批评以及测试反馈。
如您有更多建议,请直接来百度【输入法】贴吧找我。
[文章尾部最后500字内容到此结束,中间部分内容请查看底下的图片预览]
以上为《科学形码测评体系介绍》的无排版文字预览,完整格式请下载
下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。