1、论语言科学与语言技术论语言科学与语言技术 一、“语言科技”新思维的提出 虽然计算机设计的初衷是缘于数值计算，但是英国数学家图灵（a.m.turing）在机器能思维吗？(1950)一文中已经预见到计算机和自然语言将结下不解之缘，并且提出检验计算机智能的最好方法就是对语言信息的处理能力。1977年，费根鲍姆（feigenbaum）提出知识工程，计算机信息处理出现了从“数据世界”向“知识世界”的转移趋势。知识世界的载体是语言符号系统，语言信息处理的需求促使语言研究过程和语言研究成果的技术化趋势日益明显，当代语言学已凸显出“语言科学”与“语言技术”的二分互补格局，由此我在南京师范大学语言科技系建设发展
2、规划（2001年2月）中提出“语言科技”的新思维。“语言科学”主要指基础性的描写语言学和理论语言学。“语言技术”主要指面向信息处理的应用语言学或计算语言学，其研究任务可划分为“文本处理技术”和“语言模拟技术”。简而言之，语言文本处理技术是通过编辑和编程，将印刷文本转化为可供计算机使用的电子文本的技术。语言系统模拟（simulation）或者语言能力仿真（emulation）技术是通过算法和编程，将自然语言的理解和生成能力输入计算机的技术。获得语言能力的计算机可以实现“人机对话”而成为名实相符的“电脑”。为研制智能机服务的“语言系统模拟”，可比喻为“语言基因图谱分析工程”和“语言能力移植工程”。
3、强调语言研究的技术化，并非忽视传统语言学研究存在技术性的一面，例如实验语音学和方言语音调查等。之所以以往未能突出语言研究的技术化，其原因在于除语音研究可借助声学技术设备以外语言研究的绝大多数领域还一直没有相应的实验性技术设备。 虽然当代语言学家不可能也不必要都转向计算语言学研究，但具有一定的语言信息处理意识却非常必要。早在1964年11月，美国科学院语言自动处理咨询委员会就在语言与机器的报告中明确指出：机器翻译遇到了难以克服的semanticbarrier（义障）。然而这一警告，除了致使机器翻译研究热的暂时消退以外，并没有引起语言学界的足够重视。1982年，日本制订了一个为期10年面向ai（人
4、工智能）的“第五代计算机”即智能机的研制计划，其中包括自然语言处理装置。1992年结束时，只部分达到了预定目标。随后又公布了另一个为期10年的“真实世界计算机（rwc）计划”即“新信息处理技术计划”。（许万增1996，p.6162）据说，90年代后期日本不得不宣布暂停研制，其根本原因就在于未能穿过语言研究的“瓶颈”。自然语言处理装置的任务无法实现，计算机谈何“真实世界”或“人工智能”。时至今日，这一“义障”仍然没有跨越。在新世纪将对人类产生重大影响的十大科技趋势（新华社北京2000年12月30日电）的报道中，列出21世纪的“认知神经科学领域”和“信息技术领域”，并分别提出来“探索意识、思维活动
5、的本质”和“计算机向智能化方向发展”的任务，然而没有语言科技领域的合作关键是认知语义结构网络研究的根本性突破则不可能实现。 无论从手段还是就目标，对准自然语言处理的当代语言学研究，其性质都应界定为“语言科技”。“语言科技”的内涵是以理论研究为指导，以描写研究为基础，以应用研究为枢纽，促使语言研究向计算机应用、数学、认知科学和现代教育技术领域延伸，沟通文理工相关学科以实现语言研究过程及其成果的技术化；“语言科技”的外延表现为语言工程科技、语言教育科技和语言研究科技。语言学和计算机科学等学科相结合的“语言工程科技”，研究领域是“人机对话”，其目标主要是自然语言能力的模拟。语言学与现代教育技术相结合
6、的“语言教育科技”，研究领域是“人人对话”，其主要目标是实现语言教育的多媒体和网络化。“语言研究科技”是将语言研究活动与计算机工具相结合，其主要目标是实现语言学自身的计算机化，包括语料库、词库和句库的研制，语言研究的分析性、统计性、比较性和实验性软件的开发等。这一新思维既突出了当代科技发展所要求的“语言学的技术化”，又体现了以语言学为本而沟通文理工相关学科的研究旨趣。 二、计算语言学的界定要突出技术性 20世纪50年代以后，在理论方法交叉渗透而形成诸多边缘语言学的同时，语言学与计算机结合的趋势开始出现。1954年，在美国乔治敦大学所进行的世界上首次机器翻译试验，标志着计算机科学与语言学的结合已
7、经起步。在这一研究领域，立足于不同的学科视角或知识结构，先后出现了一系列名称术语，如“语言工程”、“语言工程学”、“自然语言的计算机处理”（工科视角）、“语言信息处理”（信息学视角）、“数理语言学”（数学视角）等等。20世纪60年代以后，计算机和语言学的结合逐步深入到语言学的各个领域，形成了包括计算语音学、计算词汇学、计算语法学、计算语义学等分支学科在内的计算语言学（computationallinguistics）。其中“计算语音学”等名词，虽然计算语言学界没人提过，因为已经存在着“言语识别”、“言语合成”等计算机应用专业术语，但是从“语言工程学”到“计算语言学”的术语演变中，透露出“语言学
8、立场”在这门交叉学科中的日益强化。虽然目前的计算机运算速度已经可以满足语言信息处理的技术要求，但是之所以“人机对话”尚未实现，其“瓶颈”就在于现有的语言研究成果无法满足计算机处理的要求。归根结底，语言信息处理的最终目标就是“计算机模拟语言能力工程”或“语言能力移植计算机工程”。探索语言能力的性质和描写语言系统的结构，这些艰巨性工作还得由语言学家先来完成。语言信息处理或计算语言学务必以语言学为本而以计算机为用。语言学家必须具备“数字化”意识，了解计算机需要怎样的语言描写成果，然后才可能将研究目标对准语言工程。 迄今为止，正如许多发展中学科一样，“计算语言学”的定义尚无一致认定，归纳起来盖有四种观
9、点（侯敏1999，p.2p.6）： 第一种，计算语言学是以计算机为工具研究语言学。侯敏认为，任何一个学科在使用工具方面都是自由的，使用不同工具研究一个学科会带来不同特点，但不因为使用了新工具就产生了新学科。虽然并不排除新工具的使用没有导致新学科的产生，但同样不能否认工具的变革有可能带来学科体系的革命，以致于产生新的分支或交叉学科。现代自然科学之所以能够建立，无疑得益于望远镜和显微镜的应用，前者打开了人类认知的宏观世界之门，后者打开了人类认知的微观世界之门。望远镜和显微镜带来的不仅仅是“这一个工具”，而是人类认知方式的巨大变革，从而引起了天文学、生物学等自然科学的一系列革命，产生了一系列新学科。
10、因此，问题在于如何使用新的工具或新认知方式。如果仅仅利用计算机做语言研究的统计工具，也许不会产生新的分支学科，但是利用计算机作为语音分析和合成的工具，则形成了计算语音学。 第二种，计算语言学是把语言学成果应用于计算机。侯敏认为，计算机的应用领域几乎没有限度，什么学科的成果都可以在计算机上应用，因此在计算机上应用语言学的研究成果不足以建立新学科。问题不在于在什么学科的成果能在计算机上应用，而在于在计算机上所应用的成果的性质。与其他学科研究对象的性质迥然不同，语言学科的研究对象语言是人类最重要的认知符号系统和知识载体，因此面向信息处理的语言成果应用于计算机足以建立新的学科。以往的语言学研究是面向人
11、际交流，而计算语言学研究是面向人机交流，两者具有截然不同的性质。版权所有 第三种，计算语言学是研究语言中的可计算问题。侯敏认为，虽然利用可计算理论研究语言符号是建立了一个新学科，但是这种说法偏于保守，没有把计算语言学推进语言学发展的作用充分体现出来。问题在于面向信息处理的计算语言学研究，其显著特点就是语言的可计算性。“推进语言学发展的作用”这不是计算语言学的定义，强调“研究语言中的可计算问题”未必保守，反而突出了计算语言学的显著特点。 第四种，计算语言学是建立基于计算机科学理论的语言学理论。侯敏认为，把计算机科学的基本思想和方法引进语言学领域，不但可以产生许多应用性课题，而且能够促使研究者从新
12、的角度观察语言学，建立与传统语言学不同的理论。因此计算语言学是一种基于计算机科学理论所建立的语言学理论。问题在于：一方面计算语言学需要理论但本质上不是一门理论科学，同时并非所有的计算语言学家都乐意或适合从事理论研究，另一方面计算语言学的应用性质决定了研究成果的技术性特征，而绝大多数人可能更适合于实际上也更需要语言信息处理的技术性研究。 第一种和第二种是欧洲流行的广义定义，主张计算语言学是计算机和语言学的交叉，第三种和第四种是盛行于美国的狭义定义，主张计算语言学是计算机科学和语言学的交叉。也就是说，前者仅仅把计算机当成语言学研究中的一种新工具应用，而后者强调计算机学科的要求和理论对语言学的影响。
13、陈小荷（2001）认为，计算语言学就是以计算机为手段来研究自然语言，较严格的定义是“通过建立形式化的计算模型来处理自然语言的一门科学”。要建立形式化的计算模型来处理自然语言，首先要完成适合于计算机使用的自然语言系统的描写。这一面向“人机对话”的机用语言系统，与以往面向“人人对话”的日常语法系统不同。因此机用语言系统的描写应当纳入计算语言学的研究范围，即完成了“机用语言系统”以后，才能“建立形式化的计算模型”使计算机获得自然语言能力。综上所论，计算语言学可以定义为利用计算机作为工具研究语言、研究机用自然语言系统、研究语言系统或语言能力的计算性，同时建构基于计算机应用、数学模型、认知科学等相关学科
14、基础之上的语言理论的新学科。姑且图示如下： 工具性：利用计算机研究语言 计算语言学描写性：研究机用自然语言系统 技术性：研究语言系统的计算性 理论性：建构新的语言学理论 虽然计算语言学的关键任务是研究人机之间的语言交际问题，即“如何教计算机学会说话”。但是从本质上来说，研究语言系统或语言能力的可计算性和利用计算机工具来研究语言是相通的，只是前者探索的是适合于人机对话的语言能力，而后者讨论的是适合于人人对话的语言规则。 依据目前的语言研究成果和信息处理技术路线，计算语言学包括应用基础研究、应用研究和理论研究三个方面。（陈小荷2001）应用基础研究指语言处理的基本技术研究。现阶段的主要进展是：1自
15、动分词技术：这是计算机理解自然语言的第一步。目前汉语书面语自动分词的正确率达到95%以上。2词语特征标注技术：现阶段的词语特征包括词性和义项，这是句法结构理解的基础。两种标注可采用相似的计算模型但后者要复杂得多，目前尚无大规模的实验结果报道。3语句分析技术：句法结构和语义结构是自然语言理解的关键技术，目前分析真实文本句子的正确率仅在40%左右。4语料库建设技术：语料库是为特定目的而收集的言语作品集，包括语料处理和检索。研究语句分析需要存放句法分析树的“树库”，但目前的汉语语料库加工程度较低，所建立的树库很少且规模不大。5语言知识库建设技术：语言知识包括词汇知识、语法知识和语义知识等，事实性和规
16、则性知识分别放在机读词典和规则库中。语句分析技术之所以不能取得突破，主要原因就是目前尚无适合于中文信息处理的大规模语言知识库。 应用研究指自然语言处理的应用工具的研制。现阶段的热点主要有：1机器翻译工具：半个多世纪过去了，机器翻译的质量仍然令人失望。现在通行的是有限范围翻译和机器辅助翻译。2自动文摘工具：微软公司的词处理器word有用于英语的文摘功能，哈工大研制的hit-863i型中文自动文摘系统可按用户设定的比例压缩原文。3自动校对工具：现在存在的主要问题是误报率过高，并且深层错误难以发现。4信息检索工具：有主题词检索、全文检索两种。前者需要预先有一个主题词表；后者任意字符串都可成为检索对象
17、。另外从语料库中自动获取各种知识的“信息抽取”在线工具的研究刚刚兴起。5言语识别和言语合成工具：言语识别（或语音识别）可分为词语识别（计算机口语命令）、有限词汇识别（电话订票）和无限词汇识别（将成段说话转为文字）。言语合成（或语音合成）指用计算机将书面语转换为口语即“文语转换”，存在的问题主要是断词不当且语调刻板，仿真度亟待提高。 然而，如果以为应用性特征明显的计算语言学仅仅是技术，则未免失之于偏颇。计算语言学有着相应的理论研究，大致包括人工智能理论（含计算模型理论。目前的人工智能研究，主要还是集中在人工体能、人工技能。在语言能力移植电脑过程未取得实质性进展以前，还谈不上真正的人工智能）和语言
18、学理论两个方面。例如计算机如何或是否可以模拟人脑和语言能力，如何寻找合适的语言计算模型等，就是计算语言学家特别关心的理论问题。除此之外，还有对自然语言本质属性的重新认定、面向信息处理的机用语法学理论、语言系统与数学模型的关系、语言结构和数理逻辑的关系、语言符号的数字化可能性及其局限性、语言的异质性和受限性或语域理论、元语言理论和研究方法等一系列问题。总体而言，一方面，由于牵涉的学科太多，计算语言学的理论研究还相当薄弱，另一方面，与科技发展息息相关的计算语言学不容过多地沉醉于理论探索。计算语言学的强大发展动力植根于鲜明的应用性，必须通过实践推动理论探索。 三、语言系统的计算机模式化要求 从语言学
19、家的立场出发，语言系统的计算机模式化要求，就是要了解计算机需要怎样的语言描写成果，传统语言学（此处指非面向语言信息处理的语言学）的研究是经验描写解释型，而计算语言学的研究是实验操作技术型，自然语言系统要能进行操作技术化处理，首先必须实现语言的计算机模式化。冯志伟（1999，p.215）认为自然语言处理一般应经过三个过程：1.形式化，将所研究的自然语言问题以一定的数学形式表示出来；2.算法化，把自然语言的数学形式转换为算法形式；3.程序化，根据自然语言的算法形式编写计算机程序。侯敏(1999，p.30)认为语言系统的形式化或计算机模式化必须满足三个要求：1.高度抽象化，即从语言现象中抽象出一般规
20、则；2.元语言的形式化，即采取形式逻辑、数学公式、程序语言等形式语言作为元语言；3.运用过程的严密化，即运用过程必须具有数学与逻辑的严密性。 袁毓林(1993)认为形式语言至少具有三个特点：基本单元的明确性、基本运算和基本关系的明确性、运算优先级别的明确性，但是自然语言在这三方面皆不明确。具体而言，1.语法范畴的边界不明，例如语素、词和词组之间、词类之间的界限不明；2.结构关系难以定义，通常所说的结构关系，如主谓、动宾等往往很难明确界定；3.层次关系不外显，人们通常根据语感和语境等来识别结构层次。侯敏(1999，p.3640)不赞同这种分析，针锋相对地提出：1.可以根据实际需要或应用目的来确立
21、词项或划分词类；2.结构关系分析需要深入到语义平面；3.形式语法已经给出了体现层次的结构树，在分析歧义结构中可加入语义限制，至于有些连人都解决不了的层次歧义结构也不必要求计算机解决。侯敏的观点是“理论追求的是完美，工程追求的是适用”，避开理论困难而采取工程方法，可以建立一个语言分析的近似模型。 所谓“语法范畴的边界不明”，主要是因为这些“范畴”的设置从某种程度上肢解了语言事实；所谓“结构关系难以定义”，主要是因为这些“结构”难以反映语言的本质结构；而所谓“层次关系不外显”，恰恰是语言结构的特点之一。这些探索和争论，实际上反映了三个根本性的问题：1.汉语结构语法学中长期存在的一些困扰，不仅是套用
22、西方语法学框架框范汉语事实所产生的龃龉，而且也是语形语法学自身无法克服的固有问题。几千年来的西方语形语法学研究之所以能够存在，就是因为人脑在发育过程中逐步自建构了与认知能力协同发展的语义结构网络，为语形语法规则提供了语义选择清单与路径。虽然这些语形语法规则在人际交流中可以使用，但是在语言能力的计算机移植中却顿时陷入困境，因为计算机不存在语义网络结构的自建构功能，缺少语义激活路径。根据语形语法规则，计算机造出来的符合自然语句标准的概率极低，多为与对象世界不存在一致性的随机词语串。2.计算语言学所要求的自然语言的形式化，是基于计算机运算模式的语言研究成果。移植进计算机的“定域受限语言系统”和自然语
23、言系统并不完全相等，严格说来，只是一种接近自然语言的计算机模式化符号系统。3.计算语言学的理论和方法，必须建立在语言的本质共性语义性和和计算机数字化运算模式的基础之上。如果对人类语言的认知语义性没有足够的认识，依然安居于语形语法窠臼而迟迟未能建构语义结构网络，语言信息处理的目标则不可能实现。 中国信息科学界有一种看法，计算机对于形态结构的印欧语言处理具有良好的支撑能力，而对中文信息处理则不然（陈力为2000）。之所以计算机对印欧语文信息处理具有良好的支撑能力，是因为印欧语文结构类型便于建立计算机处理模型。从历史上来看，谷登堡印刷术和打字机键盘都是基于字母的简约性而发明的。一方面，字母系统的符号
24、简约性便于进行数据化处理，汉字符号的繁复性难以进行数据化处理；另一方面，印欧语的形态变化为形式化提供了识别标志，而汉语的孤立结构却没有明显的标志。依据现在的计算机处理模型，汉字的繁复性和汉语的非形态性必然导致中文信息处理中存在一些特殊问题：1.中文信息处理的第一个“瓶颈”。汉语的常用汉字数量繁多，汉字需要解决键盘输入、内部代码、汉字识别和显示、程序语言的数据类型、数据库的排序和检索等一系列问题。2.中文信息处理的第二个“瓶颈”。印欧书面语采取词分写形式，而汉语书面语采取单字连写形式。由于采用西方词法学框架，因此必须研制自动分词技术。假定考虑以“字”和“字义块”等作为汉语的结构单位，自动分词技术
25、将相应改为“字义块”切分技术。3.印欧语的同音词较少，而汉语的同音字较多，同义词和量词也十分丰富，这些都给中文信息处理带来必须解决的难题。4.印欧语可以借助实词的形态变化即在词法层面上进行处理，汉语只有在句法和语义层面上进行处理，需要把语序和虚字的语法信息归纳出来再让计算机掌握。5.印欧语的句子结构是以动词性词语为核心的“主谓”结构，而汉语的句子结构是以体词性词语为核心的“话题说明”结构。印欧语的句子结构划一而句界分明，汉语的句子结构多样、成分缺省并且前后句义缠绵。 如果说语言系统是一座“冰山”，那么以上这些语言信息处理中遇到的难题还都是语言系统浮在海水上面的那一小部分，真正的障碍是隐没在海水
26、下面的那一大部分。无论哪一种结构类型的自然语言系统的计算机模拟，包括形态语言，迟早会无可避免地碰撞上坚硬实在而又难以捉摸的“语义结构”。语言研究需要敢于在冰海下持续探索“语义结构”的潜水员。从自然语言系统来说，要让计算机理解语言通常认为必须使电脑能够解决三个问题：1消除自然语言的一词多义；2揭示自然语言的潜在意义；3掌握自然语言的联想推理。这些问题都离不开语义分析，而语义分析技术尚处于探索阶段。（侯敏1999，p.247）对于第一个问题，一词多义可给出不同义项的清单。对于第二个问题，给出每一义项的显性和潜性语义特征清单。对于第三个问题，给出义项或义场之间的语义关联模式。由此可见，必须在以往的经
27、验语感法和先验演绎法基础上，引进实验归纳法和结构优化法，消除语义“泥潭”情结，潜心于冰海中的语义“冰山”，才能逐步建构造语义结构网络。 就世界各种语言来说，语言的计算机理解的深层次难点可能还在于：1至今尚未揭示出人类理解语言的机制，计算机只能局部模拟自然语言理解的某些简单过程；2至今尚未完成人类理解语言所凭借的知识系统，建立人类进行语言表达的完整理论，计算机尚无从掌握人类语言的知识系统以及语言表达机制；3至今尚未对人类语言所兼具的规则性和离散性、精确性和模糊性做出定量和定性的系统分析，计算机尚无从掌握语言系统的复杂性和语言使用的随机性。(傅永和1999，p.238239)既然语言的理解和表达是
28、一个以知识系统为基础的综合性行为，因此语言系统的计算机模拟必须进行跨学科的研究，特别需要语言学、计算机科学、数学和认知科学以及百科知识学者的合作。与侧重于面对自然人语言学习的语形语法学不同，如果面向语言信息处理，那么就需要以计算机智能模式来重新确定语言学的理论基础、研究重点和研究方法。 面向自然语言处理的计算语言学理论基础，目前主要有基于语言规则性的理性主义理论（即先验主义）和基于语言随机性的经验主义理论。依据理性主义的语言学理论主要有：短语结构语法（psg）、扩充转移网络（atn）、配价语法（vg）、格语法（cg）、范畴语法（cg）、概念从属理论（cd）、多叉多标记树形图分析法（mmt）、词
29、汇功能语法（lfg）和蒙塔古语法（mg）等。这些理论和方法，因为从“理性”出发，因此不可能反映以感受性为基础的自然语言的真实面貌，其缺失已经日益明显。为了克服理性主义理论的不足，采取经验主义理论处理大规模真实文本的语料库语言学应运而生。在收集语言资源或建立语料库的基础上，运用统计方法进行语言信息处理，语言交际过程的随机性由此得到关注。面对传统语形语法学对自然语言过程的不相适应和语义研究的复杂性，甚至有人尝试撇开语言学家的语言研究，以借助语料库逐步实现自然语言系统模拟。虽然借助语料库可以解决语言信息处理的一些问题，但是仅仅依赖语料库实现自然语言系统模拟注定此路不通。因为自然语言不是一个语料仓库，
30、而是一个语义和语形复合性结构系统。无论是理性主义还是经验主义，都必须意识到：语言信息处理中所处理的是定域受限语言。这一研究的理论基础既不应是纯粹基于语言规则性的理性主义，也不应是完全依赖语言随机性的经验主义，而应是突出语言受限性的实验主义。世界语言学的发展经历了从经验科学到先验科学的漫长过程，计算机的发明必将促使当代语言学成为一门实验科学。强调计算语言学的实验主义，并非一概否定理性主义和经验主义，而是要在实验主义的基础上运用理性和经验的理论方法。 自然语言处理的语言理论，目前主要有基于语形的语言理解系统和基于语义的语言理解系统。前者是以语形语法研究的成果为出发点，从句法形式入手；后者是以语义研
31、究的成果为出发点，从语义关系入手。两种理解系统在文本输入、预处理和自动分词等早期环节上基本相同，不同的是基于语形的理解系统先进行词法和句法分析，后进行语义和语用分析，基于语义的理解系统先进行语义分析和语义结构生成，后进行目标语的形式组合。生成语义学认为句子的句法特点取决于语义，语义部分才具有生成能力。认知语义学把意义看作一个植根于知识网络和信仰系统中的认知结构，理解一个语言形式的意义必须激发相关认知领域中的其他认知结构。既然语形结构只是语义结构的表层投影，既然基于语义的理解系统才符合语言的生成机制，既然语义处理才是语言信息处理的关键，那么只有基于语义的理解系统才能满足计算机对自然语言的理解和生
32、成。 李葆嘉：论语言科学与语言技术（下） 四、人脑语言和电脑语言的性质异同 根据与“人脑语言学”的对应关系，计算语言学也可以称之为“电脑语言学”。从人脑角度出发，电脑语言学的研究是将人脑语言系统移植电脑工具的电子工程；从电脑角度出发，电脑语言学是电脑程序模拟人脑语言能力的仿生工程。 不管是系统移植还是能力仿生，首先必须认识到人脑和电脑的异同。1.构造机制的不同：人脑是生物神经系统，具有生物认知机制，而电脑是电子计算系统，具有电子运算程序。2.伴随情感的有无：人脑具有驱动感觉、思维和表达进行的情感性，而电脑只具有执行程序运算的机械性。3.经验基础的有无：人脑具有以感受性为特征的经验基础以及知识系统，而电脑即使配备了一定的知识背景，也不可能具有人脑一样的认知经验基础。4.认知理性的异同：人脑的感受和认知可以区别为非语言层次和语言符号层次，非语言层次包括直觉和感觉，语言符号层次包括知觉（游移性印象）、象觉（清晰性意象）和统觉（逻辑性抽象）。电脑的认知理性只能够定位于语言符号的象觉和统觉层次，难以具备丰富的认知层级系统。5.交流对象的异同：人脑的交流对象分别为对象世界和人际关系之间，具有交流的二重性；而电脑的交流对象只有执行程序的人或“人机对话”的一重性，所谓“机机对话
