语料库语言学与计算语言学之间有何种关系?
语料库语言学与计算语言学二者有着很大的不同。语料库语言学源自语言学家的思考,其出发点在很大程度上是为了解决语言研究中的数据问题;与此不同的是,计算语言学从一开始则是计算机专家所从事的研究。
语料库语言学与计算语言学之间有着很多联系,二者均服务于语言研究,如计算语言学研究中的重点问题,包括词性标注、句法标注、文本分类、机器翻译、词义消歧、网络舆情分析等等,其研究成果一方面可以直接服务于人类生活,另一方面可以为语言学研究提供工具支持。语料库语言学则不同,尽管语料库语言学研究中常常有计算机领域专业人员参与,但其直接目的主要是服务于语言研究,特别是为语言研究提供数据支持和数据分析方法支持,并对语言使用进行客观描写。
计算语言学的发展经历了从基于规则到基于统计的转变。在早期研究中,计算语言学多以规则为指导,这些规则大多为语言学家根据直觉编写。然而,面对纷繁复杂的语言环境时,依据语言学家的直觉编写的规则常常显得力不从心,于是研究者便设计新的规则来补充原有规则,但规则的无限制增加和复杂化无形中也使得研究结果更加不确定,规则之间的矛盾时有发生。即便是再精巧的规则,常常也只能够对少量的数据(有研究者称之为玩具数据)有效。一旦碰到复杂的真实数据,结果往往不理想。在这种情况下,基于规则的计算语言学研究遇到了瓶颈,举步维艰。
到了20世纪80年代末、90年代初,随着计算机硬件技术的发展,加之文本数据的增加,研究者们尝试使用统计方法解决计算语言学中的重要问题,并取得了重要突破。经过一二十年的发展,基于统计的方法逐渐取代了基于规则的方法而大行其道,前IBM语音识别项目组的贾里尼克甚至声称:“我每开除一位语言学家,我的语音识别系统准确率就会大幅提高。”这种观点颇为极端,但至少反映了基于统计的方法之价值所在。
从90年代中期开始,计算语言学研究被基于统计的方法所主宰,计算语言学研究变成了没有语言研究支撑的研究。然而,语言学并非数学,以大量数据支撑的统计方法虽然比起基于规则的方法优势明显,但发展中也遇到了瓶颈,要把正确率从70%提高到80%是如此的困难,以至于每提高一个百分点都让一些学者倍感欣喜。在这种情况下,一些计算语言学家们再次把目光投向了基于规则的方法,这一次他们将统计与规则二者结合起来,获得了较好的效果,并逐渐成为主流的方法。
语言学的发展经历了一个十分类似的过程。从20世纪60年代起,语言学研究一直被基于直觉的研究方法所主导,人们相信“理想的语言使用者”大脑中储存着最丰富的语言知识,语言学研究几乎成了“拍脑袋”的学问,研究者排斥真实数据,认为真实数据中充满了各种各样的杂质,因而不足为据。幸运的是,并非每一位语言学家都认为直觉是唯一可靠的研究基础,一部分语言学家顶着各方面的压力,尝试从大量的真实数据中挖掘语言学知识,并取得了令人瞩目的研究成果。当然,也有学者认为,这种基于真实数据的语言学研究方法本来就存在,只是在基于直觉的语言学研究发展到步履维艰之时才又一次得以复兴,语料库语言学就是这样的产物。简言之,语料库语言学是基于大量真实数据的语言研究,是语言研究一种新的范式,它使语言学更具科学性和可验证性。
我们必须认识到,尽管并非每一位语料库语言研究者都需要变成计算语言学专家,但计算语言学研究成果极大地推进了语料库语言学的发展,这也是不争的事实。如果没有计算语言学的发展,没有准确可靠的文本分析工具,Sinclair所说的“同时观察大量语言”也就不可能变成现实。可以说,没有计算语言学的发展,我们根本无从谈起语料库分析,也就没有当今的语料库语言学。随着语料库规模的不断增大,其对计算语言学的依赖程度也会不断加大。
——梁茂成《什么是语料库语言学》
发布于 江苏
