自然语言处理总复习（九）—— 机器翻译
自然语言处理总复习（九）——机器翻译一、概述1.定义2.分类3.发展历史二、机器翻译的技术路线实用化的策略（一）基于规则1.直接式翻译2.转换式翻译（1）通过句法分析得到某种内部的结果化表达（2）变换句型（3）目标语言的形态生成（二）基于实例基于实例的机器翻译问题（三）基于统计1.基于统计的原因2.要素（1）数据（2）学习（3）搜索3.例子4.基于词的统计机器翻译（IBMModels）（1）统计机器翻译系统（2）贝叶斯规则（3）统计机器学习的三个问题1）语言模型a.经典的语言模型——N-Grams模型1）翻译模型三、机器翻译的评价四、利用互联网获取双语预料一、概述1.定义用计算机实现从一种自然语言（源语言/sourcelanguage）到另一种自然语言（目标语言/targetlanguage）文本的翻译。
2.分类HumanAssistedMachineTranslation(HAMT)人助机译ComputerAidedTranslation(CAT)机助人译FullyAutomaticMachineTranslation(FAMT)全自动机器翻译3.发展历史二、机器翻译的技术路线基于规则的机器翻译——基于理性主义的方法；于实例和统计的机器翻译——经验主义的方法或者基于语料库的方法；但是这种说法不是很确切。因为语料库已经用于所有的机器翻译开发中。只不过是直接应用还是间接应用。
实用化的策略（一）基于规则1.直接式翻译进行词汇的更换
2.转换式翻译（1）通过句法分析得到某种内部的结果化表达（2）变换句型（3）目标语言的形态生成（二）基于实例基于实例的机器翻译问题（三）基于统计1.基于统计的原因2.要素（1）数据大规模的双语语料库(比如107–109词次)，它用于训练统计翻译模型。大规模的单语数据库，它用于训练语言模型。
（2）学习模型的学习（也叫训练），模型包括系统架构及其各项参数。在系统架构已经确定下，利用以上数据可以自动学习翻译模型的各项参数。
（3）搜索翻译过程（也叫解码过程或者搜索过程）。对一个新的句子，利用学习得到的模型产生多个候选句子，并且利用一种搜索方法，求得一个最好的译文。
3.例子4.基于词的统计机器翻译（IBMModels）（1）统计机器翻译系统（2）贝叶斯规则（3）统计机器学习的三个问题1）语言模型a.经典的语言模型——N-Grams模型模型目标：选择哪一个句子更像一个句子
HeisonthesoccerfieldHeisinthesoccerfieldIstabletheoncuptheThecupisonthetable模型方法：
1）翻译模型三、机器翻译的评价四、利用互联网获取双语预料人工智能与自然语言处理技术
随着人工智能技术的发展，我们生活中的许多应用都带上了“AI”的色彩，比如可以用计算机帮翻译外文文档。但有时候人工智也能会出一些小故障，变得不那么智能，尤其在语言处理方面。那么我们怎样才能让人工智能变成真正的“智能”呢？自然语言处理技术就是一个重要的方式。
自然语言处理技术（即natural language processing，简称NPL）是人工智能的一个重要分支，其目的是利用计算机对自然语言进行智能化处理。基础的自然语言处理技术主要围绕语言的不同层级展开，包括音位（语言的发音模式）、形态（字、字母如何构成单词、单词的形态变化）、词汇（单词之间的关系）、句法（单词如何形成句子）、语义（语言表述对应的意思）、语用（不同语境中的语义解释）、篇章（句子如何组合成段落）7个层级。这些基本的自然语言处理技术经常被运用到下游的多种自然语言处理任务中，如机器翻译、对话、问答、文档摘要等。
科学家研究自然语言处理技术（NLP）的目的是让机器能够理解人类语言，用自然语言的方式与人类交流，最终拥有“智能”。AI时代，我们希望计算机拥有视觉、听觉、语言和行动的能力，其中语言是人类区别于动物的最重要特征之一，语言是人类思维的载体，也是知识凝练和传承的载体。在人工智能领域，研究自然语言处理技术的目的就是让机器理解并生成人类的语言，从而和人类平等流畅地沟通交流。
但现在的人工智能常常和我们的人工评价有很大的出入，这也是基于AI算法的自动评测面临的最大挑战：如何与人工评价保持一致？应对这个挑战需要解决很多问题。以智能阅卷为例：如何制定电脑适用的评测标准？人工智能如何应对语言的千变万化？如何设计阅卷综合性的评测指标？有科学家认为，大数据与富知识双轮驱动或许能成为解决问题的关键，即在大数据驱动的基础上加入富知识驱动，可以突破现在智能语言处理技术上的瓶颈。
总而言之，自然语言技术的发展说明人工智能技术的核心还是在“人”。“人工智能和机器学习带给决策过程的支撑和信心将使创新加速，但这并不意味着人类的缺席。人们仍然需要定义分析的起点、标注主题并从收集的信息中提取所需数据。”
本文由北京市第六十五中学一级教师李岩进行科学性把关。
科普中国中央厨房新华网科普事业部科普中国-科学原理一点通联合出品更多精彩内容，请下载科普中国客户端。作者：和卓琳 [责任编辑:魏承瑶]