博舍

书写机器人研究综述 写字机器人硬件总体原理图

书写机器人研究综述

智能机器人被期望拥有人的智慧,可以认知周围的环境和自身的状态,并进行分析和判断,然后采取相应的策略完成任务[1]。它拥有一个由多种内、外部传感器组成的感觉系统,不仅可以感知内部关节的运行速度、力的大小等参数,还可通过外部传感器,如视觉传感器、触觉传感器等,对外部环境信息进行感知、提取、处理并做出适当的决策,在结构或板结构化环境中自主完成某一项任务[2,3]。

智能机器人,按照其发展进程,主要分成3类:第1代机器人,即示教再现性机器人,它按人编写的程序工作,只重复一种动作,以一种固定的模式工作;第2代机器人,即工业机器人,由电脑控制,可根据需要按照不同的程序完成不同的工作,解决工业生产和日常生活中的难题;第3代机器人,能够像人一样具有灵活的思维,并能够主动分析和解决问题,具有类人智能[2]。

具有机械手操作能力的机器人是最早出现的工业机器人,它可代替人的繁重劳动,实现生产的机械化和自动化,能在有害环境下进行操作以保护人类安全,因而被广泛应用于工业生产、科研和生活的各个领域。作为机械手最早的应用,工业机器人开创了机器人发展的新纪元。随着技术的革新,工业机器人也越来越智能。智能机器人最主要的操作机构—机械手臂,具有极强的功能和很高的通用性,它可以代替或者帮助人类在各种场合下灵巧地完成各类复杂的作业和工作,在各个领域的应用都十分广泛。目前,单一对机械手的研究和应用还无法完全满足人们对智能机器人的要求,于是人们趋向于研究具有各种感知能力的机械手,与此同时,通过添加视觉模块的机器人手眼协调研究也是主流的研究方向之一[3]。

与工业机器人不同的是,智能机器人的研究目标是从工程上模拟人或者生物体的复杂动作以及相应的智能行为,得到综合性的机器实现。此外,智能机器人也被看作是工业机器人从无智能发展到有智能、从低智能水平发展到高度智能水平的产物。由于其更接近于人们早期对机器人的理想要求,因此制造出具有人类特征的智能机器人已经成为智能机器人制造的终极目标。

机器人书写作为智能机器人的一项重要应用,目前得到了较多的关注。书写动作主要是靠机械手臂和其他传感装置的协同配合来完成。机器人手臂,主要指的是多关节机械手及多关节机械手指机器控制系统,它能模仿人手臂的某些动作功能,是一种按固定程序抓取、搬运物件或操作工具的自动操作装置。正如人类的手是人获得认知的重要渠道,是人完成灵活操作最重要的器官,机械手的动作与操作则代表了机器人可以参与到人类社会生存和工作的一类基本技能,也是智能机器人领域最重要的组成部分和研究课题之一[4]。

汉字书写是一种很复杂很精细的工作,它对机器人“手”在复杂环境下的灵活性、稳定性以及协调性等控制要求十分严格。书写作为人类一项特有的技能,不仅需要人类的手能灵活地抓取所要使用的工具,而且需要通过感官观察和感受,以此协调手的各部分动作和所书写的内容,以及时调整书写的动作和力度,还能将自己的情感表达出来。因此,机器人书写可以让智能机器人应用手眼协调技术来参与到人类社会的认识和实践中来[4]。并且,实现机器人书写方面所应用的方法和技术,可以满足人们对智能机器人“手”期望所具有的各种操作要求,不仅能够实现智能机器人划时代的突破,所使用的硬件结构设计、控制算法、参数模型等技术理论,也可应用于人类社会生产生活中的各个领域,其标志性的意义深远且重大。因此,本文对具有书写能力的机器人的硬件系统、控制方法、学习能力3个方面进行分析和总结。

1书写机器人的硬件构造

目前大部分的毛笔字书写机器人的构造,都是采用末端执笔的机械臂,通过接收计算机的控制指令来模拟人类手臂的动作,完成毛笔字书写动作。一般在进行机器人系统设计的时候,都会考虑机器人的工作要求,以便机器人的硬件构造可以稳定、准确、高效地完成任务。机器人构造中最基本的是关节的数量、外形大小、负载能力和末端执行器所需要的运动条件。

毛笔字书写机器人的机械臂目前一般使用电动伺服电机驱动。机械臂是目前在机器人领域中应用最广泛的装置,当然其形态也多种多样,不过它们都是通过接收指令控制电机运动,从而使机械臂能够在空间内精确地定位和工作。运动结构的构造和机器人的总体大小是由其所要完成的任务的需求、工作空间以及本身的再适应能力决定的。同时,这些也决定了进行装配所必需的完全的定位能力、进行材料处理所必需的可重复能力以及进行精确的、实时的、基于传感装置的运动所必需的高分辨率和精确度[5]。

本文根据现有毛笔字书写机器人的关节性质将其分类为:直线关节型机器人、曲关节型机器人和平面关节装配型机器人。

1.1直线关节型机器人

直线关节型机器人是一种成本廉价、结构简单的机器人。这类机器人是以X、Y、Z直角坐标系统为基本数学模型,并以伺服电机、步进电机为驱动的单轴机械臂为基本工作单元的机器人系统,能够很容易地确定平面坐标,从而构建出汉字笔画进行书写。坐标机器人采用运动控制系统实现对其驱动及编程控制,直线、曲线等运动轨迹的生成为多点插补方式,操作及编程方式为引导示教编程方式或坐标定位方式。直角坐标型机器人主要通过各坐标参数的控制来实现机械手在平面内轨迹的生成,相当于一个解运动学正解的过程。

直线关节型机器人一般有3~5个自由度,这种机器人的机构设计能够很好地满足汉字的书写。汉字的书写是一个平面内笔画的组合过程,直线关节型机器人能够很好地表现汉字各个笔画的位置,并且能够利用最简单的坐标信息完成书写。同时在垂直方向,直线关节型机器人能够控制毛笔下笔的轻重,这样对书写大量汉字具有很好的效果。目前很多研究者都以这种机械手为基础来构建机器人写毛笔字的平台。

YongkuiM[6]使用直角坐标型机器人设计了一个3自由度的机器人书写平台,该试验平台通过使用PWM信号控制直角坐标机器人每个轴上伺服电机的转矩、速度和角度来完成机械手的书写动作。这个毛笔字书写机器人平台有3个自由度的伺服系统,分别通过控制X、Y、Z三个轴的运动来控制笔画在平面上的定位,能够基本满足毛笔字书写的控制要求,但是针对毛笔字的书写效果还可以提升。KAWAIK[7]设计了具有5个自由度的机器人书写平台,该平台在现有直线关节型机器人X、Y、Z坐标的基础上,添加了Z旋转和倾斜,可以支持机械手在5个自由度上的变化,能够更加灵活稳定地进行书写。同时,它添加了摄像头,利用计算机视觉的方法对书写笔画进行矫正,使毛笔字书写机器人具有视觉功能,方便该平台通过获取、学习、执行书写或自行设计,来进行汉字的书写。

与之类似的还有JOSHH.M.Lam[8],他以IRAS(intelligentroboticartsystem)为平台,对毛笔的笔尖建立一个几何模型,通过实际书写过程中的实验数据来获取毛笔字迹的几何模型,然后添加8个顶点的笔画分段数据到该模型中,并使用一个末端执笔的五自由度机械手系统来产生毛笔轨迹。日本的桂诚一郎(SEIICHIROK)研究团队[9],推出的一款书法机器人,也是利用直角坐标系机器人在平面轨迹上准确、方便的定位原理,对直角坐标系机器人进行改造,成功地模仿了书法家写的字。

1.2曲关节型机器人

曲关节型机器人,也称为关节手臂机器人或关节机械手臂,是比较常见的机器人形态之一,在诸多工业领域的机械自动化作业中得到了广泛的应用。曲关节型机器人和人的手臂关节比较接近,在实际应用过程中可以更好地完成各种工作,在仿生学上也有重要应用。通常,人们控制这种形态的机械手所完成的一系列动作,总是以笛卡尔坐标空间中的状态向量来描述的。曲关节型机器人所建立的坐标系可以是都不同的,机械手在空间的位置和姿态可以用一组关节变量来描述。这种机器人的书写控制方法一般是:通过关节空间得到末端笛卡尔空间(正运动学)或者是从末端笛卡尔空间得到关节空间(逆运动学)。机器人书写动作的控制主要是通过在平面的轨迹来计算各个关节的参数,相当于一个解运动学逆解的过程。

曲关节型机器人的应用比较广泛,虽然这种类型的机器人在机器人书写上的操作比直线型机器人更难、复杂度更高,但是这类机器人具有很好的可扩展性和可移植性,能够更加方便地安装在更为一般的场所,应用价值较高。近年来,国内外一些研究者纷纷使用这类机器人来进行研究工作。

在曲关节型机器人的使用这一方面,很多研究者使用了6自由度的工业机器人。例如何薇[10]应用一个6自由度DENSO-VP6242G工业型机器人,并添加了机器视觉和计算机作为实验平台,提出了一种基于机器视觉的机器人写字方法。宫晓博[11]以ABB-IRB140型6自由度工业机器人为平台,使用插补算法在给定平面与曲面上完成汉字的绘制,较忠实地还原TTF(truetypefont)字型。张传剑[12]使用AutoCAD和VisualBasic,设计实现了MOTOMAN-UP6机器人写字功能,并能够在水平面内实现任意角度的文字书写。薛环振[13]在他的硕士学位论文里,结合计算机书法[14]的相关技术,以工业机器人MOTOMAN-UP6为平台设计了夹持毛笔的方法,控制机械臂完成了书写动作;还考虑了回笔并提出了可行的执行方法,获得了更好的书写结果。

1.3平面关节型机器人

平面关节型机器人,又称为装配型机器人,这种形态的机器人的特点有其独到之处。这种运动形态的机器人模仿了人类的手臂,由立柱和大臂、小臂组成,可在几个方向上进行转动[15]。

平面关节型SCARA机器人是由日本山梨大学牧野洋在1979年发明的[16],SCARA(selectivecomplianceassemblyrobotarm)具有选择顺应性的装配机器人手臂,在水平方向上具有顺应性,在垂直方向上则具有很大的刚性[17]。SCARA机器人有4个自由度,有3个轴线相互平行的水平转动关节,可在平面内进行定向和定位;1个垂直滑动关节,可在垂直于平面的方向运动[16,17]。可见SCARA机器人是一种介于直线关节型机器人和曲关节型机器人之间的一种独特类型。

以平面关节型机器人为平台的书法机器人相对较少。如景兴碧[18]采用一种工业型平面关节装配型机器人(SCARA)来进行软笔书写。该机器人的构型与人的手臂及关节比较接近,具有很高的可延展性,该书写平台本体由4轴驱动,使用了末端执笔的书写机构。曲波[19]在他的论文中提出了一种以“AdeptOne”平面机械手臂为平台,能够模仿人类书写能力的毛笔机器人,其基础结构同样采用了末端执笔的机械臂,通过接收主控PC机由汉字信息提取的控制指令,来模拟人类手臂的动作完成书写。

除了这些常见的毛笔字书写机器人类型,还有很多其他类型的机器人设计。例如多电机的传动协作、机器人写字灵巧手系统的研究[20]。Byoung-HoKim提出了一种具有软技巧的双手指模型[21]来进行机器人书写,该模型有两个自由度,两个手指各有一个旋转节点和一个柱状节点,通过远程计算机解动力学方程对机械手模型进行操作。

综上所述可知,直线关节型机器人虽然可以很好地完成书写任务,但是没有很好的扩展性,并不能很好地体现出人类书法的一些特性。曲关节型机器人具有类人的关节和控制策略,除了能够完成书写动作之外,也可以将其拓展到其他类似的工作。而其他类型的机器人也提供了不同方面的借鉴。随着计算机和科技的发展,可以通过引入各种类型的传感器(例如图像传感器、声纳传感器、触觉传感器等)作为反馈,很好地提高机器人系统书写的质量,同时也会对机器人控制策略和学习策略有很大的帮助。

2书写机器人的控制方法

毛笔字书写机器人的控制方式可分为以下3类:使用坐标计算的控制方法;使用机器人运动学及动力学的控制方法和智能控制方法。在机器人手臂运动控制问题中,主要的挑战在于动力学和不确定性带来的复杂性。动力学的挑战是由机器人机械臂中的非线性和耦合引起的,而不确定性则可能是动力学参数的不精确性和关节的柔性、驱动动力学、摩擦、传感噪声等的原因所引起的。

2.1使用坐标计算轨迹控制绘制汉字

这种类型的书写机器人按照预先设定的轨迹、行为、顺序和速度重复进行动作,完成书写。景兴碧的软笔书法机器人控制系统[18]根据书法机器人的系统要求,编制了大量基于VB、VC、PEWIN和EXCEL的应用软件。研究者首先对汉字的结构进行分析分类,对汉字中常用的部首通过编程构建出若干子程序,然后针对某一汉字调用函数并进行参数调整。这种书写方法比较简单,通过坐标计算和计算机编程就能够让机器人实现毛笔字书写,但是书写效果不佳,当书写大量汉字时,会使程序冗杂。张传剑[12]利用数学几何算法进行运动学分析,基于AutoCAD和VB设计了MOTOMAN-UP6机器人写字功能,使系统能够在水平面内任意角度实现文字的书写。宫晓博[11]针对工作面为平面或球面的不同情况,分别使用插补算法和结合三维坐标系旋转变换的姿态插补方法,在给定平面以及给定曲面上以较好的效果完成了汉字的绘制。

国外的研究者们也在不同的机器人平台上实现了机械手臂的汉字书写。YongkuiMan[6]设计的一种书法机器人主要采用插值算法和坐标变换进行书写,该书法机器人有3个自由度的伺服系统,使用开环伺服系统来解决毛笔书写过程中出现的小半径旋转和笔迹控制中的问题,通过控制伺服电机的转矩、速度和角度来完成机械手的书写动作。KaWaiK[7]设计了具有5个自由度的机器人书写平台,该平台在现有直线关节型机器人X、Y、Z坐标的基础上,添加了Z旋转和倾斜,可以支持机械手在5个自由度上的变化,能够更加灵活稳定地进行书写。Marius-FlorinCrainic以RV-2AJ机械臂为平台,通过直角三角形的三点校准,能够在平面或斜面上完成方便安全的书写,并重现唯一的字体或字形[22]。

2.2使用机器人动力学控制绘制汉字

这种类型的书写机器人通过控制机械手臂在已知的运动轨迹条件下运动,反过来求解对应机械臂关节间的角度以达到控制的目的。本节根据机器人控制中使用的理论不同,将从运动学和动力学两方面进行介绍。

采用运动学的控制方法,有相当一部分研究者是通过解运动学方程对机械手臂进行控制的。曲波[19]使用了具有类似人类关节的机械臂来模拟人类手臂动作,进而模仿人类的书写能力,通过末端执笔的机械臂,将从汉字中提取出来的信息通过运动学方程来控制机械臂的动作。金英连[23]采用的6自由度转动关节机器人机构,是基于坐标变换建立运动学模型,使用三级递阶控制进行书写。满翠华[24]对多自由度机器人手臂的机构进行设计,主要通过Denavit-Hartenberg法和基于旋量理论对动作笔画求运动学正解、运动学逆解(得到封闭解)、基于旋量理论的雅可比矩阵来控制机械臂的动作。

另外也有通过人类动作运动学理论,来控制运动的方法。RejeanPlamondon[25]提出了一个适用于书写笔迹产生的嵌套模型,通过渐进的细节分析笔画的轨迹和速度,解释了生成手写笔画的嵌套模型是如何连贯和一致的,并指出书写笔迹有“指向”和“碰触”两个深度。

然而在一些情况下,逆向运动学无法求出解析解,并且可能降低运动轨迹的精确度[26]。于是有一部分研究者基于动力学的相关理论,研究机器人的控制方法。

王党校对汉字书写过程中的力反馈进行了模拟,并评价了汉字书写的逼真度[27]。Sung-KyunKim[28]对机器人书写中的书写笔夹持问题进行了研究,提出了基于反作用力内部接触假设(reactionalinternalcontacthypothesis)的多触点操控框架,并解决了优化配置搜索以及夹持力度的计算问题。由于人机操作的延时,当人手刚度增加时,基于定位控制的机器人会不稳定,于是ToruTsumugiwa[29]提出了一种可变阻抗的控制方法,实时按比例地调整人臂刚度的动力学估算,使人机协同操作系统更加稳定。VeljkoPotkonjak通过总结以往书写中出现的问题[30],基于分布定位的概念提出了一种虚拟疲劳(virtualfatigue,VF)[31]的方法,能够让机器人根据当前的疲劳程度重新自我配置,并采取合适的姿势以此来准确控制书写的动作。

2.3使用智能控制书写汉字

以上所述的机器人书写动作控制方法,大部分都是纯工程学上的方法[32],智能机器人的发展和应用更需要关注,即机器人具有可以发现自身问题,并且自主决定自身行为的能力。这一节从反馈控制和学习算法控制两方面来介绍不同的智能控制模型。前一类书写机器人通过反馈控制来自动适应外部环境变化,从而修正书写的内容,将外部干扰产生的影响降到最小[33]。后者采用了隐马尔可夫模型、神经网络、强化学习等方法来控制机器人对人类行为的模仿学习。

在反馈控制的研究中,主要使用各种传感器来感知周围环境,以此适应环境的变化。曲波使用了能够模仿人类书写能力的毛笔机器人[19],其基础结构是采用末端执笔的机械臂,引入了图像、声呐、触觉等多个传感器构成闭环控制系统,通过接收主控PC机提取汉字信息的控制指令,来模拟人类手臂动作进行书写动作控制。香港中文大学的研究团队以一个5自由度的机器人系统为平台[8],通过对毛笔的笔尖构建几何模型[34],在原有平台基础上提出了基于视觉图像反馈的毛笔字笔画书写控制方法[35],并对汉字笔画的产生进行了分析,用与模仿汉字书写[36]。

KAWAIKwok[7]为他们研究团队设计的毛笔字书写机器人添加了视觉系统,通过对毛笔字笔迹进行实时捕捉和数据分析,使之可以进行自矫正和学习。改进后的书写机器人能够通过视觉获取、学习汉字信息,并书写汉字。金英连[23]使用视觉传感器获取字符图像,再利用单片机对机械臂进行控制从而达到书写的目的。何薇[10]利用机器视觉自定义协议将图像传回PC机,通过得到的字符坐标信息来控制机器人的多轴联动进行书写。在字迹清晰条件下,该方法能够使机器人准确地写出机器视觉所“看到”的字符。

另外,也有一些研究者通过各种学习算法来控制机器人的运动。例如JAVIERG[26]采用改进的Lloyd算法与隐马尔可夫模型(HMM)对关节空间的轨迹进行控制,并能更为有效地用于人类动作的学习。ALAIND[37]通过采用深度神经网络学习,以此生成一序列命令直接提供给底层的控制回路,能够在新的环境下归纳已学习到的动作,并以iCub为平台测试轨迹记录。SUNYan等人的一些研究工作使用强化学习以及构造型神经网络方法,通过模仿婴儿发育过程,能够让机器人学会指向和定位行为[38,39,40]。

3书写机器人的汉字信息获取方式

中国书法汉字总数多达800000,按字体可分为篆书、隶书、楷书、草书、行书、甲骨文、金文等。秦汉两代的书法大部分是刻在石碑或者是竹简上,之后的各朝代写在帛或者纸上。这些作品大都有副本流传,为机器人书写数据库提供了大量的资源。然而汉字的书写不同于英文的书写,汉字的书写更加注重结构和美观,书写动作也更为复杂。目前的毛笔字书写机器人大部分书写的是楷书,少部分是隶书或行书。机器人书写中汉字信息获取的方式分为计算机字库再现和人机协作、模仿学习。

3.1计算机字库信息的再现书写

机器人对字库中汉字的再现书写,主要是通过计算机将汉字转化成具体的点坐标,然后通过控制机械臂的运动轨迹,对汉字进行书写。这种汉字的实现方式比较简单,效果表现和字库中的汉字一致,主要使用直线关节型机器人,一部分使用曲关节型机器人。这种方法是在工程上实现汉字图形的再现,对编程的要求较高。本节按照字库信息的来源,将其分为从现有字库的信息提取和字帖的信息获取。

通过现有字库进行汉字信息的提取,多是利用操作系统自带的函数读取TTF矢量字库中的汉字轮廓信息,通过Denavit-Hartenberg方法进行运动学控制,实现汉字的书写。例如王光建[41,42]提取TTF矢量字库中汉字的轮廓信息,通过编程对TTF字体的点阵单线字体进行矢量化,然后使用汪涛[43]的函数提取和显示功能对字符轮廓线进行提取和显示,实现写字机器人的运动学分析和仿真。宫晓博[11]首先通过API函数编程实现了TTF字型轮廓信息的提取,然后针对工作面为平面或球面的不同情况,分别使用插补算法和结合三维坐标系旋转变换的姿态插补方法,在给定平面以及给定曲面上以较好的效果完成了汉字的绘制。

另外也有研究者用其他方式进行编程,从现有字库中获取汉字的信息。景兴碧[18]使用SCARA机器人为平台,以基于Windows系统上的中文字库以及VB、VC、PEWIN、EXCEL等应用软件,在点阵式2D的字迹中加入第三维信息,供机器人进行软笔书写。张传剑[12]利用AutoCAD对汉字的笔画的点坐标信息进行提取,使用VB设计了MOTOMAN-UP6机器人的写字功能,利用集合算法对机器人进行运动学分析,使该机器人能够在水平面内任意角度进行文字书写。曲波[19]设计的自适应能力毛笔机器人通过引入多个传感器,接收汉字的坐标信息进行书写,能够模仿人类书写的能力并进一步完善自适应性。

通过对汉字结构的研究发现,汉字虽然数目庞杂,并且有不同的写法、字体,但是不同的简单笔画在平面上的组合构成了各种各样的汉字。因此也有不少研究者对各种字帖进行处理,获取汉字的笔画信息,以此控制机械手臂进行书写。

美国TennesseeStateUniversity的FenghuiYao教授在这一方面作了一些研究,他在CCC(ChineseCharacterCalligraphy)机器人上设计了一种“中国汉字书法机器人”,通过构建一个基于笔画的汉字数据库来进行书写。他根据汉字的发展历程,分别构建了篆书、隶书、楷书、草书、行书的相关字库。之后采用基于图像和曲线加工技术和书法知识对毛笔字的轨迹信息进行提取,将楷书汉字书写分为28个基本笔画。YAO还将汉字分成了几类固定的结构,根据结构的不同来对笔画进行定位和拼接,得到了很好的书写效果[44,45,46]。

也有研究者将获取到的信息通过建立毛笔模型来进行书写。JOSHH.M.Lam在IRAS中构建笔迹模型,利用线性回归的理论,使机器人书写出更加合适的笔画[8]。在此基础上,JOSHH.M.Lam还提出了一种先进较成熟的几何学的毛笔模型[47]:在实际书写过程中使用CCD摄像头采集实验数据获取毛笔的几何模型,之后通过添加8顶点笔画模型对每个笔画信息进行分段,使机器人能够很好地书写每一个笔画,从而更好地完成书写。

然而机器人根据笔画来进行书写是有一定困难的,因为在笔画的组合方面,机器人需要进行定位和拼接。薛环振[13]利用递归算法对毛笔字书法的笔迹和结构进行了参数化,在机器人书写动作控制方面对书写过程增加了“回笔”的方法,使书写效果得到了较大的改善。金英连[23]使用视觉传感器获取字符图像,然后通过网格化得到字符点阵,计算机信息得到笔画,之后对笔画的中心进行聚类得到笔画的顺序,从而达到书写的目的。何薇[10]利用机器视觉自定义协议将图像传回PC机,然后使用OpenCV库对图像进行阈值比、闭运算,细化和笔画分割,通过得到的字符坐标信息来控制机器人的多轴联动进行书写。

3.2人机协作和模仿书写

针对机器人书写动作最多的方式是采用人机交互的学习方式。学习机制的研究是人工智能研究的一项核心课题。采用了一部分学习策略的机器人,它具有发现问题,并且能自主地解决问题的能力[48]。因此学习策略是智能系统具有适应性与性能自完善功能的基础。为了让机器人能够随着经验积累自动提高性能,人们设计了许多不同的算法和方式来实现机器人不同类型的学习。本节根据人机协作方式的不同,将分为随动和模仿两点进行介绍。

随动这一人机协作的形式,是通过人手牵引,与机械手臂相互协作使之获取相应汉字信息,最终实现书写的过程。ToruTsumugiwa[29]提出了一种基于延时定位的人机交互的可变阻抗的控制方法,由压力传感器实时获取人类操作者手臂前端的力度,使机器人末端传感器实时获取压力与位置数据,使人机协作系统更加稳定。AndreLemme[49]以人形机器人iCub为平台,构建了一个运动基元库(movementprimitivelibrary),通过人类教师的引导能够自监督地从复杂轨迹中感知并学习运动基元,学会相应的轨迹动作,并能使用复杂的手写轨迹进行评价。

另一种人机协作的方式就是通过观察、模仿人类教师,获取对应的汉字信息并进行汉字的书写。例如V.Mohan等人[50]以婴儿人型机器人iCub为平台,通过iCub的分析/综合系统学习绘制从简单到复杂的形状图案。即通过观察一个教师的示范,特别是教师末端执行器的轨迹,来学习模仿示范者的动作。

在此基础上,也有研究者通过观察人类手势来实现机器人手臂的书写。SylvainFiliatrault[51]通过无标记的视觉传感器,即Kinnect获取人类示范的手臂手势信息,转换到以NAO机器人为平台的系统中,以此控制机器人的手臂进行书写动作。晁飞等通过运动传感输入设备实时捕捉人类示范的手势轨迹,采用简化的分类集成器来识别人体不同的动作手势,来控制机械臂书写不同的笔画,最终实现整个汉字的书写[52]。在此基础上从人类手臂轨迹中提取汉字笔画并进行优化,以此能够让机械臂实现用简单结构得到更优的书写效果,使其有潜力书写更为复杂的汉字[53]。

4比较与讨论

为了能更好地对比书写机器人的产品、技术和参数性能参数,表1、表2和表3被用来对硬件构造、控制方法和汉字信息获取方式不同研究工作的来进行比较。

表1机器人硬件构造的比较Tab.1Comparisonofrobotichardware硬件构造分类特点自由度个数书写平台直线关节型机器人X、Y、Z直线坐标系统;通过坐标参数实现平面轨迹;解运动学正解;3~5个直角坐标型机器人;添加Z轴旋转和倾斜的机器人;智能机器人艺术系统(IRAS);改造的直角坐标型机器人;曲关节型机器人笛卡尔空间坐标系;通过平面轨迹计算各关节参数;解运动学逆解;6个DENSO-VP6242G工业型机器人;ABB-IRB140型工业机器人;MOTOMAN-UP6机器人;平面关节型机器人由立柱、大臂和小臂组成;解运动学方程4个SCARA型机器人;AdeptOne平面机械手臂;表选项表2机器人控制方法的比较Tab.2Comparisonofroboticcontrolmethods控制方法分类特点子类控制方法坐标计算控制通过坐标计算,计算机编程;按照预设轨迹,顺序控制书写坐标计算和计算机编程;基于AutoCAD\VB设计写字功能;插补算法和姿态插补方法;插值算法和坐标变换;添加z旋转和倾斜,可在5个自由度上变化;直角三角形的三点校准;机器人运动学、动力学控制控制机械手臂在已知运动轨迹下运动;求解对应关节间角度控制书写运动学控制通过运动学方程控制机械臂;建立运动学模型,使用三级递阶控制;对动作笔画求解运动学方程控制;通过人类动作运动学理论控制;动力学控制模拟汉字书写过程中的力反馈;基于反作用力内部接触假设的多触点操控框架;可变阻抗控制,实时按比例地调整动力学估算;虚拟疲劳方法,让机器人根据当前疲劳程度控制;智能控制机器人具有发现自身问题,并且自主决定自身行为的能力通过反馈控制自动适应环境变化引入多个传感器构成闭环控制系统;基于视觉图像反馈的笔画书写控制;通过视觉系统自我矫正和学习;视觉传感器获取字符图像,单片机控制;机器视觉获取信息来控制机器人的多轴联动;智能学习算法改进的Lloyd算法与深度神经网络学习提供底层控制回路命令隐马尔可夫模型控制;强化学习以及构造型神经网络方法控制;表选项表3汉字信息获取方式的比较Tab.3Comparisonofchinesecharacterfontacquirement汉字信息获取方式分类特点子类获取方式计算机字库再现将汉字转化成坐标或笔画信息,然后控制机械臂的运动轨迹书写汉字通过编程从现有字库获取汉字信息通过API函数编程提取TTF矢量字库中的汉字轮廓信息;在点阵式字迹中加入第三维信息;利用AutoCAD提取笔画的点坐标信息;通过传感器获取汉字的坐标信息;处理字帖获取汉子笔画信息构建一个基于笔画的汉字数据库;构建笔迹模型,获取毛笔几何模型,分段笔画信息;参数化毛笔字书法的笔迹和结构;网格化字符得到点阵,计算脊信息得到笔画;OpenCV处理汉字图像得到字符坐标信息;人机协作,模仿学习针对人的书写动作的获取随动:人机相互协作获取汉字书写信息实时获取人手前端力度和机器人末端的位置数据;通过人类教师引导学会相应的轨迹动作;模仿:通过观察、模仿获取汉字书写信息观察教师末端执行器的轨迹,学习模仿形状、图案;通过Kinect获取人类示范的手臂手势信息;通过Kinect获取、识别动作手势轨迹;表选项

需要强调的是,在机器人的动作控制方面,常规的控制策略就是对机器人进行运动学分析。主要是建立D-H齐次坐标方程求解,或者是对机器人手臂在平面内的轨迹进行坐标计算。之后通过编程对机器人进行控制,实现机器人毛笔字的书写。这种方法可重复再现通过示教编程存储起来的作业程序,然而这种系统主要依靠人对书写机器人机械臂的轨迹控制程序进行编写,使其完成预期的动作,工作量比较大,可扩展性差。

另外在对汉字信息的提取方面,目前的主要方法是通过编程函数提取现有字库的汉字信息,能够很好地对汉字进行再现,并且书写相当多的汉字。然而,这种方法需要较多的编程,限制了机器人的拓展性和学习性,只能书写字库中的信息,不能通过不断地学习和训练来掌握书写能力。

随着计算机视觉技术的研究和发展,很多研究者利用机器人的“眼睛”对汉字信息进行捕捉和再现。基于计算机视觉来获取字体信息,在很大程度上能够让机器人进行自主学习和训练,但是机器人在获取汉字信息时需要克服外界干扰,还要将信息转化成内部参数来完成书写,其书写控制方面需要通过不断地反馈修正训练才能够达到很好的书写效果。

综上所述,未来的研究工作将会有如下两个可供拓展的领域:

1)智能控制与机器学习。引入智能控制模型和机器学习的方法,可以大幅改善毛笔字书写机器人的动作控制。智能控制模型是在无人干预的情况下能够自主驱动智能机器实现控制目标的自动控制系统,它主要是针对控制对象及其环境、控制目标和任务的不确定性和复杂性而进行设计的。智能控制系统的特点是:无需建立被控对象的数学模型,特别适合非线性、时变和复杂不确定的控制对象;具有分层递阶的控制组织结构,便于处理大量的信息和储存的知识,并进行推理;控制效果具有自适应能力,鲁棒性好;学习能力,控制能力可以不断增强。这种控制系统可以自动测量被控对象的被控制量,并求出与期望值的偏差,同时采集输入环境的信息,然后根据所采集的输入信息和已有知识进行推理,使得其对被控对象的输出控制的偏差尽可能减小或消除。根据控制对象本身参数或周围环境的变化,调整其自身,使得其行为在新的或者已经改变了的环境下达到最好,或者至少是容许的特性和功能。

2)模仿学习。目前对机器人模仿人书写汉字的研究中,重复汉字的书写还没有能够达到机器人自我创作书写的效果[54]。中国汉字有十万多个,常用汉字有三千多个[55],在汉字的书写中,不同的汉字是由有限的固定的笔画组合而成的。在汉字的书写过程中涉及了很多重复性的笔画运动,因此可以考虑利用在先前相同笔画运动轨迹中收集得到的数据来改善机械臂在随后笔画中的稳定性和完善性。多样性的汉字具有有限笔画重复构成的特点,意味着毛笔字书写机器人完全可以采用各种学习算法[56],这也为研究机器人的学习机制提供了一个非常有趣的途径[50]。

5结束语

通过对该领域已有文献的阅读和思考,按照毛笔字书写机器人的硬件构造、书写动作控制方法和书写机器人的实现方式进行了分类,对目前毛笔字书写机器人的研究现状和特点做了研究。本文还对比了各个研究的特点和优势,并在机器人书写动作控制与实现方式方面做了一些思考。机器人通过不断学习来完成写字复杂工作,其重点在于学习,能够让机器人通过学习来完成复杂书写动作的控制是近年来的研究热点,也是机器人手眼协调发展的一个重要分支。在研究方面,汉字书写机器人更着重于对机器人手臂的控制,这样更接近人们对于智能机器人的控制期望。当然,机器人手眼协调的发展一直伴随着智能机器人的发展,在尝试对机器人写毛笔字改进和提高的过程中,也会促进智能机器人的发展和研究。另外,汉字书写过程中的重复动作,也为机器学习方法的实践和提高提供了一种方法。

对书写机器人输入方式的加强方面,由于汉字的结构特点和文化底蕴,毛笔字书写机器人的研究也将在一定程度上为“脑机接口”技术应用的拓展打下了前期基础[57]。并且,随着计算机技术和人工智能理论的发展,更加高效、智能的发展型机器人将成为研究的重点。在以后的科研工作中,可以关注人工智能学习理论与模仿学习在机器人写毛笔字中的实现和改进,并将发展型机器人的思想引入机器人书写动作的控制中,让智能机器人的动作控制更加贴近人们的期望。

为了强调书写机器人的未来的研究方向以及可以预见的规模化应用领域,在本文的最后从如下3个方面进行了展望。

机器人书写功能最直接的应用是个性化的艺术喷涂,特别是在一些危险的外墙上进行书写甚至作画,都非常适合机器人去实现;另一方面,在一些高毒、高污染环境下的汽车整体喷漆以及个性化图盘的喷漆工作,也非常适合大量的具有书写能力的机器人去胜任。这两种方式都可以根据人工设计好的或者机器人自己创作的艺术效果进行。由于喷涂与书写能力可以直接转化,因此在市场有需求的情况下,可以马上就转化为企业的实际应用。

机器人的书写能力还可以应用在康复锻炼活动中。机器人可以托起或者拉动需要康复的肢体,来进行一些基本恢复动作,运动范围可以逐渐从小到大,运动速度可以从慢到快。并且机器人需要做一些新的动作时,可以通过模仿能力来学习康复医师的新动作。这些能力正是机器人通过模仿来学习书写所需要的,或者说是书写机器人所具备的。

机器人书写对机械手臂灵巧性的高要求可以被应用到有机器人操作的外科手术中去。外科手术需要控制器械在较小的活动空间中进行精确的定位和运动,能达到较好书写效果的机器人也是可以实现这一功能的。但是,从目前的研究现状来看,还没有能达到这样要求的书写机器人。因此,需要加强对采用智能控制方法的机器人书写能力的研究。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

上一篇

下一篇