首页 » 软件优化 » 果蔬采摘机器手系统设计与控制技术研究现状和发展趋势(采摘果实机器人抓手机械手)

果蔬采摘机器手系统设计与控制技术研究现状和发展趋势(采摘果实机器人抓手机械手)

南宫静远 2024-11-26 11:53:52 0

扫一扫用手机浏览

文章目录 [+]

机械手是一种安装在机器人上的工具,用于抓紧、搬运和放置目标,是机器人的重要执行器之一。
区别于单独的机械末端,机械手是包括设计目标、机械结构、驱动方式、控制方案、视觉算法、评价体系等一系列相关领域的系统结合。
自1975年以来,由于在多个领域出现了大量对机器手的不同需求,其设计和制造技术得到了迅速的发展。
Festo、Schunk、BTM等公司已经开发了许多机械结构、驱动形式各异的商用机械手。
为了将人力从繁重、重复、低效的工作中解放出来,作为农业机器人最重要的组件之一,机械手已经应用到了农业的各个领域,例如收获水果和蔬菜、嫁接、移植和修剪等。
但目前,机器手在农业、食品和生物等领域的发展尚不如在制造业中成熟,这主要是由于以下几点原因造成:一是农业环境具有非结构化或半结构化的特点,导致其场景复杂度远远高于工业环境,对采摘机械算法的鲁棒性以及机械的稳定性都提出了很高的要求;二是农产品通常具有质地脆弱、易擦伤、易粘附和难以被夹紧的特点,其抓取复杂度远高于简单的工件;三是农业产品的果实的形态特征、生长发育情况各异,且个体之间也有较大差异;四是农产品通常具有较为固定的采摘时机,不当的采摘时间将大大影响农产品的质量水平,对采摘机械的智能化与工作效率提出了较高要求;五是采摘机械的服务对象大多是农民,因此采摘机械要具有工作可靠、操作简单的特点。
除此之外,考虑到农产品的利润较低、季节性较强等特点,需要严格控制采摘机械的成本。
由于上述因素的存在,应用在农业中的机械手对材料的选择、抓取方式的设计,控制和识别算法的设计都提出了更高的要求。

目前已有许多专门针对采摘机器人,如完整采摘机器人系统和收获机器人技术等方面的综述;针对水果和蔬菜的采摘与加持机器手,机械末端的设计和优化、机械末端及其应用,或针对机器人的某些子任务的综述,如控制、导航和果实定位等。
本文在前人综述的基础之上,针对应用于果蔬采摘的机器手系统,从采收对象和场景、采摘机械结构、采摘控制方案,以及系统评价指标四大方面展开综述,分析了目前采摘机械手主流的采摘目标、应用场景,总结了目前采摘机械手主要的机械结构形式和抓取方式,概括了刚性采摘机械手的设计流程,梳理了目前采摘机械手系统主流的总控方案、识别定位方法和避障算法,归纳了采摘机械手系统的评价指标,并针对未来采摘机械手的发展方向和趋势进行了展望。

2 采收对象和场景

鉴于目前采摘机器人能力的限制,市面上没有能够适应所有种类、所有场景的作物采摘器械。
因此,在采摘机械机械手设计之初,设计者必须针对不同的采摘目标和采摘场景进行分析,因地制宜地进行设计采摘机械。
总体而言,影响机器人采收目标的设计包括采收对象的特征和机器人运行的场景两方面因素。

果蔬采摘机器手系统设计与控制技术研究现状和发展趋势(采摘果实机器人抓手机械手) 软件优化
(图片来自网络侵删)
2.1 采摘果实的种类

智能采摘机械与传统农机在采摘目标上有很大不同,这是由于它的高成本和工作的高复杂性决定的。
智能采摘机械的目标作物通常是水果、花卉、蔬菜、香料等高价值作物。
这类作物比主食作物的收获过程更为复杂,且要求更高。
但与此同时,这类作物也具有更高的价值和利润,因此,针对这些作物的智能采摘机械具有较高的市场需求和良好的发展前景。
为开发出足够智能的采摘机械,国内外学者已经进行了长时间的探索。

国外在采摘机械的研制方面起步较早,欧美和日本等发达国家在采摘机械方面的研究始于上个世纪,目前已经有比较高的水平。
为缓解劳动力短缺对农业可持续发展带来的不良影响,Preter等设计了一种无损伤草莓采摘机械,其原型机可以在4 s内完成一颗草莓的采摘。
为解决人工采摘草莓耗时较多、人工成本过高的问题,Xiong等设计了一种草莓采摘机器人,使用电缆驱动的手指包裹草莓果实完成采摘,对于单独的草莓的采摘成功率接近96.8%,但在实际农场中仅能达到59%。
为解决劳动力匮乏的问题,并提高生物产品质量,20世纪70年代后期,日本已研制出如嫁接机器人、扦插机器人、移栽机器人和采摘机器人等多种农业机器人。
20世纪90年代,日本研制出了能够应用于农业生产的机器人。
但这些机器人大多只能完成特定的一项工作。
为解决这个问题,日本冈山大学的Monta等设计了一种多功能葡萄采摘机器人,可以完成收割、浆果稀释、喷洒农药、果实装袋四种任务。
为解决茄子收获过程复杂、占用时间多的问题,日本蔬菜与茶科学研究所的Hayashi研制了一种可以完成识别、处理和拣选任务的茄子收获机器人,成功收获率为62.5%,每收获一个茄子耗时64.1 s。
日本京都大学的Kondo团队一直致力于采摘机械的研究,已成功研制出了番茄、草莓、菊花等采摘机器人。

国内采摘机械研制虽与国外顶尖水平仍有一定差距,但在近些年已有较大进展。
为解决手工收割番茄费时费力且不利于大规模种植的问题,Wang等设计了一种具有四轴独立转向系统、五自由度收割系统以及双目立体视觉导航系统的温室番茄收割机器人,其识别成功率高达99.3%,采摘成功率为86%,且每个番茄采摘时间仅需15 s。
为解决柑橘废弃严重及机械化收获水平低的问题,霍银龙等设计了一种全自动旋转式柑橘机械采摘机,实现了柑橘果实的采摘、收集和自动装箱;为制造出低成本和高效的采桃机械,Yu等设计了一种六自由度采桃机械手,结合核相关滤波算法(Kernel Correlation Filter,KCF)高速跟踪算法和高精度测距算法,该机械目标检测速度约为14 帧/s,平均识别率超过90%,目标跟踪速度约为40 帧/s。

目前主流的采摘果实目标为苹果、草莓、茄子、柑橘等。
这类果实具有体积较小、颜色鲜艳、生长位置适合机械化采摘的特点,为识别和采摘带来了很大便利。
对于西瓜、甜瓜等果实,由于其具有体积较大、成熟度难以区分、果实颜色与叶片及藤蔓接近等特点,对识别和采摘造成了很大困难,相关的研究较少,目前没有十分有效的采摘方案;而对于花生、土豆一类果实生长在地下的作物,由于其果实的识别和摘取难度过高,目前也没有合适的采摘方案。

除此之外,当前的采摘机械手具有很强的专用性。
而同种果实在一年中的采摘季节通常是短暂而固定的,这种专用型采摘机械无疑降低了使用率、增加了成本。
因此设计多功能采摘机械和通用型采摘机械将大大提升采摘机械的使用率和降低使用成本,也必然是农业未来的重点研究方向之一。

2.2 采摘对象的力学特性

为在力学方面对采摘机械设计提供理论指导,国内外学者对被采摘果实的力学特性进行了一系列研究。
刘继展等对不同成熟期的番茄果实进行了挤压实验,对番茄的果梗进行折断和拉断实验,对番茄及其果梗的力学特性进行了分析,得出了折断方式比拉断方式更适合番茄采摘的结论。
为研究灵武长枣硬脆性所带来的易损问题,刘博翰根据不同成熟度灵武长枣的力学行为,使用多种实验仪器对枣的动压机械损伤和冲击机械损伤进行深入分析,得到了对应的弹塑性力学方程,为采摘执行机构的设计提供了理论依据。

除此之外,由于包裹型抓手对于抓取力有较为严格的限制,部分学者在设计包裹型抓手前会对果实的某一项力学性能进行测试或试验。
Dimeas等在设计草莓采摘抓手时采用两种抓取方案对草莓的摘取力、拉力、弯曲力进行了一系列测试,得出侧面夹取是最优抓取姿势。
为获取气吸式采摘枸杞的最佳工作参数,王荣炎等对枸杞进行了力学实验,使用FLUENT软件对气吸式采摘装置的管道进行建模仿真,得到管道的气体压力和速度云图,并通过气吸采摘实验得出了该设备的最佳工作参数,为气吸式枸杞采摘装置的研制提供了指导。

总体而言,目前国内外学者对果实的力学特性虽有所探索,但大多比较简单和片面,缺乏系统的研究和理论支撑。
这主要是由于果实作为一种生物材料,在力学特性与传统材料上有很大区别。
目前果实力学特性方面缺乏完整的理论体系,相关领域的进步仍需要依靠生物力学的进一步发展。

2.3 对位姿的建模方法

位姿建模指的是对采摘目标的位置和姿态进行估算,从而为采摘机器人的运动路径规划、姿态规划提供指导。

为解决苹果视觉定位中对获取果实的姿态信息较少、影响采摘成功率的问题,张高阳基于粒子滤波理论结合双目视觉信息和运动中的单目信息完成了对苹果的定位,并通过花萼遗迹是否可见将苹果姿态分为两种模型,从而完成苹果姿态的测量,对每幅图像进行姿态测量需4 s左右,抓取每个苹果需要30 s左右。
为解决水果分级生产过程中姿态的识别问题,姚立健等设计了一种采用惯性主轴方法计算水果果轴的算法,测得果轴正投影倾角的误差为4.4°,果轴检测正确率为86%,可有效检测分级生产中水果的姿态。
为解决位姿识别问题对柑橘采摘造成的困难,张哲通过对采摘机器人进行正逆运动学求解,获得了机器人采摘姿态的目标函数,提出了一种采摘序列规划方法,通过搭建实验平台进行测试实验,得出采摘机器人在室内外环境下末端执行器包含柑橘的成功率分别为89.47%和70%。

总之,目前主流的位姿建模方法是基于视觉识别和空间几何计算的方法,即通过对果轴、质心或采摘点等特征的识别,结合几何计算得到目标的位置和姿态。
但是由于果实结构各不相同,通常需要对每一种果实各设定一套算法,研发成本较高。
此外,同种水果的不同个体也存在一定的形状差异,从而对算法的精确性造成影响。
未来的主要研究方向是设计一套通用、精确的采摘目标姿态建模方法。

受制于传统卷积神经网络对位姿信息的忽略,深度学习方法在果实位姿检测这一领域应用较少。
Sabour等曾提出CapNet网络结构。
相较于传统卷积神经网络(Convolutional Neural Networks,CNN),CapNet网络对物体的姿势和相互位置更加敏感,且被认为在物体姿态描述领域具有重大潜力。
除此之外,为解决物体姿态估计问题,Hu等提出了一种姿态估计网络。
该网络由图像分割流和关键点检测流组成。
对于网络获取的关键点对,利用基于RANSAC的PnP产生姿势估计。
经试验测定,该算法在遮挡较少和物体大小适中的情况下具有较好的性能。
相关的研究工作将把深度学习引入对位姿的建模成为可能。

2.4 采摘场景

采摘场景总体可分为实验室环境、大棚内环境和露天实景,还可以继续根据场景的复杂性进行分类。
场景复杂度指果实的疏密情况、相互遮挡情况、果树的布局情况以及光照气候的变化情况等。
综合文献,并考虑场景深度和背景复杂度,将几种典型的因素对场景复杂度影响归结如表1。

表 1 典型场景复杂度对采摘性能的影响

Table 1 The impact of typical scene complexity on picking performance

因素

生产环境

果园

温室

室内

开放的野外

风云防护

+

++

可控照明

++

植物生长一致性

+/-

+

++

对象可见性

+

+/-

导航难度

+

++

固定机器人适用性

+/-

++

场景深度

+

++

背景复杂度

+

++

注:“-”表示对采摘性能具有负面影响,“+”表示对采摘性能具有正面影响

对提及采摘成功率的文献进行统计,发现目前大多数采摘机械针对孤立的果实能够取得很好的识别和抓取效果,在实验室或大棚中表现相对较好,而在实际农田中工作的机械由于其场景的复杂性,采摘的成功率不高,真正能够投入商用的较少。
因此,在设计采摘末端时,通常在实验室环境下,会影响到如表1所示的七个指标,从而导致采摘成功率将明显高于大棚内和室外环境。

2.5 采摘可行性分析

采摘可行性指的是采摘机械对周围场景进行感知和分析后,综合考虑机器人的作业能力,对所有检测到的果实中具有足够采摘成功率的果实进行筛选。
本质上,采摘可行性分析实际是去除所有检测到的目标中那些采摘成功率过低的个体。
合理地评判采摘可行性,有利于使采摘机械将注意力集中在更高成功率的采摘对象上,提升采摘机械的工作效率,提高采摘顺序规划的质量。
场景复杂度是影响果实采摘成功率的重要原因之一,它主要通过影响机器人的识别定位系统、加大避障系统和路径规划系统的工作难度来影响果实的采摘成功率。

对于采摘可行性问题,已有学者提出了一些初步想法。
为提高采摘机器人的作业效率,Xiong等曾提出了一种判断草莓可采摘性的方法,使用深度图估计目标果实与末端执行器之间的距离,当物体过远或过近时会对视觉系统的性能造成干扰,需要去除这些物体。
该方法的优点在于可以在采摘前对草莓的可采性进行粗略估计,缺点在于受遮挡物影响大,且三维视觉系统相对复杂。

目前学者所提出的方案仅仅考虑了某一个或某几个影响因素,这对于复杂的实际情况远远不够。
由于机器的作业能力不可被完全严格地描述,因此“可行性”是一个模糊数学概念,且尚没有学者对其进行明确定义。
果蔬采摘可行性分析潜在的解决方案包括尝试通过模糊数学建模采摘效果、强化学习获取经验知识、注意力机制引导可采性机理分析等实现。
首先,提出一种基于模糊数学理论的定义方式:若以D={d1,d2,...,dn}D={d1,d2,...,dn} 表示视觉系统检测到的nn个目标果实,则可被采摘的目标果实组成论域DD上的一个模糊子集AA,且模糊子集AA由论域DD到区间[0,1][0,1]的映射μAμA确定。
在数学上μAμA也称为AA的隶属函数。
故判断采摘可行性的问题可以转化为确定隶属函数μAμA的问题。
显然确定隶属函数μAμA的方法并不唯一,它取决于设计者对各个影响因素的重视程度。
比如当设计者考虑果实在所采集图像中的显著性水平时(由于图像中显著性更高的果实通常更容易采摘,所以这种考虑是合理的),将图像输入显著性检测算法当中并得到输出的显著性热图,统计果实区域的热图响应,将其归一化作为隶属函数μAμA。
这种算法只考虑了显著性水平这一个因素,对于多个影响因素,可以设计综合评价算法对其进行评分,也可以使用深度神经网络完成综合评价这一任务。
但是这种评价方式往往受制于有限的考虑因素以及固定的某些场景,缺乏对新场景的学习和自适应能力。
将可行性与强化学习相结合将是未来采摘可行性分析最有前景的发展方向。

在强化学习中,采摘过程可被建模为一个马尔可夫决策过程(Markov Decision Process,MDP)。
为每一个果实被采后的状态设置状态价值函数VV,为采摘每一个果实的动作设置动作价值函数Q
当成功摘取果实后,将获得回报RR。
假设摘取每一个果实的回报是相同的,由于衰减因子γγ的存在,使用较少动作摘取果实将获得更大的回报。
若使用贪心算法引导决策,则机器人将更倾向于完成“更加容易”的采摘动作。
在多次采摘动作完成后,容易采摘的果实将被采摘殆尽,留下难以采摘的果实,则可以认为采摘这些果实的动作是低回报、不可行的。
但是受制于复杂的工作环境和算法的局限性,目前使用强化学习算法进行果实采摘仍是一项十分艰难的任务,仍需要国内外学者的进一步探索。

总体而言,采摘可行性分析仍然是果蔬采摘研究领域的空白,仍然缺乏一套系统地评判采摘场景复杂度的可行理论,对采摘场景的复杂度进行建模评价将是未来重要的研究方向之一。
考虑到目前大多数采摘机械使用基于视觉的控制方案,关于“视觉注意力机制”和“显著性水平”方向的研究将很有可能带动这方面的发展。
除此之外,为应对复杂多变的实际情况,使用深度网络对采摘成功率进行学习可能会成为采摘可行性分析的一个突破点。

3 采摘机械结构

作为采摘机械的主要执行装置,采摘机械结构至关重要。
本节讨论了主流的采摘机械抓手结构并对其进行了分类。
针对主流的刚性机械抓手总结了设计的流程。
并讨论了采摘机械手的驱动方式和切割方案。
针对于采后的收集和分类装置进行了总结和归纳。

3.1 抓手结构3.1.1 抓手结构的分类

机械抓手也称为末端执行器,用来完成与目标果实对接和果实采摘动作。
目前主流的采摘抓手可以分为包裹型抓手和夹持型抓手。
它们最大的区别是与作用对象的对接方式不同。
本文将抓手与果实的对接方式称之为仿形结构。
包裹型抓手的作用对象是果实的整个外表面,这种对接方式称之为面仿形,如图1(a)和图1(b)所示。
而夹持型抓手的作用对象通常是果实母枝的某个采摘点,这种对接方式称之为点仿形,如图1(c)和图1(d)。

图 1 包裹型抓手和夹持型抓手

Fig. 1 Face profile gripper and point profile gripper

夹持型抓手主要为切割式采摘,大多为刚性结构。
例如为实现草莓的机械化采摘,史慧文等设计了一种草莓采摘机械手爪。
该手爪上安装有摄像头,使用电机驱动,采用齿轮传动,并采用丝杠控制手指的闭合,具有简单可靠的特点。
包裹型抓手主要是拟人手采摘,其形式非常多样。
传统的包裹型抓手是刚性材料制成的,为避免对果实的损伤,部分抓手还会增加一些缓冲材料。
为解决传统机械抓取草莓时极易损伤果实的问题,Dimeas等设计了一种草莓采摘抓手,对草莓进行了力学分析,并最终确定侧面夹取式为最佳方案。
他还对采摘过程进行了运动学分析,确定了抓手的参数,并采用3D打印技术制造抓手进行试验,这种抓手在刚性材料的基础上增加了缓冲材料,能在一定程度上减少对果实的损伤。

除传统的刚性机械手外,还有许多软体抓手,软体抓手与刚性抓手最大的不同是施力部分完全采用软体材料。
为实现苹果的机械化采摘并减少对果实的损伤,Setiawan等设计了一种气动控制的苹果采摘装置,该装置能在0.4 bar的气压下夹住苹果,且几乎不会对苹果造成损伤。
但是严格而言这种装置是圆柱形的夹具,体积较大且笨重,与理想的末端执行器还有所差距。
作为流体领域的先驱,德国的Festo公司曾设计过一种带有微小吸盘的仿章鱼触手,这种抓手能够适应各种形状的物体表面,在缠绕物体的同时吸附物体的表面,具有很好的自适应性和稳定性。
国内方面,北京软体机器人有限公司与北京航空航天大学合作,曾设计了一款气动抓手,该抓手的手指由硅胶注塑而成,由气动控制弯曲程度,能够快速、准确地抓取苹果、巧克力球,以及手机零件等物体,具有良好的通用性。
除上述软体抓手之外,近年来,科学家还探索了使用其他方式驱动的软体抓手。
Pettersson等设计了一种磁流变机器人抓手并挑选了苹果、胡萝卜和草莓等多种目标进行试验,均没有发现明显损伤。
2015年,Shintake等设计了一种静电软体抓持器,兼顾电吸附、电驱动和自感应功能,可无伤害地夹持水球、生鸡蛋,以及白纸等物品。
Bogue总结了近年来拟人手和软体抓手的发展情况与趋势,指明未来将有越来越多的软体抓手投入商用。
软体抓手将在水果采摘、产品包装,以及零件挑选等领域有重大应用价值。
Liu等设计了一种3D打印的欠驱动水果抓取器,该装置制作方便且具有一定的适应性,能够有效抓取易碎易损伤的目标。

包裹型和夹持型两种抓手结构设计各有利弊:包裹型抓手的作用对象是水果本身,由于水果体积较大、颜色鲜艳,为识别和定位系统的设计带来了很大方便。
但是由于部分果实质地柔软、容易瘀伤的特点,包裹型抓手需要对包裹力进行严格控制,无疑加大了设计的难度,因此这种抓手目前主要应用于较硬水果的采摘。
夹持型抓手主要作用对象是果实的母枝,由于母枝具有纤细、易被遮挡的特点,其定位和识别具有比较高的挑战性。
但由于其不直接作用于果实本身,这种抓手不易对果实造成损伤。

传统包裹型抓手采用刚性材料,很难对包裹力进行控制,且抓手的形状固定,缺乏足够的自适应能力。
近几年软体机器人的不断发展为解决这一问题带来了可能性。
然而,目前软体机器人的设计和控制仍是机械领域的一项前沿课题,这一领域的不断发展将会为水果采摘机械的末端执行器带来更优异的性能。

3.1.2 刚性抓手的设计流程

高质量机械手设计过程应当遵从标准的基于环境的设计范式。
总体而言,刚性抓手的设计流程需要经历需求分析、目标力学特性分析、仿形结构设计、切割方案设计、构型综合、尺寸综合、力学综合、虚拟仿真、材料选择和样机制作几个阶段。
下面对各个阶段分别进行简要介绍。

为保证机械手能够满足设计需要,应当在设计初期进行需求分析。
需求分析指的是通过市场调研的方式确定采摘的对象。
通常需要考虑市场经济需求和设计难度等因素。

为给机械手的结构设计、切割方案和力学综合提供足够的数据引导,需要进行目标力学特征分析。
目标力学特性分析指的是对需要采摘对象的抗压力、抗剪力、抗扭力、表面摩擦力以及果梗的抗拉力、抗剪力、抗扭力进行全面的实验。
由于目前对于生物材料的理论研究仍缺乏系统性研究,该阶段目前仅能通过设计实验完成。

在力学测试完成后,需要确定机械手操作的部位,即仿形结构的设计。
当果梗的强度较低时,应当选择果梗为工作对象,即选择点仿形。
当果实较大且颜色鲜艳便于识别时,应当选择果实为工作对象,即选择面仿形。

仿形结构设计完成后,需要对果实的切割方案进行设计。
当果梗的强度较高而果实的强度较低时,应当使用刀片切割。
当果梗的强度较低而果实的强度较高时,应选用拟人手切割。

切割方案确定后,需要对机械手的结构进行设计,即构型综合。
构型综合包括自由度的选取、驱动器和驱动方式选择、传动链的设计,应当依照操作对象的大小和形状具体分析和设计。
除此之外,当果实表面易伤时,应当选用软体材料或缓冲材料。

为确定机械手具体的尺寸,需要对其进行尺寸综合。
尺寸综合的方法主要是图解法、解析法和实验法。
具体要考虑到机械手的工作范围、灵敏性和大小的合适性。

为保证设计的机械手满足力学要求,需要利用末端动力学方法对机械手进行力学综合。
主要需要考虑机构的传动角、对目标的作用力和表面的摩擦力等。
需要保证既满足工作力需要求,又不能对目标水果造成伤害。
力学综合可以采用解析法和实验法。
对于形状结构复杂的机械手,单纯使用解析法求解已经不太现实,多采用虚拟样机或实体样机实验求解。

机械手的仿真完成后,需要根据仿真结果和有限元计算结果确定机械手的材料,在保证材料强度的情况下,尽可能减小机械手的重量。

选择材料后,需要进行机械手的样机制作,以进行实际实验。

3.2 驱动方式

目前机械手主流的驱动方式包括单一驱动、复合驱动和欠驱动方式等。
其中单一驱动和欠驱动方式在机械手领域应用较多,而复合驱动方式由于其驱动原理复杂,且液压、磁吸等驱动源的特性与采摘机械的要求并不匹配,故很少在果蔬采摘机械手领域应用。

单一驱动主要采用电机为原动件,通过一系列传动链完成驱动。
根据电机的多少,又可分为单电机驱动和多电机驱动。
单电机驱动方式通常需要设计复杂的传动机构,以满足各个部分的运动需求,但复杂的传动链也增加了末端执行器的体积,影响其灵敏度。
为改善传统单一驱动齿轮传动引起的空间占用问题,Xiong等设计了一种线缆驱动的草莓采摘抓手。
这种驱动方式仅仅需要一个多转向伺服电机就能够同时控制三根抓手工作,体积小、质量轻、具有足够的灵巧性,对单个的草莓采摘成功率高达96.8%,但实地采摘成功率仅有53.6%。
多电机驱动方式通常需要安装多个电机,同时控制多个电机为控制系统的设计带来了挑战,但同时使得机构能够完成更加复杂的运动。
由于其控制复杂,且增加末端执行器的重量,这种方案在采摘末端执行器领域很少被采用。

相较于单一驱动方式,欠驱动是一种更加新兴的驱动方式。
为提高机构的自适应性,欠驱动机构的传动链的自由度数多于原动机的驱动自由度数,从而使得抓手能够根据果实复杂的表面形状进行一系列调整。
为了减少采摘过程中对果实的损伤,Davidson和Mo设计了一种欠驱动末端执行器,并进行了动力学、静力学分析,讨论了其控制方法。
Sakai等设计了一种线性二次型(Linear Quadratic Control,LQ)控制的欠驱动物料搬运农业机器人,能够完成西瓜的采摘,且具有很好的鲁棒性。

总而言之,目前采摘机械手相对主流的驱动方式是单一驱动方式。
相比于单一驱动方案,欠驱动方式是一种新兴的驱动方式。
由于欠驱动的自由度数少于机构的总自由度数,该机构通常具有较强的自适应性,能够应对果实复杂的形状。
也正因为这样的特点,欠驱动机械手将成为未来比较有潜力的发展方向。

3.3 切割方案

目前主流的切割方案可以分为刀片切割和拟人手切割两种方式。
刀片切割是直接使用刀片切断果梗或母枝,而拟人手切割通常是先对果实进行紧密固定,再通过撕扯、旋扭的方式切断果梗,从而达到采摘的目的。

为解决目前大多数收获机器人切削工具沉重、昂贵的问题,Jia等设计了一种多功能集成夹持器与切割器。
该切割器设计有平行的双层结构,内层为剪刀而外层为夹具,能够在切断果梗后夹住果梗,以便果实的装箱入库,可以采摘苹果、葡萄、樱桃、西红柿等多种果实,平均每次采摘需37 s,成功率几乎达到100%,且具有重量轻、成本低的特点。
为开发一款高效、精准的甜椒采摘设备,Bachche等设计了一种由单电机驱动、齿轮传动的切割与夹取设备,并进行了有限元仿真,验证了该设备的可靠性。
实际制作的样机对于没有叶片的甜椒和带叶片的甜椒能够轻易地完成采摘,对于部分重叠的甜椒和与叶片重叠的甜椒,该设备偶尔会出现采摘失败的情况。

除刀片切割和拟人手切割两种主流的方式外,少数学者还研制了抽吸式的抓取工具。
这种工具采用气泵连接管道和末端执行器,由管道中的负压将目标从树上吸下,达到采摘的目的。
2017年,为实现山地贡菊的机械化采摘,姬长英等设计了一种梳割气吸一体式贡菊采摘机。
该机械利用采摘梳齿与分花齿之间的相对运动,将目标花朵从花托处碰撞拉断,并使用负风压机将花朵运送到集花箱,采摘率能够达到90%左右,漏摘率可控制在5%以内。

总体而言,刀片切割和拟人手切割两种方式各有利弊。
刀片切割具有简单、快速、高效的特点。
它仅需要对果实进行简单的夹持和固定,便可以对果梗进行切割和分离。
相比之下,拟人手采摘机械通常需要对果实进行紧密包裹以保证拉动力、撕扯力或扭断力,而紧密包裹的包裹力通常难以控制,容易对果实造成表面瘀伤或损伤。
但刀片切割容易造成植物伤口,为植物染病患病留下隐患,且刀片容易被酸性的果实汁液腐蚀,需要频繁更换,从而增加人力、物力和时间成本。
相比于以上两种切割方案,抽吸式方案是一种更加柔和的摘取方式。
但是对于果实表面凹凸不平的目标,装置的气密性往往存在问题,使得采摘的负压难以产生。
除此之外,负压的大小也是控制的一大难点。
目前这种装置仅仅能够应用于花朵一类质量较小的目标,而对于质量较大的果实很难应用。
这种弊端也使得抽吸式采摘装置的应用远远不及其他两种切割方案。

3.4 果蔬收集机构

收集机构可以分为缓冲收集机构和入库收集机构。
它们的容量差别很大,也具有不同的作用。
缓冲收集机构是为提升采摘连续性而设计的,它通常位于末端执行器内部或附近,其容量能够容纳数个果实。
2019年,Xiong等在用于草莓采摘的机械手中设计了内置暂存式容器,根据草莓果实的大小,该容器可以容纳7~12个草莓。
这种容器的设计使得机械手可以连续采摘数个草莓,待到缓冲容器满后,将缓冲容器内的果实清空至入库收集机构,再重新开始新一轮的采摘。

入库收集机构是为下一步检测做准备的,它的容量和重量通常较大,因此一般位于采摘机器人的底部。
例如Davidson等设计了一种风道式归仓收集机构导引果实直接进入收储容器。

3.5 检测与分类机构

为实现已采摘果实的自动化分类,目前主要有基于硬件和基于软件的两种检测方案。
基于硬件的检测方案使用机械机构,利用果实的质量、惯性、重心、大小等物理特征,对果实完成筛选工作。
而基于软件的检测系统通常基于视觉系统对果实的外观进行判断(将在4.4节中详述)。

Karis等提出了一种基于图像增强、形态学和颜色空间转换的水果分类方法,并对影响算法精度的因素进行了分析。
Patil等设计了一种机器视觉的水果分级方法,并将算法部署在Arduino控制器上,其便携性和经济性使得该算法能够很容易地被广大农民所使用。
Chithra和Henila[96]提出了一种利用阈值和面积算法对苹果进行分级的方法——全局阈值算法(Global Thresholding Algorithm,GTA),准确率达到96.67%,超过Kapur算法和Otsu算法。
2019年,Nasiri等设计了一种基于深度学习的枣类筛选算法,能够达到96.98%的准确率。
Dewi等设计了一种果实分拣机器人。
该机器人基于果实的颜色和尺寸信息完成果实分拣。
可对番茄和葡萄两种果实完成分拣任务,且耗时均在10 s左右。

仅使用机械结构进行分类在其他领域已有所应用(例如医院使用离心机对血液分类,银行使用机械对硬币进行分类),但用于果实分类的较少。
这主要是由于果实的形状不规则,且个体之间差异较大,不易使用统一模板完成分类。
除此之外,果实的质量较大且容易瘀伤,使用离心技术进行分类也不可行。
因此,大量的分级机器仍基于视觉技术完成分类。

4 采摘控制方案

按照机器人的自动化程度,目前已研发出的采摘机器人有半自动采摘机器人(又称为采摘辅助装置)和全自动采摘机器人两种。
全自动采摘机器人应当能够自主完成果实识别、果实成熟度判断、果实定位、采摘路径导航、采摘顺序规划、采摘动作执行、果实收集、果实品种筛选、果实自动装箱入库等一系列动作。
而半自动采摘机器人(采摘辅助装置)仅能自主完成上述的某一项或某几项任务,其他任务需要工人辅助完成或者人工完成。
目前所研发出的采摘机器人大部分是采摘辅助装置。
国内外学者在全自动采摘机器人方面虽有所探索,但是由于采摘过程的复杂度过大,全自动采摘机械暂时难以获得非常好的作业效果。

决定采摘机器人自动化程度主要因素是控制系统的设计。
为使得采摘机械更加自动化、智能化,国内外学者在如下几个方面做了很多探索。

4.1 总体控制方案

对于一台全自主采摘机器人而言,其控制系统主要由感知信息、认知与响应、产生决策结果三个阶段组成,如图2所示。
所感知的信息包括深度/距离信息、位置/定位信息、视觉/多光谱信息、物理/生物信息;认知与响应阶段主要包括环境重建、目标识别定位、作业协调与优化、选择性(变量)作业评估、知识推理、知识图谱构建、控制模型切换;产生决策结果阶段包括产生环境地图、产生目标3D坐标集、产生作业路径和作业参数、产生控制序列、模型库更新和控制策略更新。

图 2 采摘机器人的总体控制框架

Fig. 2 Overall controller framework of the picking robot

为使苹果采摘更简单高效,顾宝兴设计了一种智能移动的苹果采摘机器人。
该机器人的控制系统主要由上位机、下位机、传感器系统和软件系统组成。
上位机采用研华IPC610-H型工控机,下位机控制器包括机械臂控制器、末端执行器控制器及移动平台控制器,传感器系统主要由双目摄像机、全球定位系统、力传感器和滑觉传感器等组成。
该机械能够完成图像采集、视觉定位、路径规划、位姿规划,以及末端控制等功能。

虽然目前主流的控制方案是视觉伺服控制,但是也有学者采用了其他种类的控制方案,例如Xiong等在机械手夹具里设置了三个红外传感器,采集的信息能够为控制系统提供反馈,从而提高采摘的成功率。
这种控制方案既能够提高处理速度、避免采摘过程中果实的相互碰撞,也能验证采摘过程的成功与失败。

由此可见,在视觉控制方案的基础上,结合其他控制方法,将有助于提高机器人的感知能力,也将提升机器人的环境自适应能力和控制系统的鲁棒性。

4.2 识别定位方法4.2.1 基于特征提取的方法

为提高工作效率以及为采摘机械提供作业目标的位置信息,需要对果实进行识别和定位。
果实的识别指的是判断所采集的图像中是否存在果实,传统的方法是通过判断目标图像是否能够分割出果实区域而实现这一目标的。
果实的定位指的是获取果实的位置信息,一般用包围盒(Bounding Box)或果实的质心等特征作为定位结果输出。
目前,国内外的各位学者主要利用果实独特的颜色(颜色阈值分割)和外形特征(形态学检测)完成果实的识别和定位任务。

在果实颜色与其他部分差别明显时,颜色分割法通常能够对果实区域完成分割,并得到果实的边界轮廓。
利用这个边界轮廓,便很容易得到Bounding Box并完成果实的定位。
但是颜色阈值分割法仅对果实颜色特征进行了提取而缺少对果实形状特征的描述,因此该方法针对相互重叠遮挡的多个果实通常提取效果比较一般。

为在形状方面描述果实的特征,以及恢复被遮挡果实的形状,学者们提出了形态学检测的方法。
2018年,为解决传统机器人使用Hough变换识别类球状果实耗时长、准确率低的问题,初广丽等提出了一种基于最小二乘法的圆检测算法,平均处理时间为53.548 ms,且准确率达95%以上。
但算法没有对密集生长的果实进行测试,且仅仅针对类圆形果实,具有一定局限性。

除此之外,还有学者提出过基于纹理和混合特征的检测方法。
为估计树上苹果的直径与数量,Stajnko等设计了一种基于颜色和纹理特征分割苹果,并使用圆形Hough变换拟合苹果形状的算法。
该算法选用两个特征检测候选区域的交集作为检测结果,最大限度地降低了检测的错误率。
经测试,该算法的水果检测准确率为89%,总误差率为2.2%。

虽然学者们对颜色、形状、纹理等特征已有多年的研究,且取得了一定成果,但这些特征都属于低级特征。
随着研究的深入,设计师们发现,仅仅依靠这些低级特征易引起以下几个方面的问题。

(1)容易受光照影响。
上面多篇文献提到,使用颜色阈值分割方法进行图像分割,当光源变化较大时,结果极易受到干扰,引起分割精度下降或者出现错误。

(2)拟合精度有限。
果实的形状各不相同且并不规则,形状拟合法对部分形状较为规则的果实效果较好,但对于茄子、黄瓜等形状较为特殊的果实难以起到良好的效果。

(3)对复杂场景的处理能力有限。
传统方法在果实孤立、背景简单的情况下表现出了优异的能力,且具有较高的实时性。
但在果实排列密集、枝叶繁茂、相互遮挡情况严重的情况下,传统方法往往性能下降甚至失灵。

(4)专用性较强。
传统果实的识别、定位算法往往是对某一种果实专门设计的,难以直接应用在其他种类的果实上。
且需要设计者反复调节模型参数以应对复杂多变的情况。

4.2.2 基于深度学习的方法

为解决以上问题,国内外学者尝试使用深度学习方法完成果实的检测、识别、定位、分割等任务。
深度神经网络(Deep Neural Networks,DNN)方法凭借其强大的特征提取能力和自主学习能力被广泛应用于农作物目标检测。
与传统算法相比,神经网络模型能够提取出图像的隐性特征(无明显实际含义的特征),并通过自我学习和迭代得出划分的依据。
Sa等受Faster R-CNN启发,研发了一种基于深度学习的水果检测算法,通过同时从RGB图像和红外图像中提取特征,实现了甜椒等7种果蔬检测,该算法的召回率为0.838。
傅隆生等则基于LeNet卷积神经网络识别多簇生长的猕猴桃,在速度与准确性方面均超越了传统方法。
Rahnemoonfar和Sheppard基于Inception-ResNet架构搭建了一个CNN模型用于计算水果的数量。
周云成等对VGGNet进行优化,对番茄的主要器官如茎、花和果实分别识别。
Stein等设计了一种芒果果实检测、定位和产量估算的网络。
该网络使用R-CNN检测水果,使用LiDAR组件将检测到的水果与对应的树相关联。
在此基础上,该算法可以完成果树产量的统计,对单棵树的统计错误率为1.36%。
Khan等[118]提出了一种称为相关系数和深层特征(Correlation Coefficient and Deep Features,CCDF)的水果作物病害自动识别和分割系统,分类准确率为98.60%。

4.2.3 深度学习方法的局限性

从上述实例可见,深度学习方法在计算机视觉领域应用比较广泛的是卷积神经网络。
卷积神经网络不仅能提取低级特征,还能够提取很多人类无法直观理解的高级特征,故相比于传统方法,深度学习方法具有更好的鲁棒性、更高的准确性,且模型参数大多为算法自动学习得到,尤其是传统人为设计的特征工程由网络自动学习完成,需要人工干预的部分较少,同时也降低了使用者的技术门槛。
在采摘机器人领域,深度学习应用较为广泛的是基于图像的果实识别、定位与语义分割技术,而对于植物的其他部分鲜有涉及。
目前,影响深度学习在采摘机械领域应用的因素包括以下方面。

(1)需要的数据量较大,缺乏图像标准库。
目前主流的基于深度学习的图像处理方式是强监督学习方式,需要大量的训练数据来训练模型的参数。
在计算机视觉任务中,对于图像分类任务有ImageNet等标准库,街景图像分割有Cityscapes等数据集,而农业场景缺乏大量带标签的数据,难以评判各种算法的优劣性。
建立标准的图像数据库将会对上述问题有较大改善。

(2)场景复杂度较高。
植株密集程度高、相互遮挡情况严重是农业场景的一大特点,也是影响果实定位和识别的主要因素之一。
相比于传统方法,深度学习方法的引进虽然一定程度上缓解了这个问题,但是对于复杂场景的性能仍有提升的空间。
如何提高密集遮挡情况下的果实识别与定位的准确率将是未来采摘机器人视觉控制的研究重点之一。

(3)图像标注成本高。
用于视觉控制的图像样本通常是农田的实景图片,其实例个数多、场景复杂度高,对于目标检测定位、语义分割,以及实例分割任务而言仅靠手工标注难度较大,且耗费大量的人力物力。
随着半监督学习或非监督学习方法的发展,这一问题将有所改善。

(4)存在实时性问题。
卷积神经网络的参数量较大,其计算量较大,对于设备的计算能力要求很高。
如何在保证设备体积较小的情况下同时提高计算的实时性,仍是目前亟待解决的一大问题。
人工智能算法在嵌入式设备领域的应用将是未来研究的热点之一。

(5)网络训练成本高。
从完全随机的初始化参数开始训练网络将耗费大量的时间和计算力。
为解决这个问题,设计者通常使用经过预训练的网络进行再次训练(例如迁移学习技术和fine-tune技术)。
虽然一定程度上减少了网络训练的时间,但是由于反向传播算法在速度、内存占用上的劣势,以及容易引起梯度消失、梯度爆炸的问题,网络的训练并不是非常简单。
为解决反向传播所带来的一系列问题,Kurt[119]提出了一种网络训练的希尔伯特·施密特独立准则(Hilbert-Schmidt Independence Criterion,HSIC),并在MNIST和CIFAR10数据集上对含有5个卷积残差块的ResNet进行训练,得到其训练速度和准确率均高于反向传播算法。
更多类似算法的提出将有助于降低网络的训练成本。

(6)网络结构仍有提升的空间。
近几年,深度卷积神经网络依靠结构的不断改进,其性能有很大提升。
但试验发现,CNN对于结构之间的相关关系、结构的方向性辨别能力十分有限,这使得视觉系统对于正常生长的植株与堆砌的植株残骸缺乏辨别力。
CapsNet网络更改了传统CNN的结构,为解决网络辨别能力差的问题提供了可能性。
随着神经网络的不断发展,网络结构性能还有很大的提升空间。

(7)仍有一定的专业门槛。
深度学习网络通常需要不断调节参数以最大化性能。
目前虽有Adam等几乎无需手动调参的优化器,但在训练进行一段时间后,Adam优化器的效果不及合理手动调参的随机梯度下降(Stochastic Gradient Descent,SGD)优化器。
除此之外,模型和超参数的选择也需要一定的专业门槛,限制了深度学习的应用。
自动机器学习(Auto Machine Learning,AML)技术的不断发展将有助于进一步降低深度学习应用技术门槛。

除基于二维图像的视觉技术之外,还有部分学者尝试使用三维立体视觉技术完成目标的识别和定位。
为识别仅部分可见的苹果和果实簇中的苹果,Silwal等[120]使用RGBD相机,结合全局相机和眼手协同控制系统,结合颜色特征和3D点云对水果进行识别和定位。
将苹果果实进行人工分散后,对193个水果识别准确率达到100%。
为有效指导番茄采摘避障路径规划,熊龙烨等[121]利用Kinect v2获取柑橘树的彩色图像与深度图像,设计了自然场景下利用泊松曲面柑橘树的三维重建以及利用颜色信息对成熟柑橘进行识别的方法,对柑橘树重建的精度达到94.83%,成熟番茄的识别率达到94.72%。

受限于成本和计算性能,二维视觉仍然是目前主流的识别和定位方式。
除此之外,深度学习技术在三维视觉领域虽有所突破,如Li等[122]提出了三维深度学习的Point-CNN网络结构,但远没有深度学习在二维图像的应用更加成熟,受制于算法和设备计算能力,所能完成的任务也比较局限。
随着计算机性能的不断提升、三维视觉设备成本的不断下降以及三维深度学习技术的不断发展,未来基于三维立体视觉的深度学习技术将很有可能成为新兴的主流视觉方案。

4.3 避障方法

对许多机器人系统来说,避障是一项至关重要的任务。
由于农业采摘环境复杂,果实分布在枝条、叶片和枝干之间,某些作物种类的果实挨叠生长,如西红柿、苹果等。
当识别定位系统对果实以及周围障碍物进行识别、定位后,还需要对末端执行器进行避障规划才能成功抓取果实。
为在复杂环境的农业采摘果蔬,国内外学者提出了许多方法和策略,来解决不确定环境和动态障碍环境下多自由度机器人作业的避障路径,主要可分为基于网格的方法、基于势场的方法、基于采样的方法,以及智能算法四个类别]。

在基于网格的方法中,作业环境被映射为网格组。
网格组中的每个单元格都代表了环境中某一元素的位置,例如障碍、目标物或空旷区域的位置。
对于移动机器人或空中机器人,环境被映射为二维或三维的网格组。
图搜索法(如Johnson、Hart等、Stentz等)被用于在网格组中搜索一条路径以连接初始位置的单元格与代表目标位置的单元格。
然而,图搜索法多用于对移动机器人的导航,如农业地面机器人导航,对于多自由度机械臂的路径规划,环境需要被映射到关节空间中的网格组。
由于关节空间维数较高,基于网格方法的计算成本将大幅增加。

在基于势场的方法中,Khati最先提出了基于人工势场的路径规划算法,通过在目标点和障碍物处分别施加抽象的吸引力和排斥力来引导路径前进方向。
Gai等使用人工势场进行六自由度机器人避障路径规划。
Rasekhipour等实现了基于人工势场的车辆避障规划控制。
然而,人工势场法的致命缺陷为容易陷入局部最优,导致无法到达目标点。

在基于采样的方法中,Kuffner和Lavelle提出的基于随机采样的快速探索随机树(Rapidly-exploration Random Tree,RRT)算法已广泛应用于复杂环境中的高维机器人操纵器的动态路径规划。
在RRT算法基础上发展了多种改良算法,例如Karaman和Frazzoli提出的RRT算法,使用最佳邻近搜索和树重构以提高路径的质量,Islam等提出的RRT-Smart等算法使用智能采样和路径优化来提高收敛速度。
Wei和Ren提出了一种基于改进的RRT算法的机器人操纵器自主避障动态路径规划方法。
Han和Liu[137]应用RRT算法实现了六自由度机械手的避障路径规划。
然而,基于采样的方法并不保证一定能够成功。
在复杂场景中,受限于随机采样的不确定性,基于采样的方法有较大几率失效。

在智能算法中,遗传算法、粒子群算法、蚁群算法和人工神经网络等受自然启发的智能算法是在早期文献中经常提到的研究方法,同时也被证明能够在机器人路径规划中获得良好效果。
Mac等详细介绍了上述自然启发型路径规划方法的文献。

近年来,随着深度学习的发展,深度强化学习(Deep Reinforcement Learning,DRL)成为避障规划算法研究领域的热点。
Chiang等将RL与RRT算法结合,设计了更加高效的路径规划器。
James和Johns基于Q学习(Q-Learning)在3D仿真中控制机器人抓取,利用深度学习,将图像作为位移输入,并经过适当的设置最后输出用于定位和抓取立方体任务的电机动作。
虽然仿真具有可扩展性,但现实环境的复杂环境会为机器人成功抓取物体造成不可预知的障碍,在果蔬采摘领域鲜有实际应用。

为解决强化学习在果蔬采摘机械手控制领域的应用困难,有学者提出了示教与学习相结合的控制方法。
Vecerik等设计了一种通用无模型的强化学习算法。
该过程由人工控制的机器人进行示教,利用深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法完成演示,以替代传统的奖励机制。
但这种方法仍在初期研究阶段,虽对使用强化学习解决复杂的机械手连续作业行为决策问题有所帮助和指导,仍难以应对多变的环境。

此外,在果蔬采摘的一些实际应用中,为使机械手在甜椒收获过程中避免与植物茎碰撞,Bac等提出了使用支撑线作为视觉提示的甜椒植物茎的定位。
为进行无损葡萄收获,Luo等在葡萄簇的花梗上定位切割点空间坐标,并确定葡萄簇的边界体积,从而完成末端执行器的路径规划。
Luo等使用的三维模型解决了黄瓜采摘机器人和茎之间的碰撞问题,但碰撞计算量非常大。
为解决番茄采摘过程中轨迹规划的快速性和精确性问题,波兰的Boryga提出了一种规划直线弧多项式轨迹方法(Planning Rectilinear-Arc Polynomial Trajectory,PR-APT),规划的路径由直线段和弧组成,保证了位移、速度、切向加速度的连续性,快速而有效。

目前,采摘末端执行器的避障算法真正应用的并不多。
这主要是由于目前的识别与定位系统性能有限,难以处理被遮挡和密集的果实,使得避障系统发挥作用的空间十分有限。
随着后续识别与定位系统的不断提升,末端执行器的避障将会成为一项非常重要的研究领域。
随着相关算法在自动控制领域的发展,强化学习将有望进入采摘机器人控制领域。

4.4 采后品质分类方法

前文所述仅使用机械结构对果实进行分类,此处所述的分类为结合控制系统完成果实品质分类。
对于果实品牌公司而言,通常需要设计不同层次的产品满足不同等级的市场需求。
果实采摘完毕需要依照果实的品质对果实进行分级。
传统的品质分级是依靠工人对果实的颜色、外观质地进行视觉、触觉、听觉上的考察,依照这些信息进行分级。
人工分级往往费时费力,且不同检验员的标准不一,容易造成误分的现象,从而影响产品整体质量。
为解决产品分级耗时、费力的问题,国内外学者进行了探索。
例如,Guo等设计了一种基于直方图匹配的草莓果实形状判别算法,通过计算待检测草莓的直方图与标准形状草莓的直方图之间的相似性判断目标草莓的形状是否正常,能够达到90%以上的准确率。

目前主流的采后品质分类是基于视觉的分类方案。
这主要是由于图像数据具有容易获取、包含信息量大的特点。
这些算法一定程度上达到了比较好的效果,但是受制于视觉技术的瓶颈,其准确率仍有进步的空间。
相比之下,由于声音信号的处理和获取具有难度,模仿人类手段对果实进行分类的案例很少。
例如江南大学汪迪松等曾使用击拍声判别西瓜的成熟度,研究过声振与西瓜含糖量的关系。
随着技术的发展,将这些信息结合起来,与图像信息一同作为分类依据,将有可能对分类准确率进一步提高。

4.5 人机交互与多机协作

受制于作业能力,单个机器人在水果采摘方面的效率和工作强度都有限。
为提升采摘工作整体的效率,需要多台机器人一同协作进行工作。
理想状态下,果园中的机器人应当能够相互交互信息和相互协作,达到互利共赢。
目前在协作方面仅仅能够实现工人与机器人的相互辅助,因此需要研究人机交互设计。

Ceres等设计了一种由工人驾驶操作的采摘机器原型。
在操作员的驾驶下,该机器能够自动检测水果并定位,规划采摘顺序并分离水果。
这种机器人是一种采摘辅助装置,虽然能够达到高于纯人工采摘的效率,但仍需要工人完成操作,从而增加了采摘的成本消耗。
Zhao等设计了一种大棚番茄采摘机器人。
该机器人需要操作人员在图形用户界面中对目标番茄进行标记,从而完成识别和定位工作。
该机器人的交互界面能够交互操作员的命令和显示机器人的运行状态,以帮助操作员进行状态监控。
Huang和Mutlu设计了一种预测控制方法,使得机器人能够预测控制者的意图,从而提高响应速度和交互效率。
Adamides等评估了屏幕输出类型、视图数量和机器人输入设备三方面因素对葡萄园机器人交互效率的影响。
2019年,Vasconez针对农业领域的人机交互问题做出了综述,指出农业中的事故大多是由于碰撞或认为错误引起的,因此设计人机交互系统将有效降低事故率。
虽然目前在农业中利用交互的道路仍然很长,但这些技术将在未来带来可观的生产率和经济效益。

在多机协作方面,Arguenon提出一种多智能体的农业机器人原型,提出了针对每个机器人的行为、交互作用以及一些用于系统测试的方案,能够一定程度上提高农业机器人协作的效率。
除此之外,关于多机协作的理论研究虽有所进展,但将其应用于农业采摘的案例较少。

可见,目前机器人与人类的相互协作虽已有一些应用,但仍需大量的人工操作,效率仍不够理想,无法达到大大提升工作质量的要求,相关技术也并不够成熟。
而多机协作方面,由于单个机器人的成本和性能都不够理想,多机协作相关的研究也比较有限,目前仍处于理论研究阶段。
随着单个采摘机器人能力的发展和不断提升,未来对人机交互、多机协作的研究将成为热点。

5 未来发展趋势

本文从采收对象和场景、采摘机械结构、采摘控制方案等方面,系统地综述了选择性采收机器人末端执行器设计与控制问题,重点提出并分析了可采性评价、基于强化学习的抓取控制等问题的挑战及解决思路。
总体趋势上,采摘机器人从以往的采摘辅助设备向自动采摘设备方向发展,并会在将来向智能化、集群化方向发展,未来需要从以下方面实现突破。

(1)采收对象和采收场景。
加深对采摘对象生物力学特性的研究,开发新型场景复杂度分析算法,实现机械手的作业能力向多场景多作物种类通用方向发展。

(2)机械设计。
研究适用于采摘的先进材料属性,研制更多应用于采摘过程的微型传感器、执行器和软体机械,实现采摘机械手高承重、耐久、灵巧和高效的结构本体设计。

(3)自动控制。
研究基于数据驱动的识别、定位、避障和人机协作方法,开发适用于选择性采收场景的灵巧末端控制算法,逐步实现强适应性高效自主采收。

(4)作业效能评价。
研究采摘机械手作业性能的系统性评价方法,建立采摘作业统一的评价指标,为将来采摘机械的系统化发展提供理论指导意义。

针对农业采摘机械手系统作业环境复杂、目标物多变、对象易损问题,研究灵巧末端构效规律、作业损伤机理、新型材料农业场景适用属性、高通用性设计方法,开发高效作业嵌入式自适应控制系统,优化机器人系统“手-眼-脚”协调模式,实现高效、通用、低损作业。

作者:吴剑桥、 范圣哲、贡亮、 苑进、周强、刘成良

来源:智慧农业

(内容版权归原作者所有,如有侵权请立即与我们联系,我们将及时处理)

标签:

相关文章

共创未来,共筑梦想_解读钉钉共创协议

随着信息技术的飞速发展,企业数字化转型已成为必然趋势。在这个背景下,钉钉作为一款企业级通讯及办公平台,于近日发布了共创协议,旨在构...

软件优化 2024-12-30 阅读0 评论0

关系差,剖析人际关系中的微妙失衡

关系差,这个看似简单的词语,却蕴含着人际交往中的微妙失衡。在日常生活中,我们无时无刻不在与他人建立和维持关系,而关系差往往成为人际...

软件优化 2024-12-30 阅读0 评论0

打造两大商圈(三期地铁规划商业商圈)

近日,咸阳市则发布关于《咸阳市地铁1号线三期轨道站点周边交通组织及商业空间规划》公示并征求意见的公告,为这条跨市地铁的未来给出全新...

软件优化 2024-12-30 阅读979 评论0

协议源码,构建数字世界的基石与未来

随着互联网技术的飞速发展,协议源码已成为构建数字世界的重要基石。在信息技术日新月异的今天,协议源码不仅关乎网络通信的顺畅,更影响着...

软件优化 2024-12-30 阅读1 评论0

初探IT渗透,入门指南与方法介绍

在信息时代,网络安全的重要性日益凸显。IT渗透测试作为一种重要的安全评估手段,越来越受到企业和个人的关注。对于初学者而言,了解IT...

软件优化 2024-12-30 阅读1 评论0