因为是公开课,所以主要介绍机器人与人工智能系统实训和实操课程的一些内容。那么接下来大家会学习哪些内容呢?为了解释这个问题,我们来看一个视频。手势控制,这是前进,这是停止,这是后退,前进,播放可能,播放郭富城,播放郭富城,你叫什么名字,我叫alex,你几岁了,我二十五岁,房子的英文单词怎么说?的。
看完这个视频你有什么感想?有哪些话题是你想保留的?第一,机器是怎么运动的?第二,手势控制、追踪、神经网络之间有什么联系?语音控制又是怎么控制的?如何部署?你还有其他问题吗?课后也可以继续交流。
这三部分怎么才能学好?涉及到哪些知识层面?再往下,需要学习一些架构,包括硬件架构,软件架构,然后填入打粉代码。这个机器是我自己开发的,自己写的这种打粉代码也很多,所以鼓励大家好好学。

先说硬件架构,大家回头看这个视频,硬件架构首先会有一个主机,主机会有它的外观,首先会有一个外壳,有轮子,有摄像头,还有摄像头的支撑杆。当然这个是自己设计定制的,如果有一天同学们有兴趣,也可以自己设计外观,然后重写改一下,这些都是有可能的。
这个机器里面包含什么?包含什么硬件?它们之间是怎么交互的?我们回到PPT,首先会有一个非常重要的LOS host,也就是主机,主机一般会用到工控主板或者NVIDIA主板。
主板除了运行神经网络,还有麦克风、摄像头、扬声器,用于通话,摄像头主要用来识别一些特征,如果以后想用激光雷达导航的话,可以接上去。
接下来我们需要驱动它,这里还有一块电机驱动板,电机驱动板可以通过这块板子接上电机,让电机运转起来,让机器动起来。其实还可以接上超声波模块,用来避障,imu模块可以监测机器人的未知情况。
这个是一般的硬件架构,除了硬件架构之外,还有软件架构,软件架构首先讲操作系统,比如我们平时用的电脑都是用Windows操作系统,我们这里用的是Linux操作系统,Linux现在用的Ubantu操作系统,现在用Ubantu的人会越来越多,Linux也会越来越成为大家日常生活的一部分。
另外还有手机的操作系统,它的底层也是基于Linux开发的,说完了这个操作系统,我们再来说说Rose,Rose在机房里被称为机器人操作系统,是一个非常重要的底层系统,现在很多机器人的底层都叫Rose。
除了Rose,还会写很多代码。现在基本上很多代码都是用片粉写的,所以同学们也要了解片粉。还有张量流。张量流是人工智能神经网络中非常重要的底层架构,后面我们会学习。
先说说open cv,open cv是什么,有什么作用?open cv是机器人视觉系统,我们再看视频,摄像头不断识别这个特征,这个特征经过open cv处理,open cv输出想要的内容,这个就是open cv做的摄像头氛围特征。
通过open cv处理之后输出相关内容,通过tension flow把python写的代码输出到对应的lose进行处理。我们再看看,信息通过rose发送给夏维琪,发送给夏维琪之后控制机器前进后退。整个软件架构从左到右就是这样硬拼出来的。
所以接下来我们要讲的几个方面是Linux、loss、轮胎粉、神经网络、视觉系统。看上去很难,也确实很难,但是经过半年的学习,一层层剥开,你会慢慢对它有很深的理解,不用担心,你会慢慢掌握软件架构的。
除了软件架构之外,机器人与机器的对话也是很重要的一部分,人机对话也叫语音对话,一般称之为NLP。
NLP 的硬编码流程是什么呢?首先很多公司都在开发语音对话,比如中国的科大讯飞和百度也推出了一个叫飞疆的系统,小米也开发了一个使用 Cody 的系统,Google 也有自己的语音处理。
现在我们来看看这个过程。首先说一句话,输入一个语音。这个语音被语音识别器(称为 SR)识别。SR 识别出语音音频后,会输出一段文字。看右边的视频。这里输入了一个名为“你多大了”的语音输入。被 ASR 识别后,会输出“你多大了”这段文字。
这个怎么按呢?先生成一个音频文件,然后通过sr生成how old are you,生成完how old之后再输出文字,这个过程就是speech-to-text,也就是所谓的sr。
语音输入之后,输出的是你好吗。计算机需要理解你好吗的意思,通过语音表达出语境,然后处理对话,输出一段文字。这里输出的是i am twenty five years o。
文字输出之后,需要经过一个叫tmts的文本转语音程序,然后读出来,这样就形成了一个完整的对话系统。
将来这门课程会教你如何部署整个NLP对话,这将是未来人工智能和机器人非常重要的一部分。虽然现在还有很多这样的缺陷,但是随着世界各地的科学家都在逐步完善它,特别是在GDP诞生之后,它在这个领域非常强大。Truck GTP基本上介绍了这个领域要学的东西。
接下来的问题就是如何学好这门课程?要写好这门课程,首先要充分利用这个机器。只要你有这个机器,它就是真实的,你输入任何代码,都可以立即显示相应的输出结果。如果里面没有机器,不是说你没有机会输入代码,但是如果你输入了代码,没有相应的输出,你的学习就打了水漂。一定要充分利用视频里的机器,这样会让你学得很快。这门课程要抱着好玩的心态去学,边玩边学,在学习的过程中,你会越来越感兴趣。
特别是在敲代码的时候,有时候想要实现减法的功能,那应该怎么实现呢?就用这种玩玩的心态,然后把破法代码输入进去,想要的效果就呈现出来了,这样写起来就会事半功倍。
机器是我们自己开发定制的,很多代码都是我们自己写的,所以代码比较多。这里举个例子,大家看视频吧,视频是讲手势控制的。手势控制具体是怎么实现的?这是整个手势操作的大部分代码,看起来很复杂,其实也不多。
总体来说,就像刚才视频里看到的,机器可以前进,左转,停止,后退,其实就是靠这些编码器来控制的,所以其实不难,只要你肯看懂命令,就够强的了。
详细来说,这个命令其实就是通过camera和open cv来传输手势,通过算法判断手指的形状,然后决定是向前,向左,还是停止。所以有了这些代码,大家很快就能掌握。
另外就是要跟学生、老师一起商量,创造这样的氛围,有这样的氛围,大家学的就会快,学的就会容易。
接下来我们来说说如何与机器人相处。目前全球的机器人还存在一些不完善的地方,可以说很多不完善的地方都需要与机器人相处来解决。首先需要熟悉这个架构,相处一段时间之后,相信大家对这个架构一定非常熟悉了。熟悉了这个架构之后,写一些相关的代码,或者从修改代码开始。
比如手势控制,你可以随时改变。从修改代码开始,修改完代码你就熟悉了。通过熟悉架构和修改代码,你一定会发现机器人领域很多不足。当你发现不足的时候,关注全球技术的发展,选择一个你感兴趣的领域,自己修改。
我相信经过半年的架构代码学习,你们就有了关注这门技术的基础,通过手工修改,也许有一天就能做出一个产品,或者一个新的方向。这一切都是有可能的,毕竟全球的科学家都在不断努力优化机器人目前的不足,相信这门课程能打下很好的基础。
学完这门课,并不是课程的结束,而是一个新的开始。众所周知,现在的世界很拥挤,学“中午锄地”这种东西实在是太简单了。我们应该从一个新的方向开始,面向未来。人工智能机器人现在正如火如荼地发展,就像电脑和互联网进入家庭一样。所以大家要好好参加这门课,好好写,对以后的学习和工作一定会有很大的帮助。
我们需要充分利用当今的机器人和人工智能作为工具。
谢谢大家。