优傲机械臂——机械臂智能抓取都涉及了哪些技术？

机械臂抓取需求确认每段机械臂的位姿

　　首先，机械臂需求视觉伺服体系，来确认物体的方位，依据结尾履行器（手）和视觉传感器（眼）的相对方位，可分为Eye-to-Hand和Eye-in-Hand两种体系。

　　Eye-to-Hand的分离式分布，视界固定不变，如果相机的标定精度高的话，那么视觉定位于抓取的精度也越高。

　　Eye-in-Hand则将机械臂与视觉传感器固定在一起，视界随机械臂的移动而改动，传感器越近时精度越高，但过于靠近时则或许使方针超出视界规模。

　　精细的视觉体系与灵活机械臂的配合，才能完成一次完美的抓取，而这正是当时机器人操作中的中心难题，归纳起来就是这么一件事：找到合适的抓取点（或吸附点），抓住它。之后的转运履行，则归于运动规划的分支。

　　现在几种干流的解决方案

　　Model-based（根据模型的办法）

　　这种办法很好了解，即知道要抓什么，事先选用实物扫描的办法，提前将模型的数据给到机器人体系，机器在实际抓取中就只需求进行较少的运算：

　　1. 离线核算：依据搭载的结尾类型，对每一个物体模型核算部分抓取点；

　　2. 在线感知：通过RGB或点云图，核算出每个物体的三维位姿；

　　3. 核算抓取点：在实在国际的坐标系下，依据防磕碰等要求，选取每个物体的最佳抓取点。

　　RGB色彩空间由红绿蓝三种基本性组成，叠加成恣意色彩，同样地，恣意一种色彩也可以拆解为三种基本性的组合，机器人通过色彩坐标值来了解“色彩”。这种办法与人眼辨认色彩的方向类似，在显示屏上广泛选用。

　　Half-Model-based（半模型的办法）

　　在这种练习办法中，不需求彻底预知抓取的物体，但是需求很多类似的物体来练习算法，让算法得以在物品堆中有用对图画进行“切割”，辨认出物体的边缘。这种练习办法，需求这些流程：

　　1.离线练习图画切割算法，即把图片里的像素按物体区分出来，此类工作一般由专门的数据标示员来处理，按工程师的需求，标示出海量图片中的不同细节；

　　2.在线处理图画切割，在人工标示出的物体上，寻找合适的抓取点。

　　这是一种现在应用较为广泛的办法，也是机械臂抓取得以推动的主要推力。机械臂技能开展缓慢，但核算机视觉的图画切割则进展敏捷，也从旁边面撬动了机器人、无人驾驶等职业的开展。

　　Model-free（自由模型）

　　这种练习办法不涉及到“物体”的概念，机器直接从RGB图画或点云图上核算出合适的抓取点，基本思路就是在图画上找到Antipodal（对映点），即有或许“抓的起来”的点，逐渐练习出抓取战略。这种练习办法往往让机器手很多尝试不同种类的物品，进行self-supervisedlearning，Google的Arm Farm，即为其间的代表之一。

　　从抓取办法上分类可以分红两种：根据剖析办法（Analytical），根据数据驱动（Data-driven）。

　　剖析办法：主要是根据动力学及几何学的剖析，一般要求知道物体的模型（known object），集大成之作为李泽湘教授的《机器人操作的数学导论》。书中根据旋量理论，介绍了很多机器人manipulation的基础。剖析办法有助于我们了解整个抓取过程，了解哪些物理量会影响抓取的稳定性。

　　数据驱动：主要是根据深度学习、强化学习办法。允许机械臂抓取不知道模型的物体（Unknown object）和了解的物体（familiar object）。由所以根据深度学习的鼓起而开展的，还归于比较新的研讨领域，现在还没有发现相关的著作（如果有期望可以引荐一下）。比较经典的入门系列是：的研讨领域，现在还没有发现相关的著作（如果有期望可以引荐一下）。比较经典的入门系列是：Dex-net系列。供给了代码、数据集、工程视频，论文也讲的比较清楚。（Dex-Net by BerkeleyAutomation) 数据驱动又可以分为三种办法：learning from human demonstration、learning from labeled training data、trail and error. 别离涉及到的技能为：imitation learning、deep learning、reinforcement learning.

　　同时依据抓取物体的特色分类，我们可以分红三类: know object、familiar object、unknown object。

　　关于known object一般的pipeline为：

　　关于familiar object, pipeline为：

　　关于unknown object, pipeline为：

优傲机械臂——机械臂智能抓取都涉及了哪些技术？

浏览过的版块

联系方式

工作时间