Integrating computer vision with a robot arm system

Abstract

During last decades, robotic system has been employed in different fields, such as, industrial, civil, military, medical, and many other applications. Vision system is integrated with robot systems to enhance the controlling performance of the robot system. A great deal of features can be computed using the information have been gotten from vision sensors (camera). The extracted information from vision system can be used in the feedback to have the ability to control the robot armtor motion, but the operation of extracting this information from vision system is time consuming. This thesis addressed the problem of following (tracking) and grasping of moving target (object) with limited velocity in real time by employing the technology of Eyein- Hand, whereas a camera attached (mounted) to the robot arm end effector. This done by using a predictor (Kalman filter) that estimates the positions of the target in the future, an algorithm was designed to track an object move in different trajectories, within the camera field of view. The Kalman filter uses the measured position of the target as well as previous state estimates to fix the location of thetarget object at the next time step, in other word, the Kalman filter is applied to keep observing the object till grasp it. The employing of vision system information in the feedback control of the robot systems have been the major research in robotics and Mechatronic systems. The utilizing from this information has been proposed to handle stability and reliability issues in vision-based control system.

Son yıllarda robot sistemi çeşitli alanlarda gözlemlendi. Bu alanlar endüstriyel, devlet, askeriye, sağlık ve benzeri alanlardı. Görüş dataları robot sistemini kontrol etme performansını artırmak üzere robota entegre edildi. Görüş sensörleri ( kamera ) kullanılarak ilgili özellikler ve bilgiler hesaplanabilir. Görüş sisteminden alınan bilgi robot kolu efektörünü kontrol etmek üzere geri bildirimde kullanılabilir ancak, bu bilgiyi görüş sisteminden almak fazla zaman alır. Bu tez, robot kolu efektörüne yerleştirilmiş kamera ile sınırlı hızda hareketli objenin gerçek zamanda Eye-in-Hand teknolojisiyle takibi ve yakalanmasını konu almaktadır. Bu işlem hedef objenin gelecekteki pozisyonları üzerine çıkarımlarda bulunan bir mekanizma ile gerçekleştirilir, obje hareketlerinin çeşitli yörüngelerde takibini sağlayan bir algoritma geliştirilmiştir. Hedef objenin bir sonraki hareketini yakalamak üzere Kalman filtresi objenin yörüngesindeki geçmiş pozisyonlarını ölçer, bir başka deyişle Kalman filtresi objeyi yakalayana kadar takip etmek üzere kullanılır. Robotun hareket kontrol mekanizmasındaki görüş sisteminden gelen geri vii bildirim kullanılarak robot ve mekatronik sistemlerde major araştırmalar yapılmıştır. Bu araştırma bilgilerinden yararlanılarak görüş bazlı kontrol sistemindeki sağlamlık ve güvenilirlik meseleleri incelenmiştir.