10.1 OpenCV, OpenNI and PCL

Три столпа компьютерного зрения в сообществе ROS - это OpenCV, OpenNI2, + OpenKinect и PCL. OpenCV используется для обработки 2D-изображений и машинного обучения. OpenNI2 и OpenKinect предоставляют драйверы для глубинных камер, таких как Microsoft Kinect и Asus Xtion Pro. И PCL, или Библиотека облаков точек, является библиотекой выбора для обработки трехмерных облаков точек. В этой книге мы сосредоточимся на OpenCV, но также предоставим краткое введение в OpenNI / OpenKinect и PCL. (Для тех читателей, которые уже знакомы с OpenCV и PCL, вам также может быть интересна Ecto, концепция видения от Willow Garage, которая позволяет получить доступ к обеим библиотекам через общий интерфейс.)

В этой главе мы научимся:

• подключиться к веб-камере или RGB-D (глубине) камеры с помощью ROS

• использовать утилиту ROS cv_bridge для обработки потоков изображений ROS с помощью OpenCV

• писать программы ROS для обнаружения лиц, отслеживания ключевых точек с помощью оптического потока и отслеживания объектов определенного цвета •

• отслеживать скелет пользователя с помощью камеры RGB-D и OpenNI / OpenKinect

• определить ближайшего человека с помощью PCL