Постановка задачи детектирования объектов

Задача детектирования заключается в следующем: необходимо найти на изображении все объекты заданных классов и вычислить их положение в координатах пикселей данного изображения.

рис.4 Пример работы детектора

Большинство возможных решений задачи детектирования объектов состоят из 3 этапов:

1) Сгенерировать по изображению прямоугольники, в которых возможно будут находиться объекты [35] [36] [37].

2) Классифицировать объекты в найденных прямоугольниках.

3) Агрегировать полученную информацию и выделить наиболее значимые результаты.

Обзор существующих подходов к задаче

В качестве известных подходов к задаче детектирования рассматриваются:

1) R-CNN [20],

2) Multi-Box [21],

3) Fast R-CNN [22].

Все подходы основываются на применении глубоких сверточных нейронных сетей. Наиболее чаще встречающиеся архитектуры нейронных сетей: GoogLeNet [23], Network in Network [24], AlexNet [8].

R-CNN подход

R-CNN подход был предложен Ross Girshick в 2012 году [20]. Суть данного подхода заключается в следующем:

· На первом этапе используется алгоритм генерации возможных объектов-кандидатов Selective Search [25]

· С помощью глубокой нейронной сети для каждого из кандидатов извлекаются высокоуровневые признаки (выходы с последних сверточных слоев)

· Затем тренируется N классификаторов, используя машину опорных векторов (Support Vector Machine).

· После классификации всех окон-кандидатов результаты уточняются в том смысле, что если некоторые окна перекрываются и при этом классы объектов внутри окон совпадают, то они заменяются одним усредненным окном.

рис.5. R-CNN детектор

Главный недостаток данного метода заключается в том, что для каждого окна-кандидата необходимо делать прямой проход сети, что занимает значительное время, учитывая, что в среднем для 1 картинки алгоритм Selective Search возвращает 2 000 окон-кандидатов.

Multi-Box подход

Multi-Box подход был предложен в 2013 году исследователями из компании Google: Dumitru Erhan, Christian Szegedy, Alexander Toshev и Dragomir Anguelov. [21] [26]

Суть данного метода заключается в том, что вместо Selective Search алгоритма используется нейронная сеть, которая должна возвращать координаты окон-кандидатов и значение c ϵ [0,1], которое интерпретируется как вероятность того, что в окне содержится какой-либо объект (любой из заданных категорий).

Для создания полноценного детектора затем используется нейронная сеть GoogLeNet, показавшая отличные результаты в задаче классификации [23].

Данный подход работает значительно быстрее, чем R-CNN, но требует значительных инженерных усилий в реализации.

Fast R-CNN подход

Данный метод был предложен в 2015 году Ross Girshick [22]. По большому счету, данный подход является преемником обычного R-CNN. Основное достоинство этого метода заключается в том, что в сравнении с R-CNN удалось достичь значительного ускорения в тестовом режиме. Данный успех обусловлен тем, что вместо множественных проходов по сети (для каждого окна-кандидата), делается всего 1 проход [27].

Аналогично подходу Multi-Box сеть пытается получить на выходе координаты окаймляющего прямоугольника и значение вероятности. Но также имеется существенное различие между данными подходами. Если в Multi-Box подходе c ϵ [0,1] – вероятность того, что внутри прямоугольника находится какой-то из существующих классов, то в данном методе c ϵ [0,1] вычисляется для каждого их классов.

Скорость обучения Fast – RCNN для PASCAL VOC 2012 по сравнению с обычным R-CNN возросла ~ 9x раз. Скорость работы детектора в тестовом режиме возросла примерно в 213 раз.

рис.6 Fast R-CNN

По сравнению двумя первыми перечисленными детекторами данный подход был применен только к базе данных PASCAL VOC 2012 & PASCAL VOC 2007 с 20 категориями объектов.

Главная цель настоящей работы заключается в адаптации данного метода для базы данных ImageNet 2014. Адаптация включает: выбор по возможности наилучшего количества слоев, типов функций активации, параметров оптимизационного алгоритма и т.д. Напрямую данный подход не может быть использован, в частности, потому, что количество классов в ImageNet & PASCAL VOC существенно различается (200 и 20 соответственно).

Обзор наборов данных

ImageNet 2014

ImageNet – наиболее известное соревнование в области компьютерного зрения [28] [39]. Набор данных включает в себя 200 категорий объектов среди 516840 изображений. 60658 изображений были собраны с сервиса Flickr. Изображения подобраны с учетом множества различных факторов, таких как размер объекта на изображении, уровень шума и др. Некоторые изображения не содержат объекты ни одной из 200 категорий.

Таблица 1. Описание базы данных ImageNet 2014

Вид выборки	Количество изображений
ImageNet2014 train
ImageNet2014 validation
ImageNet2014 test

 

 

рис.7 Изображение из выборки ImageNet 2014

рис.8 Изображение из выборки ImageNet 2014

Pascal VOC 2012

База данных Pascal VOC 2012 [29]. Выборка включается в себя 20 категорий объектов. Всего содержит 22531 изображения.

Таблица 2. Описание базы данных Pascal VOC 2012

Вид выборки	Количество изображений
PASCAL VOC 2012 train
PASCAL VOC 2012 validation
PASCAL VOC 2012 test

 

рис.9 Изображение из PASCAL VOC 2012

Используемые инструменты

Для реализации поставленной задачи были использованы следующие инструменты:
1) Caffe

2) C++

3) Python

4) Matlab R2014b

5) QT Creator

Caffe [30] – известная open-source (BSD-2) библиотека глубинного обучения. Caffe разрабатывается и поддерживается BVLC (Berkeley Vision and Learning Center), написан на языке С++ в 2013 году, также имеет обертки для использования из Python, atlab. бертки для использования из спользовался известный фреймворк глубинного обучения Matlab.

Преимущества Caffe над другими фреймворками:

1) Удобная архитектура

2) Повторное использование натренированных моделей

3) Быстрая реализация алгоритмов тренировки с помощью технологии CUDA

4) Поддержка со стороны сообщества и разработчиков

Caffe позволяет создавать многослойные нейронные сети состоящие из следующих основных слоев:

· CONVOLUTION – базовый сверточный слой. Обязательными параметрами являются количество фильтров, и размер ядра (высота и ширина каждого из фильтров). Дополнительными параметрами задаются начальная инициализация весов, сдвиг для каждого из фильтров, параметры дополнения изображения.

 

Рис. 10 Свертка

· POOLING – cубдискретизирующий слой или слой подвыборки, уменьшающий размерность карт признаков.

 

Рис. 11 Субдескритизация

· INNER PRODUCT – полносвязный слой, в котором каждый нейрон текущего слоя соединен с каждым нейроном из предыдущего слоя.

Рис. 12 Полносвязный слой

· ReLU – Rectified-Linear Unit (активационный слой).

Функция активации данного слоя:

· TANH – гиперболический тангенс (активационный слой).

Функция активации данного слоя:

· SIGMOID – логистическая функция активации.

Функция активации данного слоя:

· EUCLIDEAN LOSS – квадратичная функция потерь.

Реализация квадратичной функции потерь:

· SIGMOID CROSS-ENTROPY LOSS

· ACCURACY – чаще всего используется в классификации. Считает точность как отношение правильно классифицированных объектов к числу всех объектов в выборке.

· SOFTMAX – активационный слой. Иногда может быть использован для приведения данных к промежутку [0,1].

· LOCAL RESPONSE NORMALIZATION – локально нормализующий слой.

Значения каждого пикселя из локальной окрестности преобразуются следующим образом:

· DROPOUT – слой регуляризации. Значение, заданное параметром d (обычно 0.4, 0.5), используется для игнорирования на стадии тренировки количества связей INNER PRODUCT слоя.

Caffe также позволяет использовать другие слои, так как модульная архитектура самого фреймворка рассчитана на то, что каждый исследователь может дописать нестандартные слои нейронных сетей и легко подключить их к уже доступным.

В качестве алгоритмов оптимизации разработчики Caffe предлагают:

1) Стохастический градиентный спуск [31],

2) Градиентный спуск Нестерова [32] [34],

3) Адаптивный градиентный спуск [33].