А. В. Савченко, Метод максимально правдоподобного перебора в задаче клас- сификации кусочно-однородных объектов, Автомат. и телемех. , 2016, вы- пуск 3, 99–108

Math-Net.Ru

Общероссийский математический портал

А. В. Савченко, Метод максимально правдоподобного перебора в задаче клас- сификации кусочно-однородных объектов, Автомат. и телемех. , 2016, вы- пуск 3, 99–108

Использование Общероссийского математического портала Math-Net.Ru подразумевает, что вы прочитали и согласны с пользовательским соглашением

http://www.mathnet.ru/rus/agreement Параметры загрузки:

IP: 178.128.90.69

5 ноября 2022 г., 21:57:50

Автоматика и телемеханика,№ 3, 2016

Системный анализ и исследование операций

c

2016 г. А.В. САВЧЕНКО, канд. техн. наук (avsavchenko@hse.ru) (Национальный исследовательский университет

Высшая школа экономики, Н. Новгород)

МЕТОД МАКСИМАЛЬНО ПРАВДОПОДОБНОГО ПЕРЕБОРА В ЗАДАЧЕ КЛАССИФИКАЦИИ

КУСОЧНО-ОДНОРОДНЫХ ОБЪЕКТОВ¹

Исследуется задача распознавания составных объектов на основе веро- ятностной модели кусочно-однородного объекта при наличии тысяч аль- тернативных классов. Используя асимптотические свойства модели, раз- работан новый метод максимально правдоподобного перебора, который является оптимальным (в смысле выбора для проверки на каждом этапе максимально правдоподобного эталона) среди класса “жадных” алгорит- мов приближенного поиска ближайшего соседа. Приведены результаты эксперимента в задаче распознавания лициз базы данных FERET. Про- демонстрировано, что предложенный подход позволяет в несколько раз снизить время принятия решений по сравнению не только с полным пере- бором, но и с известными методами приближенных ближайших соседей.

1. Введение

В задачах классификации требуется отнести некоторый объект к одному из C заранее точно не определенных классов. Предполагается, что для обу- чения доступна база данных из RC эталонных объектов {X_r}, r= 1, R, причем класс каждогоr-го эталонаc(r)∈ {1, . . . , C}считается известным [1].

Известно [2], что для повышения точности распознавания сложных объектов (изображений, речевых сигналов) можно воспользоваться доступными све- дениями о структуре анализируемых объектов. По-видимому, впервые такой подход стал широко применяться в системах распознавания речи, в которых традиционные методы (поточечной [3]) классификации (в них слово описыва- ется вектором значений признаков, вычисленных по всем сигналу целиком) приводили к низкой точности. Как следствие, в настоящее время речевой сиг- нал считают реализацией кусочно-стационарного случайного процесса, в ко- тором каждый стационарный сегмент представляет отдельную фонему (или трифон) [4]. Тогда входное словоXи все эталонные слова разбиваются на по- следовательность из независимых (значения признаков сегментов внутри од- ного слова соответствуют различным фонемам) однородных сегментов. Для

1 Исследование (№ 15-01-0019) выполнено при поддержке Программы “Научный фонд НИУ ВШЭ” в 2015–2016 гг. Работа выполнена при финансовой поддержке Правительства РФ в рамках реализации “Дорожной карты” Программы 5/100 Национального исследова- тельского университета “Высшая школа экономики”.

∗

учета неточности выделения однородных сегментов (некоторые из них могут быть пропущены или продублированы) сегменты входного объекта сопостав- ляются не с одним, а снесколькими сегментами каждого эталона [5]. Анало- гичный подход стал применяться и для обработки других сложных объектов.

Например, изображения объектов целиком (в методе HOG [6]) или окрестно- сти ключевых точек (в методе SIFT) разделяются на непересекающиеся пря- моугольные фрагменты (сегменты). Предполагается, что освещенность каж- дого фрагмента фиксирована, поэтому вычисляемые для каждого сегмента признаки (например, гистограммы ориентаций градиентов, HOG) являются устойчивыми к изменению условий наблюдения. Далее будем называть объ- екты, которые можно разбить на несколько сегментов, каждый из которых описывается множеством одинаково распределенных векторов значений при- знаков, составными иликусочно-однородными.

К сожалению, применение специальных методов классификации кусочно- однородных объектов, основанных на скрытых марковских моделях (СММ) [4], возможно лишь в том случае, если для обучения доступна репрезента- тивная база данных большого объема (сотни эталонов для каждого класса, RC). Такое ограничение оказывается слишком жестким для многих про- мышленных приложений (распознавание лиц и речи при наличии разнообраз- ных помех), в которых проявляется проблемамалых выборок (R≈C): число эталонов для каждого класса недостаточно для обучения сложного класси- фикатора [7]. В таком случае для решения обычно применяются детерми- нированные методы ближайшего соседа, в котором осуществляется полный перебор всех эталонов из базы данных [1]. С учетом сложности сопоставле- ния кусочно-однородных объектов, обусловленной выравниванием сегментов, практическая реализация такого подхода в режиме (мягкого) реального вре- мени становится невозможной при наличии уже сотни классов. Кажется, что для ускорения процедуры поиска ближайших соседей можно использовать известные приближенные алгоритмы, например рандомизированные k-d де- ревья [8]. К сожалению, такие методы разрабатываются специально для ав- томатизированных систем поиска объектов по содержанию из сверхбольших баз данных (десятки и сотни тысяч классов). В результате их применение не приводит к существенному повышению вычислительной эффективности классификации по сравнению с полным перебором, если число классов не пре- вышает нескольких тысяч единиц. Для преодоления указанного недостатка в настоящей статье разработан новый метод приближенного поиска ближайше- го соседа, основанный на свойствах оптимального критерия классификации кусочно-однородных объектов, предложенного автором в [5]. В отличие от существующих приближенных алгоритмов, которые либо основываются на свойствах метрик Минковского (Евклида, Манхэттена), либо на некоторых эвристиках, синтезированный метод максимально правдоподобного перебора (МПП) является оптимальным “жадным” алгоритмом в смысле выбора на каждом шаге следующего эталона для проверки на основе принципа макси- мального правдоподобия (совместного распределения расстояний до прове- ренных на предыдущих шагах эталонов).

2. Классификация кусочно-однородных объектов

Согласно статистическому подходу к классификации кусочно-однородных объектов, подробно изложенному в [5], после представления входного объекта с помощью одной из известных процедур сегментации (например, разбиения на фреймы фиксированной размерности или наращивания областей) в ви- де вектора X ={X(k)|k= 1, K} из K однородных частей, каждому сегмен- туX(k)ставится в соответствие совокупность изn(k)векторов значений при- знаковx_j(k)фиксированной размерностиM. Аналогично эталоныX_r разби- ваются на Kr частей и k-й сегмент r-го эталона определяется как Xr(k) =

={x^(r)_j (k)|j= 1, n_r(k)}, где x^(r)_j (k) – вектор (размерности M) значений при- знаков вk-м сегментеr-го эталона, аn_r(k)– число признаков. Предположим, что сегментыX(k)– простые выборки (независимых одинаково распределен- ных) векторов x_j(k), а эталонные сегменты X_r(k) – простые выборки (груп- пы [3]) векторов x^(r)_j (k). Чтобы учесть недостаточную точность детектиро- вания границ, все сегменты {X(k)} рассматриваются в пределах, близких к kномеров k₁ сегментовr-го эталона из множества N_r(k) (окрестность “сосе- дей”, определяемая спецификой предметной области) [5]. Тогда задача сво- дится к проверке гипотез W_r,r = 1, R, о неизвестном законе распределения значений признаков сегментов объекта X. Для ее решения необходимо со- поставить k-й сегмент X(k), k = 1, K, входного объекта с k1-м сегментом Xr(k1),k1 ∈Nr(k),r-го эталона.

Предположим, что все значения признаков x_j(k) и x^(r)_j (k1) – реализации случайных векторов с неизвестными распределениями из некоторого пара- метрического семейства распределений с параметрами из N-мерного евкли- дова пространства θ(k) и θr(k1) (где N – размерность вектора параметров) соответственно, аθˆ(X(k))иθˆ(X_r(k₁))– их оценки, полученные по выборкам X(k)иXr(k1). Воспользуемся для определенности экспоненциальным семей- ствомf( ˜X_n|θ), порожденным фиксированной функциейf₀( ˜X_n), гдеX˜_n – вы- борка из n независимых одинаково распределенных случайных векторов, а θ – вектор параметров размерности N [9]. Такое предположение покрывает достаточно широкий диапазон распределений (нормальное,χ², полиномиаль- ное, Пуассона и др.) [9]. Тогда для оценки близости k-го сегмента входно- го объекта и k1-го сегмента r-го эталона можно воспользоваться мерой на- правленного расхождения Iˆ_n(k)(X(k) :Xr(k1)) между оценками плотностей из экспоненциального семейства по выборкам X(k) и X_r(k₁), определяемой как дивергенция Кульбака–Лейблера между плотностямиf( ˜X_n(k)|θˆ(X(k)))и f( ˜X_n(k)|θˆ(X_r(k₁)))[9]:

(1) Iˆ_n(k)(X(k) :X_r(k₁)) =

=

f

X˜_n(k)θˆ(X(k))

·ln f

X˜_n(k)θˆ(X(k)) f

X˜_n(k)θˆ(X_r(k₁))dX˜_n(k). В задаче распознавания образов параметры θ_r(k₁) закона распределения эталонов не известны, поэтому для решения требуется выполнить их оценку

θˆ(Xr(k1)) по заданным обучающим выборкам Xr(k1). В этом состоит отме- ченное в [10] существенное отличие от задачи статистической классификации, в которой распределения классов предполагаются известными. Для решения задачи группового распознавания X(k) [3] более естественным [10, 11] пред- ставляется ее сведение к проверкесложных гипотез об однородности выборок X(k) иX_r(k₁). Рассмотрим случай полной априорной неопределенности, ко- гда априорные вероятности всех классов равны. Используя асимптотически минимаксный критерий проверки однородности независимых выборок, син- тезированный Боровковым А.А. в [10], можно показать [5], что для задачи классификации кусочно-однородных объектов асимптотически минимаксным будет следующий критерий:

(2) ρKL(X, Xr) =

= 1

n·K K k=1

k1∈Nminr(k)

Iˆ_n(k)(X(k) :X_r(k;k₁)) + ˆI_nr(k1)(X_r(k₁) :X_r(k;k₁))

→

→ min

r=1,R, гдеXr(k;k1) ={X(k), Xr(k1)}– объединенная выборка, аn=_K

k=1n(k)/K – средняя длительность сегмента. К сожалению, реализация критерия (2) тре- бует полного перебора всех эталонов из базы данных, что может привести к невозможности реализации такого подхода в режиме реального времени [12].

Рассмотрим далее способы повышения вычислительной эффективности ал- горитма распознавания на основе поиска приближенных ближайших соседей.

3. Метод максимально правдоподобного перебора альтернатив

Применим известный в области построения алгоритмов искусственного ин- теллекта прием – сосредоточимся на классежадных(greedy) алгоритмов и на каждом шаге будем искать эталон, который с наибольшей вероятностью бу- дет ближайшим соседом классифицируемого объектаX. Такой выбор класса алгоритма может быть обоснован не только его простотой, но и тем фак- том, что все популярные методы поиска приближенного ближайшего соседа относятся к этому классу. Воспользуемся известным фактом [9] – меру бли- зостиρ_i,j =ρ_KL(X_i, X_j) можно рассматривать как среднюю информацию от наблюдения для принятия решения в пользу гипотезыWiпротив альтернати- выW_j. Для поиска приближенного ближайшего соседа запишем критерий (2) в упрощенной форме [12]

Wν :ρKL(X, Xν)< ρ0 =const. (3)

Сначала выберем один из эталоновX_r1,r₁ ∈ {1, . . . , R}, и вычислим рассо- гласование ρ_KL(X, X_r1). Далее последовательно многократно повторим про- цедуру выбора следующего эталона для проверки. Пусть наk-м этапе были проверены эталоны X_r1, . . . , X_rk (вначале на (k= 1)-м шаге проверен толь- ко один эталонX_r1). Используя информацию о расстояниях ρ_KL(X, X_r1), . . . . . . , ρKL(X, Xrk) найдем наиболее вероятный эталон Xrk+1. Для одинаковой

априорной вероятности каждого класса будем искать следующий эталон по методу максимального правдоподобия

r_k+1= arg max

ν∈{1,...,R}−{r1,...,rk}

k i=1

f(ρ_KL(X, X_ri)|W_ν), (4)

где f(ρ_KL(X, X_ri)|W_ν) – условная совместная плотность вероятности кусоч- но-однородного объекта X_ri при справедливости гипотезы W_ν. Для оценки этой плотности воспользуемся тем фактом [9], что статистикаnK·ρKL(X, Xri) асимптотически (при n → ∞, n_r → ∞) распределена нормально (при боль- шихKN) как

N ρν,ri+N/n;

4nK·ρν,ri+ 2KN /(nK)₂ . (5)

Тогда правдоподобие в (4) можно записать как f(ρKL(X, Xri)|Wν) = nK

2π(4nK·ρ_ν,ri+ 2KN)×

×exp

−(nK·(ρKL(X, Xri)−ρν,ri)−KN)² 4nK·ρ_ν,ri+ 2KN

,

или

f(ρKL(X, Xri)|Wν) =

=√nK 2πexp

−(nK·(ρ_KL(X, X_ri)−ρ_ν,ri)−KN)² 4nK·ρ_ν,ri+ 2KN −1

2ln(4nK·ρ_ν,ri+ 2KN)

. Разделив выражение (4) на константу (nK/√

2π)^k, прологарифмировав, разделив на nK/2и прибавив k, окончательно запишем, что

r_k+1 = arg min

μ∈{1,...,R}−{r1,...,rk}

k i=1

ϕ_μ(r_i), (6)

где введено обозначение

ϕ_μ(r_i) =

ρ_KL(X, X_ri)−ρ_μ,ri−^N_n2 ρ_μ,ri+_2n^N + 4

nK ln 2ρ_μ,ri+N n

. (7)

Заметим, что средний размер сегмента значительно превышает число раз- личных значений признаковnN, поэтому функция (7) на практике может быть вычислена как

ϕμ(ri)≈(ρKL(X, Xri)−ρμ,ri)² ρ_μ,ri . (8)

Здесь ϕμ(ri) тем меньше, чем ближе между собой рассогласования ρ_KL(X, X_ri)иρ_μ,ri и чем больше рассогласование между эталонамиX_μиX_ri. Если для эталона Xrk+1 выполняется условие останова (3), то поиск за- вершается. В противном случае процедура перебора для выбора наиболее правдоподобного (с точки зрения его согласованности с результатами вычис- лений рассогласованийρ_KL(X, X_r1), . . . ,ρ_KL(X, X_rk),ρ_KL(X, X_rk+1))эталона (6), (8) повторяется.

Записав переход к следующему эталону (6), (8), вернемся к инициализа- ции метода – к такому выбору первого эталона X_r1, который бы обеспечил наилучший поиск решения (3) в смысле максимума средней вероятности на- хождения искомого решения на втором шаге

r₁= arg max

μ∈{1,...,R}

1 R

R ν=1

P ϕ_ν(μ) min

r∈{1,...,R}ϕ_r(μ) W_ν

. (9)

Для оценки условной вероятности P ϕν(μ) min

r∈{1,...,R}ϕr(μ) Wν

=

=^R

r=1

P

(ρ_KL(X, X_μ)−ρ_ν,μ)²

ρ_ν,μ (ρ_KL(X, X_μ)−ρ_r,μ)² ρ_r,μ

W_ν

,

вновь воспользовавшись асимптотическим распределением (5) рассогласова- ния (2), получим

P ϕ_ν(μ) min

r∈{1,...,R}ϕ_r(μ) W_ν

=

=^R

r=1

P

(ρr,μ−ρν,μ)(ρKL(X, Xμ)²−ρr,μρν,μ)0Wν ,

или

P ϕ_ν(μ) min

r∈{1,...,R}ϕ_r(μ) W_ν

=

=

r∈{1,...,R|ρr,μρν,μ}

P

ρKL(X, Xμ)√

ρr,μρν,μWν

×

×

r∈{1,...,R|ρr,μ<ρν,μ}

P

ρ_KL(X, X_μ)√

ρ_r,μρ_ν,μW_ν .

Окончательно можно записать, что

P ϕν(μ) min

r∈{1,...,R}ϕr(μ) Wν

=^R

r=1

1 2+ Φ

√ nK 2 √

ρr,μ− √ρν,μ ,

гдеΦ(·)– интеграл вероятностей. В результате выражение (9) для определе- ния первого эталона для проверки X_r1 можно представить в виде:

r1= arg max

μ∈{1,...,R}

R ν=1

R r=1

1 2 + Φ

√ nK 2 √

ρr,μ− √ρ_ν,μ . (10)

Выражения (3), (6), (8), (10) определяют предлагаемый метод МПП. На первом его шаге с помощью (10) выбирается первый эталон для проверкиXr1

и вычисляется рассогласование ρKL(X, Xr1) (2). Далее полагаем k = 1 и с помощью процедуры (6), (8) выделяем следующий эталон для проверки. По- сле этого вычисляется рассогласование ρKL(X, Xr2), которое сравнивается с порогомρ₀. Если условие (3) выполняется, то процесс поиска останавливает- ся. В противном случае полагаем k = k+ 1 и повторяем процедуру выбора эталона X_rk+1 (6), (8). В худшем случае после перебора всех альтернатив в отсутствие решения (3) можно либо сделать вывод о том, что входной объ- ект X нельзя отнести ни к одному классу, либо принять решение в пользу найденного ближайшего соседа с оговоркой на недостаточную надежность такого решения.

Для реализации метода МПП требуется предварительно вычислить попар- ные рассогласования ρ_i,j между всеми эталонами, как это делается в мето- дах быстрого поиска ближайшего соседа AESA [13]. Отличие состоит в том, что алгоритмы типа AESA работают только для метрик, так как использу- ют неравенство треугольника, которое позволяет отбрасывать ветки поиска в методе ветвей и границ. В предложенном методе МПП отсутствует отсечение эталонов, которое может привести к росту вероятности ошибки. Вместо этого применяется условие останова поиска (3). При этом на каждом шаге (6), (8) используется вся доступная в вычисленных рассогласованияхρ_KL(X, X_r1), . . . . . . , ρKL(X, Xrk) информация для выбора следующего эталона Xrk+1. Пока- жем далее, что предлагаемый метод оказывается эффективным и при его практическом использовании.

4. Результаты экспериментальных исследований

Рассмотрим задачу распознавания лиц. Предположим, что изображения лиц были предварительно выделены на каждой фотографии с помощью, на- пример, библиотеки OpenCV. Тогда задача состоит в том, чтобы отнести изображение лица X к одному из R >1 классов, заданных эталонами Xr. Предположим, что все изображения приведены к одному размеру (высотаU и ширинаV). Воспользуемся предложенной моделью кусочно-однородного объ- екта – разобьем каждое изображение наK⁽¹⁾×K⁽²⁾ блоков (поK⁽¹⁾ строк и K⁽²⁾ столбцов). Соседями блока(k₁, k₂),k₁ ∈ {1, . . . , K⁽¹⁾},k₂ ∈ {1, . . . , K⁽²⁾}, считаются участки (˜k₁,˜k₂), такие что |˜k₁−k₁|<Δ, |˜k₂−k₂|<Δ, где обыч- но Δ = 0 или Δ = 1 [5]. Воспользуемся признаками из хорошо зареко- мендовавшего себя на практике метода HOG [6] – направлением гради- ента яркости. Множество значений признаков разбивается на 8 отрез- ков, и для каждого блока (k1, k2) вычисляют гистограммы Hr(k1, k2) =

= [h^(r)₁ (k1, k2), . . . , h^(r)_N+1(k1, k2)] и H(k1, k2) = [h1(k1, k2), . . . , hN+1(k1, k2)] на- правлений градиентовr-го эталонного и входного изображений. Решение за- дачи будем искать в виде [11]:

(11) K⁽¹⁾K⁽²⁾ U V

K⁽¹⁾

k1=1 K⁽²⁾

k2=1

|Δ1|Δ,|Δmin2|Δρ(Hr(k1+ Δ₁, k2+ Δ₂), H(k1, k2))→

→ min

r∈{1,...,R}, гдеρ(H_r(k₁+ Δ₁, k₂+ Δ₂), H(k₁, k₂))– некоторое рассогласование между ги- стограммами. На практике обычно применяется метрика Евклида, а вырав- нивание сегментов отсутствует (Δ = 1) [6]. Если воспользоваться критери- ем (2), то в предположении о полиномиальном распределении признаков (N = 7) меру близости в (11) можно определить как дивергенцию Йенсена–

Шеннона, хорошо зарекомендовавшую себя во многих задачах распознавания изображений,

ρ(Hr, H) =

N+1 i=1

hiln 2hi

h_i+h^(r)_i +h^(r)_i ln 2h^(r)_i h_i+h^(r)_i

, (12)

где для простоты опущены индексы(k₁, k₂) и(k₁+ Δ₁, k₂+ Δ₂).

Воспользуемся базой данных FERET, являющейся стандартом де-факто для тестирования систем классификации лиц. В качестве базы данных эта- лонов использовалисьR = 1365фронтальных изображений (обучающее мно- жество FERET FA)C = 994 различных людей, а тестирование проводилось на других 1355 фотографиях (тестовое множество FERET FB) тех же людей.

Для измерения среднего времени классификации применялся ноутбук с про- цессором Intel Core i7-2630QM (тактовая частота 2 ГГц, объем ОЗУ 6 Гб).

Предложенный метод МПП сопоставлялся с одним из лучших алгоритмов приближенного поиска ближайшего соседа – рандомизированным k-d дере- вом из библиотеки FLANN [8], и хорошо зарекомендовавшим себя для неболь- ших баз данных методом Perm-sort [14] из библиотеки NonMetricSpaceLib.

Все методы были реализованы в многопоточном варианте на основе Windows ThreadPool API в среде Microsoft Visual C++ 2013 Express Edition. Сопостав- лялись как однопоточная (T = 1), так и многопоточная реализация с T = 8 параллельными потоками. Оценки вероятности ошибки и среднего времени распознавания одного лица представлены в табл. 1 и 2 соответственно.

Здесь, во-первых, точность классификации с выравниванием гистограмм (Δ = 1) на 1,9–2,1 % превосходит точность традиционного подхода (Δ = 0), однако время такого выравнивания в 3–7 раз превышает время классифика- ции с отсутствием выравнивания. Во-вторых, традиционная метрика Евклида оказалась на 1,5 % менее точной по сравнению с реализацией (11), (12) опти- мального критерия (5). При этом среднее время классификации (11), (12) в 4–6 раз превысило аналогичный показатель для метрики Евклида. В-третьих, среднее время поиска для рандомизированного k-d дерева практически не от- личается от времени распознавания для полного перебора, что можно объяс-

Таблица 1.Оценки вероятности ошибки распознавания лиц (в %)

Мера близости Метод перебора Δ = 0 Δ = 1

T= 1 T= 8 T= 1 T= 8 Йенсена–Шеннона (12)

Полный перебор (11) 3,69 3,69 1,48 1,48 Рандомизированное k-d дерево 4,58 4,87 2,88 2,36 Perm-sort 4,23 3,76 1,92 1,99

МПП 4,05 3,91 1,99 1,75

Евклида

Полный перебор (11) 5,17 5,17 3,25 3,25 Рандомизированное k-d дерево 5,76 5,54 3,84 3,69 Perm-sort 5,46 5,61 3,69 3,54

МПП 5,61 5,39 3,91 3,39

Таблица 2.Оценки среднего времени распознавания лица (в мс)

Мера близости Метод перебора Δ = 0 Δ = 1

T= 1 T= 8 T= 1 T= 8 Йенсена–Шеннона (12)

Полный перебор (11) 8,59 2,27 59,90 16,67 Рандомизированное k-d дерево 8,66 2,58 65,72 23,32 Perm-sort 4,34 1,94 13,16 7,24

МПП 1,51 0,58 7,04 4,17

Евклида

Полный перебор (11) 1,92 0,51 12,82 4,63 Рандомизированное k-d дерево 1,50 0,49 9,03 2,96 Perm-sort 0,76 0,31 2,80 1,45

МПП 0,62 0,17 1,56 0,98

нить небольшим размером обучающей выборкиR. В то же время метод Perm- sort позволил в 1,2–4,6 раз ускорить классификацию по сравнению с полным перебором. Наконец, основной вывод состоит в том, что предложенный ме- тод МПП при сопоставимой вероятности ошибки классификации характери- зуется наилучшей вычислительной эффективностью: в 3–12 раз быстрее по сравнению с полным перебором и в 1,5–3,5 раза быстрее, чем Perm-sort за ис- ключением наиболее простого однопоточного (T = 1) случаяΔ = 0и метрики Евклида.

5. Заключение

В настоящей статье исследована возможность повышения вычислительной эффективности синтезированного в [5] критерия (2) на основе применения методов приближенного поиска ближайшего соседа. На основе асимптотиче- ских свойств модели кусочно-однородного объекта разработан новый опти- мальный для критерия (2) среди жадных алгоритмов метод приближенного ближайшего соседа – МПП. Идея введения направления перебора [12] для решения оптимизационных задач в последнее время нашла отражение в осо- бой разновидности генетических алгоритмов – роевой оптимизации [15]. Но только применение предложенного метода МПП, основанного на априорной информации о рассогласованиях между эталонами, позволило в 1,5–10 раз по сравнению с традиционными алгоритмами приближенного ближайшего

соседа ускорить процедуру распознавания лиц из базы данных, содержащей тысячи фотографий. Параллельная реализация МПП позволяет не только еще в 1,5–3,5 раза снизить время классификации, но и повысить точность за счет увеличения числа одновременно проверяемых эталонов. При этом при- менение синтезированного метода позволяет повысить вычислительную эф- фективность не только для алгоритмов, реализующих критерий (2), но для метода ближайшего соседа с традиционной метрикой Евклида.

СПИСОК ЛИТЕРАТУРЫ

1. Theodoridis S., Koutroumbas K.(eds.). Pattern recognition. Boston: Academic Press, 2008.

2. Hammerstrom D.W., Rehfuss S.Neurocomputing Hardware: Present and Future //

Artific. Intelligence Rev. 1993. V. 7. No. 5. P. 285–300.

3. Абусев Р.А., Лумельский Я.П. Статистические модели классификации много- мерных наблюдений // Обозрение прикл. промышл. мат. 1996. Т. 3. Вып. 1.

С. 7–30.

4. Benesty J., Sondh M., Huang Y. (eds.). Springer handbook of speech recognition.

N.Y.: Springer, 2008.

5. Савченко А.В.Образ как совокупность выборок независимых одинаково распре- деленных значений признаков в задачах распознавания сложноструктурирован- ных объектов // Зав. лаб. Диагностика материалов. 2014. Т. 80. № 3. C. 70–80.

6. Dalal N., Triggs B.Histograms of Oriented Gradients for Human Detection // Proc.

IEEE Conf. on Computer Vision & Pattern Recognition. San Diego, 2005. P. 886–893.

7. Tan X., Chen S., Zhou Z.H., et al.Face Recognition from a Single Image per Person:

a Survey // Patt. Recognit. 2006. V. 39. No. 9. P. 1725–1745.

8. Silpa-Anan C., Hartley R. Optimised KD-trees for Fast Image Descriptor Match- ing // Proc. IEEE Conf. on Computer Vision & Pattern Recognition. Alaska, 2008.

P. 1–8.

9. Kullback S.Information Theory and statistics. N.Y.: Dover Pub., 1997.

10. Боровков А.А. Математическая статистика. Дополнительные гл. М.: Наука, 1984.

11. Savchenko A.V. Probabilistic Neural Network with Homogeneity Testing in Recog- nition of Discrete Patterns Set // Neural Networks. 2013. V. 46. P. 227–241.

12. Savchenko A.V.Directed Enumeration Method in Image Recognition // Patt. Recog- nit. 2012. V. 45. No. 8. P. 2952–2961.

13. Vidal E.An Algorithm for Finding Nearest Neighbours in (Approximately) Constant Average Time // Patt. Recognit. Lett. 1986. V. 4. No. 3. P. 145–157.

14. Gonzalez E.C., Figueroa K., Navarro G. Effective Proximity Retrieval by Ordering Permutations // IEEE Trans. PAMI. 2008. V. 30. No. 9. P. 1647–1658.

15. Chen C.C.Hierarchical Particle Swarm Optimization for Optimization Problems //

Tamkang J. Sci. Engineer. 2009. V. 12. No. 3. P. 289–298.

Статья представлена к публикации членом редколлегии Б.Т. Поляком.

Поступила в редакцию 04.02.2015