Math-Net.Ru
Общероссийский математический портал
Б. И. Адасовский, Метод вычисления информа- тивности многомодальных признаков в задаче распознавания, Докл. АН СССР, 1978, том 239, номер 2, 286–288
Использование Общероссийского математического портала Math- Net.Ru подразумевает, что вы прочитали и согласны с пользова- тельским соглашением
http://www.mathnet.ru/rus/agreement Параметры загрузки:
IP: 139.59.245.186
3 ноября 2022 г., 22:13:55
Д о к л а д ы А к а д е м и и н а у к С С С Р
1978. Том 239, № 2
У Д К 519.234:722 КИБЕРНЕТИКА И ТЕОРИЯ РЕГУЛИРОВАНИЯ Б. И. АДАСОВСКИЙ
МЕТОД ВЫЧИСЛЕНИЯ ИНФОРМАТИВНОСТИ МНОГОМОДАЛЬНЫХ ПРИЗНАКОВ
В ЗАДАЧЕ РАСПОЗНАВАНИЯ
(Представлено академиком В. М. Глушковым 23 XI1977)
В настоящей работе предлагается метод вычисления меры информа
тивности признаков многомодальной природы. По определению полагаем, что таковыми являются признаки, распределения значений которых име
ют несколько локальных максимумов плотности вероятности или (и) значения которых составляют непараметрические совокупности, т. е. не имеют адекватного числового выражения.
Такой подход оправдан широким кругом прикладных задач распозна
вания, а также и тем, что в упомянутом случае невозможно корректно применять в качестве меры информативности различные оценки, основан
ные на понятии количества информации в смысле Шеннона С1)-
В предположении, что признаки дискретны, сформулируем задачу оп
ределения информативности следующим образом.
Если задано разбиение конечного множества ЗЭТ объектов распознава
ния, представленных набором из п дискретных признаков х{, 2 = 1 , 2 , . . . ..., п, на систему непустых непересекающихся подмножеств {2Sj, / =
= 1 , 2 , . . . , К] — классов заданного разбиения:
ая=изк,, ая,=?*, т
т(\ж
ч=Ф,
r=q, г, q=i,
2 , . . . ,к,
где Ф — пустое множество, то задача определения информативности при
знака Xi, £=1, 2 , . . . , п, есть вычисление величины Ixir количественно вы
ражающей пригодность Хг для решения задачи распознавания.
Для вычисления 1х{ введем сквозную нумерацию для всех значений ± всех признаков х из заданного набора (2) . Пусть признак х± имеет h зна
чений {хи х2,..., хи}, признак x2—k значений {xh+i. xh+2,..., xli+h],..., признак Хп—1п значений {xh+h+ ... / п_1 + 1, xh+h+ ... +in_i+2,..., xh+h+ ... +Zn}.
Выпишем последовательность индексов:
1, 2 , . . . , lu Z4+l, Z4+ 2 , . . . , h+l2,..., h+h+ . . . +Z«. (1) Зададим взаимно однозначное отображение множества ЗИ в множество
93 р-мерных булевых векторов:
{&ац. Хъ21 . . . , Хап)~*{$1, ^ 2 , . . . , j J p ) , (2)
где
\ Ц 7 0 f 1, если / = а < , A - J I 0, если ]Фаи
/ = 1 , 2 , ( x a i , % а2, . . •, хап) е9 й , oti, а2, . . . , ап• — номера из (1).
В результате отображения (2) каждый элемент множества S3—р-мер-- ный булев вектор — будет иметь точно п компонент, равных 1, и р—п ком
понент, равных нулю.
286
Рассмотрим далее запись множества 39 как булеву матрицу 8 = ( ( JA j) , Л = 1 , 2 , . . . , N, / = 1 , 2 , . . . , р, из iV строк и р столбцов.
Пусть, наконец, fej - число ненулевых элементов /-го столбца. В пред
положении, что достаточные условия закона больших чисел соблюдаются, свяжем частоту hj с вероятностью Р (хч ) :
где а . = / , осг — номер из (1).
Заметим, что такой прием позволяет вычислить вероятность значений признака при любом виде распределения вероятностей и что сумма веро
ятностей всех значений {xh / = 1 , 2 , . . . , U} признака xtj i = d , 2 , . . . , п, принимаемых объектами каждого из классов заданного разбиения, рав
на 1.
Ч
Согласно отображению (2), признаку хи i = l , 2 , . . . , и, с дискретными значениями {£» / = 1 , 2 , . . . , ^} соответствуют U столбцов матрицы 33=
Pl=P (#ii+*2+... + Ji-1 + l ) ? Р 2= =Р ( ^1+z2+. . . + zi__1 +2) , • • • , Pi { = Р ( # J i + Z a + ' . . . + Z . )
суть вероятности значений соответственно.
Зададим неотрицательную числовую функцию /(р,-)> 7 = 1 , 2 , . . . , оп
ределенную на выпуклом множестве действительных чисел — интервале ( 0 , 1 ) :
К-1 К
Г = 1 g =r+ l
где К — число классов, pj n p k — вероятности /-го значения в классе г и д соответственно, r¥=q. (При -ЙГ=2 функция /(pj) имеет вид f(pj) =
= \Ph-Ph\-)
В силу ограниченности вероятностей pj функция f(pj) является выпук
лой (3) , и /(р,-)=0, когда вероятности равны; / ( p j ) = l , когда одна из ве
роятностей равна 1, а остальные обращаются в нуль.
Т е о р е м а . Пусть в данной конкретной задаче распознавания задан алфавит классов и входное описание в виде конечной совокупности при- знаков и признак х{ дискретен и многомодален.
Тогда величина 1хи как функция от ph
1 4
Ixi=l{pu р2, . . . , ph) = ^
и имеет следующие свойства:
1)
2) Ixi не изменяется при любой перестановке аргументов;
3) Ixi непрерывно зависит от своих аргументов;
4) 1(ри р2, . . . , рн)=Кг1(рЛи Р 2 Д p J K 0, 0 , . . . , 0) + + А2- / ( 0 , 0 , . . . , 0, Prn+i/%2, Рт+Лг,. . . , р , Д2) , где
a,i+A,2=l.
Покажем это, связав величину 1х{ с понятием неопределенности ( \ 4) .
287
Действительно, 1х{=0 тогда и только тогда, когда все / 0 ? j ) = 0 , / = 1 , 2 , . . . , U, что соответствует интуитивному понятию о максимально возмож
ной неопределенности. Напротив, Ixi=l лишь в случае, когда все f(pj) =
= 1, / = 1 , 2 , . . . , ^, что опять хорошо согласуется со здравым смыслом, по
скольку в этом случае неопределенности фактически нет. Четвертое свой
ство наглядно свидетельствует о выпуклости 1хи как суммы выпуклых функций / (pj). Остальные свойства интуитивно очевидны.
Свойства величины Ixi, отмеченные в условиях теоремы, позволяют принять следующее
О п р е д е л е н и е . Пригодность дискретного и многомодального при
знака Xi, i=l, 2, тг, для решения данной конкретной задачи распозна
вания количественно определяется естественной мерой информативности 1хи вычисляемой по формуле (4) и связанной с понятием неопределенно
сти значений хг: чем больше неопределенность, тем меньше величина ин
формативности.
Институт кибернетики Поступило Академии н а у к УССР ' 24 X 1977
Киев
Л И Т Е Р А Т У Р А
1 К. Шеннон, Работы по теории и н ф о р м а ц и и и кибернетике, М., ИЛ, 1963.
2 Б. И. Адасовский, Н. Н. Айзенберг, А. А. Стогний, Кибернетика, № 3 (1972).
3 А. Н. Колмогоров, С. В. Фомин, Элементы теории ф у н к ц и й и ф у н к ц и о н а л ь н о г о анализа, М., «Наука», 1972. 4 В. А. Ковалевский, Методы о п т и м а л ь н ы х р е ш е н и й в распознавании изображений, М., «Наука», 1976.
288
