161 СПИСОК ЛИТЕРАТУРЫ
IV. П ОСЛЕДОВАТЕЛЬНОЕ О ЦЕНИВАНИЕ П АРА- МЕТРОВ
В общем случае вычислительные аспекты данной ме- тодики являются довольно сложными, поэтому результа- ты обработки информации о состоянии динамического объекта иллюстрируется на примере объекта четвертого
порядка с одним неизвестным параметром, входящим в матрицу состояния. Предположим, что динамический объект имеет следующий вид:
4 3 2 1
4 1 3
1 2
1 1
1
1 005 . 0 0
675 . 1 0 005 . 0 0
875 . 131 0 625 . 0 1
125 . 138 0
375 . 0 0
k k k k
k k k k
x x x x
x x x x
4 1 3
1 2
1 1
1
675 . 0
675 . 0
875 . 131
125 . 138
k k k k
k
w w w w
u
,1 1
1
( 0 0 0 1 )
k k
k x v
y .
При рассмотрении данного примера принято следую- щее базовое значение для параметра
:
1 . 375
.В среде Simulink выполнено моделирование объекта, входного сигнала и алгоритма определения неизвестных параметров с использованием итерационной процедуры метода наименьших квадратов. Более подробно модели- рование рекуррентной схемы метода наименьших квад- ратов в среде Simulink изложено в работе [14, 15].
Результаты эксперимента представлены для случая, когда присутствуют гауссовские шумы измерений с нулевым средним и дисперсией
2 0 . 001
. В качестве начального значения параметра P выбрано значение0
12
P .Для случая N
100
измерений при синусоидальном входном сигнале получаем следующий результат оцени- вания параметра:
1 . 628
.Рис. 1. Оценка параметра для синусоидального тестового сигнала.
На Рис. 1 продемонстрировано поведение оценки па- раметра объекта для синусоидального входного сигна-
XIV Международная научно-техническая конференция АПЭП – 2018
164
ла.
Рис. 2. Коэффициент усиления для синусоидального тестового сигнала.
Для коэффициента усиления при синусоидальном тес- товом сигнале получено следующее значение:
01901 .
1
0
K . На Рис. 2 показан график поведения ко- эффициента усиления. На Рис. 3 приведен результат поведения параметра P для синусоидального входного сигна-
ла.
Рис. 3. Значение параметра PN для синусоидального тестового сигна- ла.
Рассмотрим случай, когда на вход системы подается тестовый сигнал типа меандра с периодом T
4
и ам- плитудой, равной единице. Для случая N100
было получено следующее значение оцениваемого параметра:575 .
1
. На Рис. 4 демонстрируется поведение оценки параметра для входного сигнала типа меанд-ра.
Рис. 4. Оценка параметров для входных сигналов типа меандра.
На Рис. 5 приведен график поведения коэффициента усиления при входном сигнале типа меандра. Для числа измерений N
100
получено следующее значение:0064 0.
K .
Рис. 5. Коэффициент усиления для входного сигнала типа меандра.
Получено следующее значение параметра P:
4802
.
0
P . На Рис. 6 приведен результат поведения параметра P для входного сигнала типа меандра.
165
Рис. 6. Значение параметра P для входного сигнала типа меандра.
Отметим, что рекуррентная оценка сходится к истин- ному значению параметра примерно за 70 - 80 итераций.
То же самое можно сказать и о сходимости значений KN, PN. Обработка информации о динамическом объ- екте при различных параметрах шумов подтверждают работоспособность алгоритма.
V.
З
АКЛЮЧЕНИЕАктивная идентификация предусматривает возмож- ность подачи на вход динамической системы тестовых сигналов с целью уточнения параметров объекта. В дан- ной работе последовательное оценивание параметров осуществлялось с помощью итерационной схемы метода наименьших квадратов. В качестве тестовых сигналов использовался входной сигнал типа меандра и синусои- дальный сигнал. В дальнейшем методику поиска опти- мального входного сигнала на основе использования матрицы Фишера предполагается распространить на бо- лее сложные объекты.
С
ПИСОКЛ
ИТЕРАТУРЫ[1] Ljung L. System identification: theory for the user, Prentice-Hall, Inc., 1999, 384 p.
[2] Chen C.T. Linear system theory and design. New York Oxford: Oxford University Press, 1999. 334 p.
[3] Goodwin G.C., Payne R.L. Dynamic System Identification: Experiment Design and Data Analysis. New York: Academic Press, 1977. 291 p.
[4] Antsaklis P.J., Michel A. N. Linear systems. New York: Mc. Graw Hill, 1997. 685 p.
[5] Goodwin G.C., Zarrop M.B., Payne R.L. Coupled Design of Test Sig- nal, Sampling Intervals and Filters for System Identification. // IEEE Trans. Autom. Control, 1974. vol. 19. no. 6. pp. 748-752.
[6] Mehra R.K. Optimal Input for Linear System Identification // IEEE Trans. Autom. Control, 1974. vol. 19. No. 3. pp. 192-200.
[7] Cacace F., Germani A., Manes C., Setola R. A new approach to the internal positive representation of linear MIMO systems // IEEE Trans.
Autom. Control, 2012. vol. 57, no. 1, pp. 119–134.
[8] Raissi T., Efimov D., and Zolghadri A. Interval state estimation for a class of nonlinear systems // IEEE Trans. Autom. Control, 2012. vol.
57, no. 1, pp. 260–265.
[9] Cacace F., Germani A., Manes C. A new approach to the design inter- nal observers for linear systems // IEEE Trans. Autom. Control, 2015.
vol. 60, no. 6, pp. 1665–1670.
[10] Efimov D., Perruquetti W., Raissi T., Zolghadri A. Interval observers for time-varying discrete-time systems // IEEE Trans. Autom. Control, 2013. vol. 58, no. 12, pp. 3218–3224.
[11] Troshina G.V., Voevoda A.A., Bobobekov K.M. The active identifica- tion of parameters for the unstable object, // 11 International forum on strategic technology (IFOST 2016): proc., Novosibirsk, 1–3 June 2016 / Novosibirsk State Technical University. Novosibirsk, 2016. T. 1. pp.
594-596.
[12] Troshina G.V., Voevoda A.A., Bobobekov K.M. The parameters deter- mination of the inverted pendulum model in the automatic control sys- tem // Proc. of the XIII Intern. Conf. ―Actual problems of electronic in- strument engineering (APEIE-2016) / Novosibirsk State Technical Uni- versity. Novosibirsk, 2016. pp. 180-182.
[13] Troshina G.V., Voevoda A.A., Bobobekov K.M. Unstable object para- meters estimation with one input and two outputs in automatic control system // Proc. of the 18th Intern. Conf. of Young Specialists on Mi- cro/Nanotechnologies and Electron Devices (EDM-2017), Altai, Erla- gol, 29 June – 3 July 2017. – IEEE, 2017. – P. 138-141.
[14] Воевода А.А., Трошина Г.В. Рекурентный метод оценивания пара- метра в динамическом объекте // Научный вестник Новосибирско- го государственного технического университета. 2016. № 4(65). С.
7 – 18.
[15] Troshina G.V., Voevoda A.A. The iterative procedure modeling for the dynamic parameters estimation at the active identification task // Sibe- rian symposium on data science and engineering (2017 SSDSE) : proc., Novosibirsk, Akademgorodok, 12–13 Apr. 2017. / Novosibirsk : IEEE, 2017. pp. 80–83.
[16] Troshina G.V., Voevoda A.A. The parameters vector estimation in the steady state for the linear dynamic systems // 11 International forum on strategic technology (IFOST 2016): proc., Novosibirsk, 1–3 June 2016 / Novosibirsk State Technical University. Novosibirsk, 2016. T. 1. pp.
582-584.
[17] Troshina G.V., Voevoda A.A. The steady-state in the parameters esti- mation problem for the dynamic objects // International Multi- Conference on Engineering, Computer and Information Sciences, (SI- BIRCON 2017). Novosibirsk, Akademgorodok, 18-22 Sept. 2017 / No- vosibirsk: IEEE, 2017. pp. 351-355.
[18] Troshina G.V., Voevoda A.A., Patrin V.M., Simakina M.V. The object unknown parameters estimation for the 'inverted pendulum-Cart' system in the steady state // Proc. of the 16th Intern. Conf. of Young Specialists on Micro/Nanotechnologies and Electron Devices (EDM-2015), Altai, Erlagol, 29 June – 3 July 2015. – IEEE, 2015. – P. 186-188.
Воевода Александр Александрович, профес- сор, доктор технических наук, профессор ка- федры автоматики Новосибирского государст- венного технического университета. Область научных интересов - теория автоматического управления, оптимизация. Автор более 260 научных работ, включая 1 патент.
Трошина Галина Васильевна, доцент, кандидат технических наук, доцент кафедры вычисли- тельной техники, заместитель декана факуль- тета автоматики и вычислительной техники Новосибирского государственного техниче- ского университета. Область научных интере- сов - идентификация динамических объектов, оптимизация. Имеет более 65 научных публи- каций.
XIV Международная научно-техническая конференция АПЭП – 2018
166 978-1-5386-7054-5/18/$31.00 ©2018 IEEE
Приложение для переноса произвольных стилей изображений с использованием
нейронных сетей
ВладиславВ. Эрлик, Александр А. Малявко
Новосибирский Государственный Технический Университет, Новосибирск, Россия
Аннотация – В данной статье предлагаются структура и основные алгоритмы клиент-серверного приложения для стилизации изображений с использованием свѐрточных нейронных сетей. Существующие аналоги приложений с нейронной сетью прямого распространения ограничены фиксированным набором используемых стилей.Во многих случаях это существенно ограничивает область использо- вания, поэтому в работе предлагается вариант, предостав- ляющий возможность извлечения произвольного стиля прямо из изображения-образца. Такой подход требует зна- чительных вычислительных ресурсов, поэтому для обеспе- чения приемлемой скорости работы приложенияперенос стилей выполняется на сервере. На скорость решения по- ставленной задачи напрямую влияет и производительность нейронной сети, которая оценивается в работе.
Ключевыеслова – Свѐрточная нейронная сеть, перенос сти- лей изображений, клиент-серверная архитектура.
I.
В
ВЕДЕНИЕЕРЕНОС стиля одного изображения на другое мо- жет быть рассмотрен, как проблема переноса тек- стур [1]. В переносе текстурцелью являетсясинтезирова- ние текстур из входного изображения, ограничивая их в порядке сохранения семантического содержания целево- го изображения.
Ранние методы решения данной проблемы полагались на статистику и часто ошибались при попытке захватить семантические структуры. Работа[2] жепоказала, что свѐрточные нейронные сети, оптимизированные для рас- познавания образов, могут быть применены и для извле- чения стилей изображений.Основная идея этогометода заключается в том, что одно изображение генерирует похожую карту активаций на какое-то целевое изобра- жение. На вход подается белый шум и итеративным про- цессом это изображение приводится к такому, у которого карты признаков похожи на целевое изображение. Так как данный метод использует процесс оптимизации, он непозволительно медленен для использования в нашей работе, хотя и комбинирует произвольные изображения.
Значительный прирост в производительности был дос- тигнут при обучении ИНС прямого распространения [3, 4]. Теперь процесс стилизации не включает в себя ника- кой оптимизации, требуется сделать только один прямой проход. Однако самая главная проблема таких сетей за- ключается в том, что они ограничены определенным ко- личеством стилей.
II.
П
ОСТАНОВКАЗ
АДАЧИОсновой проекта выявления и переноса стилей изо- бражений является свѐрточная нейронная сеть. При еѐ разработке необходимо учесть следующие критерии.
1. Это сеть прямого распространения и может быстро обрабатывать большой поток изображений от пользова- телей.
2. Должна быть обеспечена возможность применять в качестве стилей такие изображения, которые не исполь- зовались в процессе обучения (отсутствие ограничений по набору стилей).
Для использования полученной сети необходимо соз- дать клиент-серверноеприложение, которое удовлетво- ряет определенным ограничениям и требованиям.
1. Используется протокол SSL для сохранения конфи- денциальности передаваемых данных.
2. Должна предоставляться возможность обрабатывать изображения с помощью различных моделей нейронной сети, в случае, если понадобится изменить или добавить модели под определенные стили;
3. Приложение должно быть кроссплатформенным,его клиентская часть реализуется в виде Android, Web и Desktop приложений.
В работе рассматривается построение нейронной сети, которая решает данные проблемы с нужной скоростью и гибкостью, и описывается включающая эту сеть система, которую смогут использовать обычные пользователи персональных компьютеров и смартфонов.
III.
Т
ЕОРИЯРазработанная свѐрточная нейронная сеть получает на вход целевое изображение xи изображение y, высту- пающее в роли стиля, а затем синтезирует выходное изо- бражение, которое рекомбинирует содержимое первого изображения и стиль второго. Данный процесс приведен на Рис. 1. Изображения могут быть произвольных разме- ров и должны иметь 3 цветовых канала RGB.
В работе мы используем архитектуру энкодер-декодер.
Энкодерf представлен в виде первых слоев (до conv4_1) модели VGG19 [5], предварительно обученной для клас- сификации изображений на открытомнаборе данных Im- ageNet [7], содержащем 14 миллионов изображений и 21 тысячу классов объектов. Именно первая часть VGG19 выделяет характерные признаки в изображении.
П
167
Рис. 1. Архитектура нейронной сети.
Другое представление VGG энкодера приведено на Рис. 2, при этом, стоит отметить, что после каждого слоя свертки conv идет слой relu.
Рис. 2. Используемая часть слоев VGG-19.
После того, как f закодирует xи y, полученные карты признаков подаются в слой InstanceNormalization(IN):
)) ( ), ( (
f x f y INt
В работе [4] показано, что для данной задачи можно нормализоватьстатистики карт признаков, а именно среднее значение и дисперсию. Однако данный слой ис- пользует аффинные параметры, которые позволяют для одной модели переносить только один стиль. Но можно ли адаптировать данную формулу для множества сти- лей? В работе [6] было предложено убрать аффинные параметрыв их первоначальном виде и вместо этого из- влекать их из стиля y. В итоге получаем следующую формулу:
) ) (
( ) ) (
( ) ,
(
yx x y x
y x
IN
Данный слой масштабирует нормализованный контент σ(y) и смещает его на µ(y), где µ– среднее значение, а σ – дисперсия, рассчитанные по осям [1, 2]. В итоге, мы по-
лучаем искомую карту признаков t. Decoderg производит действия обратные f, он преобразует t обратно встилизо- ванное изображениеT(x,y):
) , ( )
(
t T x y g Архитектура Decoder’а совпадает с сетью, описанной в [3], за исключением исправлений, предложенных в [10]:
zero-padding заменяется на reflection-padding, и deconvo- lution-слои (или транспонированные слои свѐртки) ме- няются на upsampling-слои, которые следуют за слоями conv4_1, conv3_1, conv2_1.
Для обучения сети используется наборы MS-COCO [8]
для контента и WikiArt [9] для стилизованных изображе- ний. При обучении изображения были изменены в раз- мере 256x256 для MS-COCO и до 512 по одному из из- мерений для WikiArt. В общей сумме получилось более 160 тыс. изображений в формате RGB. Так как данная ИНС полностью свѐрточная (то есть состоит только из свѐрточных слоев), то она всѐ равно сможет работать на изображениях любых размеров.
В работе используется стратегия «обучение с учите- лем», в основе которой лежит алгоритм обратного рас- пространения ошибки. Алгоритм обратного распро- странения ошибки использует методику, позволяю- щую быстро вычислять вектор частных производных (градиент) сложной функции многих переменных, если структура этой функции известна. В качестве такой функции в алгоритме рассматривается функция ошибки сети, для еѐ подсчета используются та же модель VGG19 [5]:
s
c L
L L
где – ошибка контента, а
–
ошибка стиля, с указа- нием веса стиля(
использовалось значение 2.5).
При этом ошибка контента считается как эвклидово расстоя- ние между картами признаков выходного изображения и вывода Encoder’а f от целевого изображения x:)
2( )) (
(
g t f x fLc
Для расчета была использована формула из [6, 11], где φiозначает слой из VGG-19[5] (в нашей работеэтос- ледующие слои:relu1_1, relu2_1, relu3_1,relu4_1):
L1
(
1( ( ))) (
1( ))
2 ic g t s
L
1 2
)) ( ( ))) ( (
(
L
i