THE COMBI ATIO OF EURAL ESTIMATES I PREDICTIO A D DECISIO PROBLEMS Paulo Sérgio Abreu Freitas

I PREDICTIO A D DECISIO PROBLEMS

Paulo Sérgio Abreu Freitas

!" # $ %

I PREDICTIO A D DECISIO PROBLEMS

Paulo Sérgio Abreu Freitas

Tese orientada pelo Prof. Doutor António José Lopes Rodrigues

!" # $ %

ii

in Prediction and Decision Problems

Paulo Sérgio Abreu Freitas

Abstract

! #) *# # +!, -- * !# . / +- +$0 ! !1 ! 2* * # 3 $+ +* ! 2* 40

-+* # * 2 5 ) *+ + *+ ) +! * $+ # / 2 ! * 0

-2! # +! ! #.+*6 , .) ) ! 0 -- !# / !# - ! # $ # #)*+21)

* 2* 3 7 # 3 $ #)+ 5 .+ -- * !# . / +- +$0 ! !1 * 8 +* #+ 1 # - !

# $ # 9 $+ $ 8 !1 ! $+ /!#) 9, . #) #) $ +- +0# ! !1 $ *+3 $ !#

0+#) ! # *$ +- -- ! / ! -- # 3 ! 5 ! #) +!# 8# +- $+ $ 8 !1, #) 2 2

-* $ .+*6 -+* ! * / +$0 ! !1 # $ # -*+$ -- * !# $+ 8# ! , #+

. #) #) .) * #) -+* # **+* -*+$ #)+ $+ * +** # 5 ! #) +!# 8#

+-$+ /!#) , ! #+ * #) *+0 $ * 0/ ) 3 / !+! # # +! */ # $ * ,

. *+ + )/0* /! $ $+ -+* $+* 3 ! # $ * -+* # !1, +$ +

+- /! $ #* ! * 1* 3 $+ +*, 3 !, /! $ ) *$+! * 1* 3 $+ %, !

2 ! * 0 -2! # +! ! #.+*65 # +! /, 2 !1 #) $+ $ 8 !1 *+ 2* ,

#.+ *+ ) -+* +!4$ 6 !1 -*+$ -+* # !1 $+ * 2 ! +$ * :

#) * !- ** !1 +! -*+$ +$0 ! * # 3 # $ # , +* +$0 ! !1 * * # 3

+ 2# +! * 3 -*+$ -- * !# -+* # !1 $+ 5 ! /, #) # +! +- +$ +- #)

$+ ! $ #)+ *+ + * 3 +2 / 2 #* # . #) #.+ #2 , 0 +! # $

* -*+$ - ! ! ! -*+$ #+2* $5

Keywords: $ * -+* # !1; ! 2* ! #.+*6 ; $+ +$0 ! # +!; # 3

iii

em Problemas de Previsão e de Decisão

Paulo Sérgio Abreu Freitas

Resumo

* 3 <+ =* # $ +* = 2$ *+0 $ +$2$ $ $2 # >? , = ) 0 #2

@2 3 * "3 +0 *3 * !# $ +$ +*# $ !#+ !<+ # +!"* +, #+ =,

#* 02 ><+ +** >? !<+ +! # !# !+ # $ +5 $+ $ + $ -A +$+

, = B"3 + * +* $+ + * # 3 $ !# $ *+02 #+ , +$ 0+

* # 3 , # $ + +* $=#+ + +$ 2# +! $ !# - !# 5

$, $2 #+ 2#+* 9 !#* + @2 * !1 * CD(D%, *=$ + +0 +!+$ $

&''E 9 - ! $ @2 = +!3 ! !# - # *$+4!+ 3 <+ $ " , $ @2 2 ?

* $ * % * F+"3 *+ 2* * !# - * 2$ $+ + +$+ ! + G+ $ )+*H, +! +

*+ + !# - ><+ + # $ F ><+ $+ + I! + * @2 * $ !+*$ $ !# 2$

+$ 2# ><+ 8 1 !# 1+ 8 2 # 3 5 *+ + , $2 # + ) #J$ * - # ,

@2 + $ !<+ * $ @2 , !+$ $ !# + ) + * #=* + $

*+ * + * ><+ #*2#2* +2 # +%, $ ! <+ +2 1* 2 +$ 8 % * $ #* F ><+ + $+ +5

$ # *! # 3 + * 1$ " +, $I # + $+ + 9 !+*$ $ !# 204+ # $ 9

+ $ * 8 +* + +$0 ! + !#* , -+*$ 2 #* * +2 $ ! $ F * + * +

+ ) !# - ><+ 2$ I! + $+ + !<+ *+ * +, $ $+ @2 + # $ F +,

@2 = $ # + ! 2 $ * ><+ K * # *A # + *L * + + 5 #

0+* 1 $ # *! # 3 # $ +# ! 3 !# 1 $ $ )+* * + * 2 # + , @2 * $

# *$+ - J! +$ 2# +! , @2 * $ # *$+ - " , +2 * # 3 5

@2 $ +$0 ! ><+ +* 1 ! $ !# *+ + #+ ! # * #2* +0* * 3 <+ =*

# $ +* #J$ + # ! + !+ +!# 8#+ ><+ * ! 2*+!

2 *3 +! 5

+ #* 0 )+ +! 2 !# # *# ><+, * # ! 24 #2 * - * !# -+*$

iv

* 2* 3 $ !# 5 $+ + ! 2*+! @2 +! *"$+ !+ #2 + -+* $ *

-2!>? 0 * 2 ! , -+* $ 2# 3"* -+*$ G#* ! *H #* 3=

$=#+ + # $ ><+ * 2* 3 !# - ><+ # # 3 5

+* $ 8 +* , ! $ !# , 2 -+*$ +$0 ! * ! *$ !# # $ # 3

* # 3 +$ + +0B # 3+ $ )+* * - J! - " + * 2 # + - ! :

mistura de modelos síntese de modelos5

+ +!# 8#+ mistura de modelos, -+ *+ + # 2$ 8# ! <+ -+*$2 ><+ $

+!) * +$0 ! ><+ ! * # $ # 3 2 ! + $+ + # !#+ , -+*$

+ * * +$ +** >? 1! - # 3 + 3 $ !# 8 # !# !#* @2J!

# $ # 3 * # 3 + $+ + ! 3 2 5 * + - #+, -+ ! +! * + +

+ + $+ + , $ + * 1 ! * F $ $+ + 5

- $ !# , -+ ! +* +* ! +$0 ! ><+ ! * 2 2 2$ # *$+ !<+ ! *,

+! # #2A + + *+ 2#+, +!#+ +!#+, 2 @2J! # $ # 3 * # 3 +

$+ + ! 3 2 5 * - "$+ 8 #J! $ )+* 1! - # 3 ! +$0 ! ><+

# ! L % @2J! # $ # 3 +! + + # *$+ !<+ ! *%

@2J! **+ * 2 # !# +$0 ! ><+ ! * " # 3 * $ -+*# $ !#

+** +! 5

+ +!# 8#+ síntese de modelos, -+ *+ + # 2$ 0+* 1 $ * !# - ><+

$+ + +$ + #+ # 3 $ !# +* 2$ $+ + * 1* <+ !M$ !+$ $ !# ,

* 1* <+ # ! J! !M$ +2 * 1* <+ ) *$L! !M$ % +* 2$ *

! 2*+! * -2!>? 0 * 2 ! %, +$ 3 # K $+ ><+ * 3 <+

=* !<+ # +!"* 5 * - #+, B2 # - $+ + ><+ * F ><+ !

2$ *=4- #* 1 $ 2 ! + 2$ $+ + * 1* <+ !M$ , $ # *! # 3 +

*+ $ !#+ " + *=4 *+ $ !# * # +! * F ><+ =* , !#

!# - ><+ +$ +! !# ! 2*+! 5 + # * +*$ !# , = *+ + # # $ ><+ $2 #M!

+ $+ + +$ +! !# , - F ! + 2 + *# + 3 +* + ) * *M$ #*+

!# - + ! - *=4- #* 1 $, * ! $ !# + @2 F $ * #+ + $+ +

! 2*+! 5 !# - ><+ + $+ + * 1* <+ !M$ 3 * - # 2$ -+*$

* # * + , B" @2 # $ +* - ! $+ * 8 2 3 $ !# 1* ! *# , +2 $ $+ #+ +

+ - #+ 0 8 -* @2J! 3 A3 !+ * + +1* $ +2 #*+ $ A* +% =* 5

+$ ! 4 @2 !# - ><+ 3 * - # +* 3 ><+ * # 3

v

*# * + * 2 # + 8 * J! +$ 2# +! - #2 , +$ =* $2 ,

3 * - +24 @2 0+* 1 ! " *=4 *+ $ !#+ + $ * 0 # !# - A3 5

+! 2 24 @2 $ #+ + +1 )A0* , +! # #2A +* 2$ $+ + * 1* <+ !M$

2$ * ! 2*+! , + * +! * +$+ 2$ 0+* 1 $ 1 !=* ! ><+

*+0 $ * 3 <+ =* # $ +* !<+ # +!"* +$ +** >? !<+

! * , I# $ $ * @2 !<+ ) B *# F +0* @2 + G3 * *+H *+ +

1 * +* =* 5

2$ - + # * +*, $ #+ + +1 mistura de modelos -+ #2 !+ +!# 8#+

*+0 $ # * + <+ + # $ +0 * +, +! ? <+ 3 +*

-2!>? 2 #+ $ * # , $=#* , $ 3 F ) 0 #2 $ !# 2 *

!# - ><+ # $ ><+ $+ + * # 3+ , ! 2 ! + 0 !+ * #=* +

$A! $+ @2 * + 5

+* $ * # 2 #* 2 0+* 1 ! : !- *J! 2$ <+ + # $ *# *

2$ * 3 <+ * 2 # !# +$0 ! ><+ * 3 ? ; +2, +$0 ! ><+ + 2>?

* * # 3 , 2$ +0# *# * 2$ * 3 <+ - * !# 5 +!B #2* 4 @2 =

* - *A3 +$0 ! * * $ *+ * 3 ? , L + , #+$ * ? - ! +$ 0

! * 3 ? +$0 ! 5 -2! $ !# = @2 + $+ + * # 3+ + *

$ +!3 ! !# $ !# # $ +, +$ 0 !+ * #=* + + $A! $+ @2 * + , !@2 !#+

@2 + * #=* + 2 2 $ !# +! * + * 3 ><+ + $+ + * * # 3+ 0 $

-2!>? !<+ - * ! "3 , + @2 - 2 # + *+ + # $ ><+, * @2 * + 2 +

$=#+ + + # $ F ><+ !<+ ! *, $ -A * # *5 $ *# 2 *, * @2 +

+ +$0 ! ><+ ! * + 2>? * * # 3 -+ $ # $ + , +$ 0 $

-2!>? $=#* # + J!# + K@2 +! * ! # #2 +, # 3 $+

* +** * $=#+ + *+1* $ ><+ ! * $ +$ 8+ !+$ $ !# , $=#+ +

+!#+ !# * +*%, +$ 3 !# 1 $ +!) *$+ 3 * ? * 2* 3 + $ $+ ,

#+*! ! + $ * # "3 #2 F ><+ # # 3 + * !+3 +0 *3 >?

-2#2* 5

$0+* B +!3 ! !# * F * 2$ #2 + $ 8 2 # 3+ *+-2! +, + * 2 # +

8 * J! !#* # !#+ * F ! * $ @2 ! !)2$ 0+* 1 ! +$0 ! *

+ 2>? * * # 3 +2 + 2>? * # 3 % +$ ! +2#* , ! ! + + 2

$ !)+ * # 3+ -2!><+ 2 #+ $=#* + +! * , + )+* F+!# # $ +*

vi

+ +* 0+ &', +$ !" 2$ =* #2* $+, * # 3 +

!I$ *+ )L !#* + ! 1 <+ 2#L!+$ * 5 + * $ *+ +,

$ #"$+4!+ * $ #+ + +1 *=4- #* 1 $, +! * ! + 2$ $+ + )A0* +

* 1* <+ # ! J! !M$ +$0 ! + +$ 2$ * ! 2*+! 5 + 12! + +,

><+ $+ + )A0* + * 1* <+ ) *$L! !M$ * ! 2*+! =

+$ $ !# +$ 2 #* ><+ $ #+ + +1 mistura de modelos, !+ +!# 8#+

#+$ ? 0 $ * 3 ? 5

vii

N + +$+! O5 + +$0

“Don’t let reality keep you from your dreams.”

N !+!/$+2

viii

. !# #+ )+. $/ * # +! #+ $/ 3 +*, *+- +* !#L! + P+ = + * 12 , -+* )

12 ! , ! 3 2 0 3 5

) +#) * + 12 . #) ! #) .+*6 !1 1*+2 +- *+- +* !#L! + + * 12 ) 3 +

*! $/ 1* # * # +! ! -- # +!5 ) !2$ *+2 2 +! . ) 3 !1 1

!#+ ) 3 0 ! 3 */ # $2 # !1 ! -*2 #-2 5

+ #) *#$ !# +- #) $ # ! !1 ! * !1, ! 3 * #/ +- * , 8 * $/

* +1! # +! -+* #) 2 +*# *+3 #+ $ 5

+ 6!+. 1 #) - ! ! 2 +*# -*+$ !#*+ !3 # 1 ><+ * +! %

#) # +. $ #+ * !# #) .+*6 ! *+1* # 3 * +!- * ! 5

+ 2! ><+ * # ! ! # $ ! #* #+*, *5 +!A + # ! , 8 * $/

1* # #2 -+* #) - ! ! 2 +*# -+* #* 3 !1 #+ #) ! 3 * #/ +- 0+!5

#) !6 $/ * !# , .)+ ) 3 . / 2$ ! # $/ #), $/ 0*+#) * ! # *, ! P+<+ * + -+* #) 2 +*# #) / ) 3 + 1 ! *+2 / 1 3 ! $ , #) * 0/ $ 6 !1 # + 0 -+* $ #+ - ! $/ . /5

#, 02# !+# #) #, .+2 6 #+ 8 * #) !6 #+ $/ -* ! #) # ) 3 +!#* 02#

. #) 3 ! * #+ 0 $+* -4 +!- !# ! #+ * ! . $/ #* !1#) #+ 6 1+ !1 +!5

ix

List of Figures ... xi

List of Tables ... xiv

List of Algorithms ... xv

List of Symbols and Abbreviations ... xvi

1 Introduction... 1

C5C +!# 8# +- #) *+0 $ 55555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 & C5& 3 *3 . 555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 Q 2 On Models and Methods ... 9

&5C +! # 5555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 C' &5& + - # +! ! # $ # +!5555555555555555555555555555555555555555555555555555555555555555 CR &5E #4 @2 * # $ # +!555555555555555555555555555555555555555555555555555555555555555555555555555555555555 CQ &5S $ 4 */ !1 * $ # * 55555555555555555555555555555555555555555555555555555555555555555555555555555555555 &' &5R *# - 2* #.+*6 5555555555555555555555555555555555555555555555555555555555555555555555555555555555 &R &5R5C !#*+ 2 # +! 555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 &R &5R5& 2 ! 2! # +! #.+*6 55555555555555555555555555555555555555555555555 &T &5R5E !# - # +! ! # $ # +! #)+ + +1 55555555555555555555555555555555555555555 &( 3 Hybrid Dynamic Models for Advanced Time Series Forecasting ... 35

E5C !1 . #) +! # # +! * #/ 555555555555555555555555555555555555555555555555555555555555555555555555555555 ET

E5C5C 2#. * ! * # +!555555555555555555555555555555555555555555555555555555555555555555555555555 ET E5C5& 2 * *+ !1 )! @2 5555555555555555555555555555555555555555555555555555555555555 EQ E5C5E # *! # 3 * *+ !1 #)+ 555555555555555555555555555555555555555555555555555555555 S'

E5& #+ ) # #* ! !1 55555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 S&

x

4 Combining Predictions ... 56

S5C !#*+ 2 # +! 555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 RQ

S5& ! * +$0 ! # +! 55555555555555555555555555555555555555555555555555555555555555555555555555555555 R(

S5E # 3 O 1)# 555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 TE

S5S 8# ! ! * +$0 ! # +! 5555555555555555555555555555555555555555555555555555555555555555555555555555 TQ

S5R 8 * $ !# 2 # 5555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 Q'

5 Combining Decisions ... 72

R5C +$0 ! !1 +! 3 5 +$0 ! !1 * # +! 55555555555555555555555555555555555555555555555 QE

R5& /$$ #* + # 55555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 QR

R5E 8 * $ !# 2 # 5555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 Q(

6 Case Studies ... 87

T5C ! ! # 55555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 ((

T5& +2* $ # 5555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 DT

7 Conclusions ... 101

Q5C 3 . +- #) ! 2 # 55555555555555555555555555555555555555555555555555555555555555555555555555 C'&

Q5& 2#2* * )5555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 C'S

Appendix A Data Sets ... 105

5C 5555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 C'T

5& &'O 5555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 C'Q

5E &' 55555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 C'(

5S 555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555 C'D

xi

12* &5C: % +!#) / #+# ! #)+2 ! % +- !# *! # +! * ! !1 * ! #)

5 5 5 CDSD4CDT'%; 0% +!#) / ! 8 +- #+ 6 * ! #) 5 5 5 CDRD4'C

#+ CDDQ4'S%; % V2 *# * / +! 2$ # +! +- 1 ! #) 5W5 CDT'4'C #+ CD(T4

'S%; % +!#) / #+# ! #)+2 ! % +- )+2 02 # ! #) 5 5 5 CDT(4'C #+

&''R4'S%5 555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555CC

12* &5&: * ) * * !# # +! +- ! * * $ #* $+ : % + C; 0%

+ &5 5555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555CE

12* &5E: -- * !# ## *! *+ 2 0/ 4 C% $+ .) !: % 3 */ !1 α ,

.) ## !1 #) #+ '5'C; 0% 3 */ !1 #) , .) ## !1 α #+ '5D555555555&S

12* &5S: #*2 #2* +- !1 4+2# 2# 55555555555555555555555555555555555555555555555555555555555555555555&Q

12* &5R: * ) * * !# # +! +- !1 4+2# 2# 2 ! . #) E 2! # 5 555555&(

12* &5T: +1 # $ 5 55555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555E&

12* &5Q: *-+*$ ! +- #) . #) * # #+: % #) !2$0 * +- ! 2# ; 0% #)

!2$0 * +- 2! # ; % #) $ 1! #2 +- #) . #) 55555555555555555555555555555555555555555555E&

12* E5C: % $2 # #* ! 4 # # +! */ * ; 0% # $ * -# * - * #4+* *

-- * ! !1; % #) * + +1* $ +- #) -- * ! * 0% ! +14 +1

%55555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555ED

12* E5&: % $2 # -- * ! 4 # # +! */ * + ! % ! #) * 1* 3

#* ! ! +## ! %; 0% #) #* ! ; % #) * + +1* $ #* ! *

! +14 +1 %55555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555ED

12* E5E: % * 1 ! ! 2# 3 #+* +- +0 *3 # +! ; 0% ! 2# ## *! -# *

-- * ! !1; % ! 2# ## *! -# * # ! * !15 5555555555555555555555555555555555555555555555555SC

12* E5S: * # 3 # $ # +- #) -- * ! 4 # # +! */ * +0# ! -*+$

4 C% $+ + ! %, + # $ 0 +!: % C4 # 4 ) -+* #

**+* ; 0% C&4 # 4 ) -+* # **+* 55555555555555555555555555555555555555555555555555555555555555555SS

12* E5R: +$ * !1 #) * + +1* $ +- #) -- * ! 4 # # +! */ * +##

xii

12* E5Q: # R' +- C4 # 4 ) * # 3 # $ # + ! %

+-$2 # * +## ! % +0# ! #) * 0/ % #) @2 !# # $ # +! +*

0% #) $2 # ! +2 # $ # +! $ #)+ + +1 5555555555555555555555555555555555555555555555555555555R'

12* E5(: % * # C'' 3 2 +- # $ * ; 0% * + +1* $ +- 5 5555555555555555555555555555R&

12* E5D: !# 1* # +! +- # $ * %5 555555555555555555555555555555555555555555555555555555555555555555555RE

12* S5C: 2 #* # +! +- #) * +! +- +$0 ! !1 . 1)# ! ! # 3

-* $ .+*6 1 3 ! -- * !# 3 2 -+* #) -+*1 ## !1 - #+* + -- !#5 555555555555555555TS

12* R5C: % ) + # -2! # +!; 0% .+ 8 $ +- -2! # +! , -+* u=D !

C

v= + ! %, ! -+* u= =v & +## ! %55555555555555555555555555555555555555555555555555555QT 12* R5&: V2 !# # $ # -*+$ 2 ! #* 02# +!5 55555555555555555555555555555555555555555555555QQ

12* R5E: % # S'' 3 2 +- # $ * S; 0% U #+1* $ +- +0 *3 # +! **+*5 555555Q(

12* R5S: ! 4 # 4 ) * # 3 # $ # -*+$ $+ 4 O ! 4

O, -+* # $ * S # &'' 3 2 %5 555555555555555555555555555555555555555555555555555555555555555('

12* R5R: ! 4 # 4 ) -+* # **+* -#% ! #) +** +! !1 ) #+1* $

* 1)#% -*+$ $+ #+ S: % 4 O; 0% 4 O5555555555555555555555555555(C

12* R5T: * S: @2 ! +- @2 !# +## ! +! -#% ! #) ) #+1* $

+-#) +** +! !1 * * # +! **+* -#% * 2 # !1 -*+$ #.+ *+ ) : %

* ; 0% 5555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555(&

12* R5Q: * S: @2 ! +- @2 !# # $ +! -#% ! * # 3 +!

+ # * 1)#% * 2 # !1 -*+$ #.+ *+ ) : % * ; 0% 5 5555555555555555555555555(E

12* R5(: * S: +!#+2* +# +- #) 3 * 1 +- #) * # + +- 3 2 +0# !

0/ $ #)+ + +1 * ! , 0/ 3 */ !1 #) # $ )+* F+! ! 1*

+-/$$ #*/ $+!1 +! + # 55555555555555555555555555555555555555555555555555555555555555555555555555555(R

12* R5D: +!#+2* +# +- #) * # + +- 9 % 3 * 1 , ! 0% $ # ! *

3 # +! 9 +- #) * # + +- 3 2 +0# ! 0/ $ #)+ + +1 * !

, +3 * D # $ * , 0/ 3 */ !1 #) # $ )+* F+! ! #) 1*

xiii

+! + # , -+* #.+ # $ * 5 55555555555555555555555555555555555555555555555555555555555555555555555555(T

12* T5C: * #4 -- * ! +-: % &'O; 0% &' 555555555555555555555555555555555555555555555555555(D

12* T5&: * &'O: % # &'' +- #) C4 # 4 ) * # 3 # $ # +

! % +- 4 C% $+ , -+* α ='5TS ! ,VR=C; 0% #) #* !

* ; % #) * + +1* $ +- #) #* ! * # $ %5555555555555555555555555555555555555D'

12* T5E: * &'O: 2 +- #) *

(

)

3 */ !1 #) # $ )+* F+!5 55555555555555555555555555555555555555555555555555555555555555555555555555555555555555555DC

12* T5S: * &'O: % # &'' +- #) C4 # 4 ) * # 3 # $ #

+0# ! -*+$ #) )/0* $+ 4 + ! %; 0% #) +** +! !1

* # +! **+* 5 555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555DE

12* T5R: * 55555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555DQ

12* T5T: % #* ! * +- #)*+21) U #* ! !1; 0%

+$ * !1 * + +1* $ +- * ! +- #) #* ! * 5555555555555D(

12* T5Q: * : @2 ! +- **+* + # #+ +! #+ %, #)

+** +! !1 ) #+1* $ !#* % ! * # 3 +! + # 0+##+$% -*+$

$+ : % U 4 ; 0% U 4 5 5555555555555555555555555555555555555555555555555555555555555555555C''

12* 5C: % $ * ; 0% # * + +1* $5 55555555555555555555555555555555555555555555555555C'T

12* 5&: % $ * &'O; 0% # * + +1* $5 55555555555555555555555555555555555555555555555C'Q

12* 5E: % $ * &' ; 0% # * + +1* $5 555555555555555555555555555555555555555555555555C'(

xiv

0 E5C: $2 # +! ## !1 -+* D # $ * 5555555555555555555555555555555555555555555555555555555555555555555RC

0 E5&: # 3 2 ## ! 0/ 2 +40 # $+ ' -+* D $2 # # $ * 5 55555RE

0 E5E: +$ * # 3 * # 3 *-+*$ ! , C ! S4 # 4 ) , +- D -- * !#

$+ !1 *+ ) , -+* -- * !# #/ +- !+! # # +! * #/ , , +*

2!6!+.!%5 5555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555RR

0 S5C: 3 * 1 *-+*$ ! +- +$ ! 3 2 $+ ! #) * +$0 ! # +!

+3 * D * 5 555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555QC

0 R5C: $2 # +! ## !1 -+* D # $ * 5555555555555555555555555555555555555555555555555555555555555555555Q(

0 R5&: S * 2 # : # 3 2 ## ! 0/ #.+ * # 3 $+ , ! #)

1 ! * # +! ) , -+* #.+ # $ )+* F+! , C ! C&5 ) 0 # *

! # ! * !#) 5 555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555QD

0 R5E: * S: 2 # +- ! 3 2 ! +$0 ! $+ . #) * # #+

* # +! ! +! + # $ # +! *+0 $ , ! # *$ +- 1 ! * # +!, -+*

#.+ # $ )+* F+! , C ! C&5 555555555555555555555555555555555555555555555555555555555555555555555555555555555555(C

0 T5C: 2 # -+* # $ * &'O5 5555555555555555555555555555555555555555555555555555555555555555555555555DS

0 T5&: 2 # -+* # $ * &' , &' C ! &' &555555555555555555555555555555555555DR

0 T5E: * : 2 # +- ! 3 2 ! +$0 ! $+ . #) * #

#+ #) * # +! ! +! + # $ # +! *+0 $ +2#4+-4 $

xv

1+* #)$ E5C: #+ ) # #* ! !1 $ #)+ + +1/ ; %5555555555555555555555555555555555555555ST

xvi

p% 2#+* 1* 3 $+ +- +* *p

+$0 ! !1 $ #)+ + +1/: - * #, -*+$ * # +! , #) ! +$0 ! ! * +$0 ! # +!

* +$0 ! !1 $ #)+ + +1/: - * #, +$0 ! * # +! , #) !

* #* # ! * +$0 ! # +!

U /! $ ) *$+! * 1* 3 $+ %

-- * ! 4 # # +! */ * %

/! $ #* ! * 1* 3 $+ %

; $+ !1, -# * * $ ! */ - # * !1

4 + +$ + +- ! 20$+

O 8 +! !# / . 1)#

- ; $+ !1, -# * - * #4+* * -- * ! !1

2 !

C% * #4+* * !# 1* # 2#+* 1* 3 $+ %

O !# 1* # * ! +$ . 6 $+ %

#4 + # * # * +!7 + -2! # +!% #4 @2 * * # * +!7 + -2! # +!% ! 0 + 2# 3 # +!

! 0 + 2# * !# 1 **+*

! @2 * **+*

+! ! * 2#+* 1* 3 $+ %

+ 3 * ! * # +

* ! */ $ #)+ %

; $+ !1, -# * ## *!4 -- * ! !1

; $+ !1, -# * ## *!4 # ! * !1

0 -2! # +! ! #.+*6

2* 3 $ #)+ %

4 +3 * ! 4 # +! 3 * +!

+-++# $ ! @2 * **+*

O ! +$ . 6 $+ %

2$ +- @2 * **+*

xvii

X 8# ! * #* # ! * +$0 ! # +!

otation

k

y +2# 2#7+0 *3 # +!7$ 2* $ !# # # $ k%

k

u * 1* +! ! 2# 3 * 0 7+0 *3 # +! 3 #+* # # $ k%

k

ε +0 *3 # +! !+ # # $ k%

( )

J θ + -2! # +!

Y

k

θ # $ # +- 3 #+* +- * $ # * θ +* θ_k

Z C Y

k k−

θ C4 # 4 ) * # 3 # $ # +- θ_k

Z Y

k k

θ - # * # $ # +- θ_k

k

P 3 * ! 4 +3 * ! $ #* 8 +- θ θ−Y_k

Z C

k k−

P 3 * ! 4 +3 * ! $ #* 8 +- θ_k−θY_{k kZ −C}

Z

k k

P 3 * ! 4 +3 * ! $ #* 8 +- θ_k−θY_{k kZ}

Z Y_{k k h}

y ₋ h4 # 4 ) * # 3 # $ # +- y_k

Z

k k h

e ₋ h4 # 4 ) * # +! **+* +- y_k

k

η #2*0 ! 7 *+ 7 / # $ 3 #+* !+

F # # #* ! # +! $ #* 8

( )

* k

≡

Q η #2*0 ! !+ +3 * ! $ #* 8

( )

* _k

r≡ ε +0 *3 # +! !+ 3 * !

r ≡ r

Q Q $ #* 8 +- !+ 3 * ! 4 +3 * ! * # +

Z C Y

k k k k

d ≡ y −y ₋ * 2* 3 # $ #+* !!+3 # +! # # $ k%

k

Introduction

Contents

C5C +!# 8# +- #) *+0 $

C5& 3 *3 .

Abstract

O # *# 0/ !#*+ 2 !1 +$ 0 0+2# #) 20B # +- #) #) 9

$ #)+ + +1 -+* +$0 ! !1 + 2# +! ! * # +! ! +! *+0 $ 9, !

&

1.1 Context of the Problem

,umerical supervised learning * - * #+ !/ +$ 2# # +! *+ -+* .) )

$ #) $ # * $ #* $+ , ! 2* +* +- +#) * #/ , !# - ! # $ # -*+$

# +* @2 ! +- ** / +- # G ## *! H%, - ! ! ! input3output 2 !

9 -+* ! # ! , #) $ !1 +- G /$ #+$ # H !-+*$ # +!, - ! ! ! ! 2# ,

!#+ 1!+ # , *+1!+ # , +* * * # 3 !-+*$ # +!, - ! ! ! +2# 2# 5 !

# $ # , #) $+ ! 0 2 -+* generalisation, #) # , #) ! 2 # 3 !- * !

+-G *+ * # H +2# 2# ## *! , -*+$ 2 $ !# */ # +* @2 ! +- ! . ! 2# ## *! 5

$ * -+* # !1 +$$+! 1+ ! $ !/ # $ ! !1 # +! , .) * $+ #

+-# ! #) * +* # * ! 8 ! # $ , ! #) 3 * 0 ) 3 #* 02# +! *+ *#

! +** # +! -- # #) # * #/ / !+! # # +! */ ! # $ [&'\ -+* * 3 .%5

O #)+2# * - !1 * # 3 2* /, #) $+ #+ 0 2 )+2 !+# 0 #++ +$ 8,

)+2 0 0+#) - 8 0 ! *+02 #, ! #) $ #)+ #+ # $ # #)+ $+ )+2 0

-- !#5 ) * -+* , # +!3 ! !# #+ *# -*+$ #) + !# 3 .

!# -/ !1 !1 , G * / 0 #H $+ , .) ) $ 1)# * @2 * ) 1) +$ 2# # +! 02* !

-+* # !# - # +! ! + # $ # +!5

+ # * - * ! ! #) # * #2* +! ! 2* 40 -+* # !1 -+ +. #) # #* # +!

* 1$, 2 2 / * - ** !1 #+ #) # +! +- 2 # / * * #*+! [QD\ -+*

* 3 .%5 ) * ) 1) / !+! ! * $+ * @2 * !1 #) + # $ # +! +- * $ # *

- ! ! ) 1)4 $ ! +! 2! * !+! ! * #4 @2 * + # -2! # +!, #/ /

. #) $ !/ + + # $ [R'\ -+* +$ * ) ! 3 !#*+ 2 # +! #+ #) + # $ # +!

+-! 2* ! #.+*6 %5 ! #)+ $+ , * $ # * 2 # !1, 1 3 ! ! . # , 2$0 * +$

! , $+ # $ +*# !# /, #) * * # # +! #+ !+! # # +! */ # ! @2 # [TS,

TT\%5

! $+ # +- #) # * #2* 0+2# # $ * -+* # !1 ! ! 2* 2 *3 *! !1, #) #

#* # +! * 1$ -+ +. , . #) #) --+*# * # #+ #) !# - # +! !

# $ # +! +- !1 $+ , ! +$ ! + # $ . #) ! +- $ !/ + 0

$+ , -- * !# ! #*2 #2* , ! F +* ! * $ # * # +!5 ) * # +! 0 ) ! #)

* 1$ #) 2$ # +! #) # G0 #H $+ ! 0 +!3 ! !# / !# - -+* 1 3 !

*+0 $5

! * 4.+* *+0 $ , #) G#*2 H $+ 6 / #+ 0 2!6!+.!, ! #) $+ 2 2 /

E

2$ # +! ) 3 #+ 0 $ + #) # #) *+0 $ 2! * #2 / ! 0 # 0 / $+

! #) 2! * / !1 + # $ # +! *+0 $ + 3 5 2* !1 #) *+ , #) * * +$ 2

#) # $ / 0 ) * #+ +*# +2#, 2 ) )++ !1 *+ * # $+ # +! * # * 5 !

*# 2 *, - #) )+ ! $+ #++ +$ 8 +* +3 *4 * $ # * , # ! *! #) !+

!#* ! #+ #) # , #)2 2 !1 ++* 1 ! * # +! *-+*$ ! , 5 5, *+ 2 !1 ++*

* 2 # .) ! #+ ! . # , 515, [R\%5

# *! # 3 #+ #) #* # +! * 1$, 3 * *+ ) ) 3 0 ! *+ + , .) *

$2 # $+ !+*$ /, 20+ # $ +! % * 8 +* ! +$0 ! 5 ) $ #+

$ ! $ #) $ # * 6 +- # 6 !1 !#+ +2!# +! / +! $+ , 3 ! - # + # $ ,

! #) # $ # ! # 0 # . #) * # #+ #) ) * # * # +- #) # ! #+ #)

*+0 $ # -5 +* +3 *, # ) +# !# 3 !# 1 ! # *$ +- -- ! /, -- # 3 !

! *+02 #! 5

) +$0 ! # +! * 1$ ) 0 ! - ! -+* 3 * * +! , !+# +! / #+ $ *+3

2* / +* +$ 2# # +! -- ! /, 02# + #+ ) 3 # 0 # +! ! #) *+

+-$+ # +!, 5 5, # !1 - $+ #) # + # $ 1 3 ! * # * +! -*+$ #

+- ! # $+ [QR\5

) - * # *+ + ! #) * # +! * ! #) # * #2* +! # $ * -+* # !1

+3 * E 1+5 + # +- #) $ + !# #+ #) + # $ # +! +- . 1)# , +! # !# ! # $ ,

+- +!3 8 ! * +$0 ! # +! +- #) -+* # *+ 2 0/ -- * !# $+ 5 ) - * #

#2 1+ 0 6 #+ # ! * !1 * [S\, ! + 0 / +#) * , .)+ +! * #) ! *

+$0 ! # +! +- #.+ -- * !# -+* # !1 $+ 5 ) *+ ) . # * 8# ! #+ $+*

#) ! #.+ $+ ! [E', R&, QE\5 2*3 / +- #) 3 # # * #2* +! -+* # +$0 ! # +! ! 0 -+2! ! [CQ, &C, &D\5 !/ +#) * +!#* 02# +! ) 3 $ *1 +! #) ! * +$0 ! # +!

+- 2 *3 ! 2* ! #.+*6 , 2 ) [ET, R(\ -+* * 1* +! *+0 $ ; [ES, QC\ -+*

- # +! *+0 $ , ! [S', ('\ -+* -+* # !1 *+0 $ 5 2* !1 #) # #)

) $ ) 3 0 ! # #+ #) +!# 8# +- 2 *3 ! 2* ! #.+*6 , * # 3 +*

* # 3 $+ 5

+ +$0 ! # +! ! 0 ** +2# ! -- * !# . / , ! $ / 2 !1 #) * ! * +*

!+! ! * * $ #* $ # $+ 9 , 515, [E, &E, EE\ +! #) 2 1 +- ! 2* ! #.+*6 ,

! [RR\ +! +$0 ! !1 -+* # . #) 1 ! # 1+* #)$ !+! ! * $+ 5

2*#) *$+* , # ! 0 +! . #) +! # !# +* 3 * 0 . 1)# !1 * $ # * , +* 0 +!

!+! * $ #* 6 *! 4* 1* +! . 1)# !1 *+ ) [S&\, -+* ! # ! %5

! #) +!# 8# +- -+* # !1 *+0 $ , #) +$0 ! !1 $ #)+ ) 3 0 ! !# /

S

* # $ .) ! +$0 ! !1 $ * $+ , ! +$0 ! !1 +** # !-+*$ # +! $ / !+#

#+ 1! - !# $ *+3 $ !# +- #) * 2 # , -+* ! # ! , [C(\%5 +! #) , .

*12 #) # +$0 ! !1 ! 3 2 $ *4#/ $+ $ / + 0 $ +*# !#5 ) + !#

+-3 . $ / 0 2 +*# 0/ $ !# ! U ! */ [(C\, .) * #) *+0 $ +- ! # 0 #/ !

$+ # +! * , .) ) $ / 2 2!* +! 0 / ) 1) 3 * 0 #/ ! #) - !

* # +!5 ! # 0 #/ ! $+ # +! $ / * 2 # ! ! *+ * # !# - # +!

+-2! @2 G0 #H $+ , ! -- * !# +! 9 #) * -- * !# ! #) #+ + +1/ +* ! #)

*! !1 $ #)+ 2 9, $ / *-+*$ @2 / . ! * # +!5 )2 , #) !# -

G0 #H $+ $ / !+# ! * / 0 + # $ ! -+* # !15

) # * #2* +! +$0 ! !1 $ #)+ +!# !2 #+ 1*+., ! $ !/ @2 # +! ) 3 $ *1

+! 2** !# / +! *! !1 #) 3 !# 1 ! 3 !# 1 +- +$0 ! !1 #.+ +* $+*

$+ +* #) * # $ # 5 ) +* # /, # ! 0 *+3 ! #) # #) +$0 ! !1 *+ 2* !

. / +2# *-+*$ +*, # #, @2 #) -- # 3 ! +- #) G0 #H +- #) ! 3 2

$+ , 02# +! + !+# 12 * !# #) $ 3 ! $ * /, $+ # / 2 #+ #)

* ! +- !+ +* #) $ # !2$0 * +- # 3 0 5

!+#) * -- 2 #/ * # #+ #) !2$0 * +- ! 3 2 $+ ! #) +$0 ! # +!5 #)

!2$0 * 1*+. , #) * 2 # !1 **+* * , # # ! #) +*/, 02# #) 2$ # +! #) # #)

**+* * ! ! !# +* 2! +** # 0 +$ 3 [R(\%5 !+#) * $ +*# !#

@2 # +! #) # $ / $ *1 ! #) +$0 ! # +! * 1$ * # #+ #) #* 4+-- 0 #. !

-- ! / ! -- # 3 ! 5 - #) + +- 2* / ! 1 1 0 +$ * #+ #) 3 !1

! +$ 2# # +! # $ , #) !, #+ +$ 8# !#, +$0 ! !1 .+*#).) 5 ! /, . $ /

@2 # +! ! .) ) * 2$ # ! +$0 ! !1 * - * 0 #+ - ! !1 !1 G0 #H $+ 5

) ! . * #+ #) @2 # +! $ / !+# 0 / #+ *+ 2 +* $ / 0 #++ -- 2 # #+ 3 * -/

! * # 5 # $ 1)# ! +! #) - *+0 $ +! ) ! 5 *$ #*+!1 [C\ *+3

$ #)+ + +1 12 ! -+* +$0 ! !1 -+* # , !#*+ 2 !1 +$ # * # #+

#) * - 3+2* !1 +* !+# #) +$0 ! # +! * 1$5

) #) 6 #+ 2 +$ # *! # 3 *+ ) ! # / !#*+ 2 ! [&Q\% 2 !1

#) +$0 ! # +! * 1$, .) * , .) # 2 !1 2 *3 ! 2* ! #.+*6 , +! !

) 3 1++ , - !+# 0 ## * -+* # !1 *-+*$ ! , #)*+21) -- !# * 2* 3 # $ # +!

! # 3 !# - # +! $ #)+ 5 + # +- * $ #* * # 3 $+ *+ + ) * 9

! 2* +* +#) *. 9 * 0 +! # $ 43 */ !1 ! * * $ # * #) # ! 0 -- !# /

# $ # ! * 2* 3 $ !! *5 2*#) *$+* , . +! 2* . #) #) 3 . + !# #) # #.+ +*

$+* 20+ # $ $+ , ! * / +$ + +* ! * / +$0 ! , $ /, ! 1 ! * ,

+! # #2# 0 ## * # *! # 3 #+ #) + # $ # +! +- !1 ! 2* ! #.+*6 ! # *$

R

* +*# ) * * * # #+ # $ * -+* # !1, +$ $ / 0 # #+ +#) *

*+0 $ , 2 ) - # +! +* 2 # * !15

) +$0 ! # +! * 1$ 8 +* ! -- * !# . / , 2 !1 #)*+21)+2# ! *

* $ #* $+ #+ / - ! # $ # 5 ! 1 ! * , . ! !# -/ #)* -2! $ !#

. / +- +$0 ! !1:

 Model mixing, .) * #) )+ ! # $ # +$ 2# +$0 ! # +!

+-# $ +-# -*+$ -- * !# $+ ;

 Model synthesis, .) * #) )+ ! # $ # +0# ! -*+$ #) ! *%

+$0 ! # +! +- -- * !#, *# $+ , # $ # ! +!B2! # +! +* ! @2 ! ;

 Model switching, .) * #) )+ ! # $ # # -*+$ #) # $ #

-- * !# $+ 5

O $ / !# -/ #)* -2! $ !# +!#* 02# +! +!1 #) #2 / 2 !1 #) +$0 ! # +!

* 1$, ! $ / ! #) +!# 8# +- * # 3 $+ $ 8 !1, +- * # 3 $+ /!#) ,

! +- * * # 3 $+ $ 8 !15

O *+ + 8# ! !1 #) 2 2 -* $ .+*6 -+* ! * / +$0 ! !1 # $ # -*+$ -- * !#

$+ #+ + . #) #) .) * #) -+* # **+* -*+$ -- * !# $+ *

+** # 5 ! / #) -+* #.+ $+ +! * , 02# #) ! 0 8# ! #+

$+* $+ 5 - /, !+! ! * # *$, - ! 0/ + !#40/4 + !# $2 # # +!

+-#) @2 ! +- ! 3 2 * # 3 # $ # , ! 2 ! #) +$0 ! !1 8 * +!5

O + * 3 1 ! * # +! +- #) ! /# * 2 # 6!+.! -+* #) ! *

+$0 ! # +!5

O / ## !# +! #+ $+ /!#) .) ! !1 . #) ) 3 / !+! # # +! */ # $

* , ! . !# ! #+ #2 / +$ $ #)+ + +1 2 * # #+ #) !# - # +!

! # $ # +! +- )/0* /! $ $+ 5 ) +- #) +$ +! !# $+ $ #+ +2!#

-+* *# 2 * ) * # * # # # +! #) #* +- #) # $ * 5 +!# !2 !1 #) .+*6

# *# 0/ 3 [TT\, #) )/0* $+ 9 +$ + 0/ /! $ $+ ! ! 2*

! #.+*6 9, - ! *# 2 * +- #) 2! 3 * # !+0 *3 +$ +! !# $+

[Q(\5 2*#) * $ #)+ + +1 12 ! * + *+ + -+* # !# - # +!, - /

+ # $ # +! *+ 0 +! -+* # **+* -+* *1 )+* F+! 5

) +$0 ! # +! * 1$ 20 @2 !# / +! * ! #) +!# 8# +- +!4$ 6 !1

+*, * #) *, +0B # 3 +! 2 +*#5 ) !# - # +! ! # $ # +! +- * * # 3

T

0 * # * 5 ) 2# #/ -2! # +! * 2 2 / !+!4 -- * !# 0 , !1 -- 2 #/ #+

#) +3 * *+ [CD\ -+* * # # +! +- ! 2* ! #.+*6 2 !1 /$$ #*

+ # -2! # +! %5 O 2 #.+ -- * !# . / +- !#*+ 2 !1 $+ +$0 ! # +! ! #)

+!# 8# +- * # 3 4 * * # 3 *+0 $ : #) * !- ** !1 +! -*+$ +$0 !

* # 3 # $ # , +* +$0 ! !1 * * # 3 + 2# +! * 3 -*+$ -- * !# -+* # !1

$+ 5 O $ / *12 #) # #) -+*$ * * - * 0 ! $+ # #2 # +! , ! * # +!

* 2 2 / * #+ +0# ! ! + # $ #) ! +! , 02# #) # $ 1)# ! +! +$

2 ! #) *+ , ! $ / #) # $ )+* F+! ! #) 1* +- /$$ #*/ 0 #. !

8 ! - 2 # * # +! **+* 5 # )+.! #) # #) * *+ ) ! *+ 2 #) 0 #

* 2 # , ! !1 +! #) # +! ) ! ! #) *+0 $ #+ 0 + 3 5 ! ! #) * +!

. / +2# *-+*$ #) +#) *, ! 1 3 ! *+0 $ 0+#) ! 0 #* ! +$ * 5

+ # +- #) +! 2 +! ) 3 ! #) #) . * 0/ +$ 2# # +!

8 * ! 5 + #) # ! , . !# * / 3 + #++ 0+8 ! +$ !1 #)

Q

1.2 Overview

! ) # * &, . * 0 #) $+ ! $ #)+ #+ 0 2 ! #) -+ +. !1 ) # * 5

2* ## !# +! -+ 2 $ ! / ! ! * #+ ) # * $ #* $+ -+* # $ *

-+* # !1 *+0 $ , # $ # #)*+21) #4 @2 * 0 $ #)+ , ! $ / #)

2* 3 #4 @2 * 1+* #)$ ! # 3 * !# 5 ## !# +! 1 3 ! #+ #) # # 4

$+ -+*$2 # +! -+* # $ 43 */ !1 * $ # * , ! #) * # $ # +! #)*+21) #)

W $ ! - # *5 O * !# 0* - !#*+ 2 # +! #+ *# - ! 2* ! #.+*6 ! * 0 #)

! 2* ! #.+*6 $ ! / 2 ! +2* #2 /: #) 2 ! 2! # +! #.+*65 !

# 3 $ #)+ *+ + #+ !# -/ #) !#* +- #) 0 -2! # +! , .) ! .+*6 !1 !

!+! # # +! */ !3 *+!$ !# 5

! ) # * E, . $ ) #) # +! +- 2 *3 ! 2* ! #.+*6 ! #) +!# 8#

3 ! # $ * -+* # !15 *+0 $ * 0/ ) 3 / !+! # # +! */ # $ * *

+ !# +2#, . +$ * .0 6 +! #* ! !1 ! -- * ! !1

* *+ !1 *+ ) 5 # *! # 3 * *+ !1 $ #)+ #+ * ! * #) #* ! !1

## *! +- ! 2* ! #.+*6 # # +! */ * + $ !# +! 5 $ /, . *+ +

G * - # * !1H * $ ! */ - # * !1% $ #)+ + +1/ * - * 0 # *! # 3 #+

# *$ ! # % #* ! !1, 0/ $ ! +- #+ ) # #* ! !15 ) +0B # 3 #+ +! *

* $ ! */ # $ # +! ! * $+3 +- /! $ #+ ) # $+ #+ . #) +.4

-* @2 ! / -- # , ! #) ! 2 !1 2 *3 ! 2* ! #.+*6 #+ +2!# -+* ) 1) *4

-* @2 ! / -- # ! + 0 / !+! ! * -- # 5

! ) # * S, . *+ + +$ ! . #+ 2 #) $+ $ 8 !1 *+ )5 ) 2 2

-* $ .+*6 -+* ! * / +$0 ! !1 # $ # -*+$ -- * !# $+ 8# ! #+ + . #)

#) .) * #) -+* # **+* -*+$ -- * !# $+ * 1! - !# / +** # 5

2* 3 ! # 3 8 * +! * + +! * -+* #) .) * #) #* !1#)

* # +! 0 #. ! #)+ **+* * 2$ #+ 3 */ . #) # $ , . *+ 2* #+

* 3 #) +$0 ! !1 . 1)# 3 2 .) ! ! . !-+*$ # +! 0 +$ 3 0 5

! ) # * R, ## !# +! 1 3 ! #+ #) # +! +- #) +$0 ! !1 * 1$ ! #)

+!# 8# +- +!4$ 6 !15 O 2 #.+ -- * !# . / +- !#*+ 2 !1 +$0 ! # +! !

#) +!# 8# +- * # 3 4 * * # 3 *+0 $ : #) * !- ** !1 +! -*+$ +$0 !

* # 3 # $ # , +* +$0 ! !1 * * # 3 + 2# +! * 3 -*+$ -- * !# -+* # !1

(

! ) # * T, +$ $ #)+ + +1 *+ + ! 2 ! #) * 3 +2 ) # * *

2 #* # . #) #.+ #2 : #) 0+! #+ 6 8 ) !1 &' ! 8 ! # $ *

* # #+ #+2* $ ! * , +*#21 5 ! #) - * # , . !# ! #+ / #) #+ ) #

#* ! !1 $ #)+ + +1/, . #) /! $ #* ! * 1* 3 $+ ! 2 ! *

0 -2! # +! ! #.+*6 ! 3 2 +$ +! !# +- #) )/0* $+ 5 ! #) ## * , .

$ #+ /, ! # +!, #) $+ $ 8 !1 $ #)+ + +1/ ! #) +!# 8# +- +!4

$ 6 !15

! /, ! ) # * Q, . 2$$ * #) $ ! 8 +* ! #) #) , ! 211 #

On Models and Methods

Contents

&5C +! #

&5& + - # +! ! # $ # +!

&5E #4 @2 * # $ # +!

&5S $ 4 */ !1 * $ # *

&5R *# - 2* #.+*6

&5R5C !#*+ 2 # +!

&5R5& 2 ! 2! # +! #.+*6

&5R5E !# - # +! ! # $ # +! #)+ + +1

Abstract

) ) # * 0* - / * 0 $+ ! $ #)+ #+ .) ) . . * - * ! #)

-+ +. !1 ) # * 5 O * 3 . #) 0 +- ! * #+ ) # * $ #* $+ -+*

#) # $ * -+* # !1 *+0 $ ! 2 #) * # $ # +! #)*+21) #4 @2 *

0 $ #)+ 5 ## !# +! 1 3 ! #+ /! $ #+ ) # $+ ! # # 4

* * !# # +!, ! +$ !1 # $ 43 */ !1 * $ # * 5 O * !# 0*

-!#*+ 2 # +! #+ *# - ! 2* ! #.+*6 ! * 0 #) $ ! ! 2* 4#/ $+

C'

2.1 Basic Concepts

$ * ! / +! # #2# ! $ +*# !# #++ ! #) #2 / ! 0 ## * 2! * # ! !1

+-) !+$ ! ! 3 * * +- * # !# * #, ! , ! $+ # , # $ ! 2 # $ # 1+

* # +! 5 5, -+* # !1%5 * # +! 3 . $ ! +- 2 +*# !1 +!4

$ 6 !15 1 * +- #) #) +- +2* 2! * # ! !1 ! #) 3 #/ +- +2* !# * * # # +!

+- #) ) !+$ !+! ! +! * # +!, -+* # !1 +! # +- 8#* + # !1 #) !# -

## *! ! #) # $ * #+ * # -2#2* 3 2 , + #) # 20 @2 !# +! * !+#

$ 20B # 3 / +* *0 #* * /5

) )+ +- #) # +- $+ ! $ #)+ -+* +$ 2# !1 -+* # )+2 ! +! #)

!-+*$ # +! ! # # # ) * # * # +- #) +0 *3 # +! 9 , 515, [CR\ -+* 0*

-# +12 +- -- * !# # $ * -+* # !1 $ #)+ 5 ) * 1 ! * +! *!

0+2# #) +$ 8 #/ ! - 8 0 #/ +- $+ ! $ #)+ 2 #+ #) /! $

+$ 8 #/ +- ) !+$ ! .) * # $ * -+* # !1 !3 1 5 +!3 * /, #) !

+- *+ 2 !1 G@2 6H ! G1++ H ! . * . #) ! )+*# # $ * @2 * #) # #) $+ !

$ #)+ 0 * 0 ! +$ 2# # +! / -- !#5 ) 3+ 2# +! ! # $ +- #) / # $ #) #

* 0 #) ) !+$ !+! 2! * #2 / ! +$ 1* +- $+! #+* !1 ! # # +!,

#) # , . / #+ +0# ! ! $ *+3 -+* # ! . !-+*$ # +! ** 3 ! , 3 !, #)

+ 0 * 3 +! +- #) # $ # +! *+ 5

$ * * 2 # -*+$ +0 *3 +* $2 # % 3 2 + # +!1 # $ , # * 12 * +*

** 12 * !# *3 , 0+2# +! +* $+* ) !+$ ! 5 ) * +* +0 *3 # +! *

#) * -+* # $ 4 ! !# ! #) * # $ +* +* * 3 */ $ +*# !#5 * 12 * ! # $ %

!1 43 * 0 # $ * ! 0 * * !# 0/ 3 #+* +- * 3 2 :

[

]

T k n

y y y

=

y

. #) ! 8 k * * !# !1 #) # $ ! # !# # .) ) #) +** +! !1 !2$ * 3 2 .

+0 *3 5 - #) # + 2* +* +0 *3 # ** 12 * !# *3 , #) # $ *

** 12 * / +* !# *$ ## !# ! #) @2 ! +- # $ # $ # - # $ * 5

)*+21)+2#, . +! * +! / * 12 * / # $ * 5

!-+*$ /, . $ / - ! # $ * #+ 0 # # +! */ - # #* 02# +! *+ *# ,

! 2 !1 #) $ ! ! 3 * ! * +! # !# +3 * # $ , 515, [Q\ -+* $+* *

CC

/ ## *! , ) -# , #* ! !# -- # , # 5 12* &5C )+. -+2* # $ * 8) 0 # !1

-- * !# !+! # # +! * #/ ## *! 5 ! &5C %, #) # $ * 8) 0 # #* ! ! +!

-- # . / +* @2 4 / ## *! 5

' R' C''

C'' &'' E'' S'' R'' T'' Q''

%

' C'' &'' E'' S'' '

&'' S'' T'' (''

0%

' &' S' T' (' C'' '

&'' S'' T'' (''

%

' C'' &'' E'' S'' R'

C'' CR' &'' &R'

%

Figure 2.1: (a) Monthly totals (in thousands) of international airline passengers in the U.S.A.

(194931960); (b) Monthly Index of Stock Prices in the U.S.A. (1959301 to 1997304); (c) Quarterly consumption of gas in the U.K. (1960301 to 1986304); (d) Monthly totals (in thousands) of houses

C&

) # # # *+ *# +- # $ * !- 2 ! 1! - !# / #) )+ +- #) #/ !

$ #) $ # #*2 #2* +- #) $+ ! #) $ #)+ #+ 0 +! * ! ) 5 ! +* *

#+ *+ 2 -+* # 0+2# -2#2* 3 !# , +$ 2$ # +! ) 3 #+ 0 $ 5 O 2$

#) # #) # +! # +- / # $ # ## *!, +* 1! , . #) !+ 5 * # +!

#/ / 0 +! #+ ) # * $ #* $+ +- #) -+*$:

(

)

k k k k

y = f x θ Ψ +ε &5C%

) !+ +* **+* +$ +! !#, ε_k, @2 ! +- 2! +** # * ! +$ 3 * 0 -*+$

*# ! *+0 0 #/ #* 02# +!, ! ! !# +- #) -2! # +! -+*$ f5 +*$ /, -+*

! /# +!3 ! ! , #) **+* +$ +! !# 2$ #+ 0 .) # !+ , 5 5, #+ ) 3

F *+ $ ! 3 2 ! +! # !# 3 * ! σ_ε&, ! . #) !+ * +** # +!, -2*#) * !+#

0/

(

)

(

)

',

, σ_ε 5

) 1! , - ! 0/ -2! # +! f, ! # $ 0 +$ +! !# ! ! 0 #) *

# *$ ! # +* #+ ) # 5 # ) ! 2# 3 * 0 x_k, ! 1 ! * - ! 0/ #

+0 *3 # +! +* 0/ 8+1 !+2 3 * 0 , ! ! +! #) 2!6!+.! * $ # * θ_k, #) #

)+2 0 # $ # 5 + 0 /, #) 1! ! + +! # +- hyperparameters Ψ −

-+* ! # ! , * $ # * #) # * 2 #+ - ! )+. * $ # * θ_k 3 */ ! # $ 5

) #+ ) # -2! # +! ! &5C% ! 0 3 . * 1* 3 $+ , .) * -2! # +! f

* # #) ! !# 3 * 0 y_k ! #) ! ! !# 3 * 0 x_k5 +! ! * 8 * +!

-+* f ! 0 +! * , #) * ! # *$ +- #) ! 2# +* ! #) * $ # * , . #) #)

3 !# 1 #+ !#*+ 2 - 8 0 #/ !#+ #) $+ 5 U+. 3 *, !+! ! * #/ ! #) * $ # *

$ / * @2 * 2 !1 !+! ! * + # $ # +! *+ 2* -+* #) !# - # +! ! # $ # +!

# 6 , ) ! ! * !1 #) -- 2 #/ ! + 3 !1 #) 2! * / !1 *+0 $5 ! #) $ *

, #) * $ # * * 2$ +! # !#, θ≡θ_k, ! -2! # +!f ! * 0+#) ! #) ! 2#

3 * 0 ! ! #) * $ # * 5 +- 2 ) 6 ! +- $+ +$$+! / 2 ! * #

* #) linear autoregressive $+ +- +* *p, p%, - !

' C C

k k p k p k

CE

+! ! * 8# ! +! ! 0 +! * , / # * *3 !1 ! * #/ ! #) * $ # * 5 )

-+ +. !1 +- $+* 1 ! * ! * * 1* 3 $+ * *# 2 * / 2 !

#) +!# 8# +- $+ +$0 ! !1, !#*+ 2 ! ) # * S:

+ C% y_k =θ_'+θ_{C C}x_k +θ_&x_&k+ε_k ! * $+ %

+ &% y_k =θ_'+θ_{C C}x_k +θ_&x_&k+θ_{E C}x x_{k &k} +ε_k !+! ! * $+ %

) / * * * !# ! 12* &5&, . #) * $ # * # #+ &5 +#) $+ * ! * !

#) * $ # * , ! #)2 #) # $ # +! --+*# $2 ) $ *, 2 # * ! #)

) # *5

4C'

'

C'

4C' '

C' 4S' 4&' ' &' S'

8_C %

8_& 4C'

'

C'

4C' '

C' 4&'' 4C'' ' C'' &''

8_C 0%

8_&

Figure 2.2: Graphical representation of linear parametric models: (a) Model 1; (b) Model 2.

+ #) # * ! * ! #) * $ # * ! 0 .* ## !

T k k k

y =u θ+ε

.) * #) + 2$! 3 #+* u_k =

[

]

[

]

CS

$+!1 +#) * !+! ! * $+ , ! 0 ! ! *4 !4#) 4 * $ # * $+ , +! #)

)/ * * $ # * * - ! , +* 2$ 6!+.!5

! +* * #+ +. -+* !+! # # +! * #/ ! #) # $ * y_k, #) /! $ % * $ # * 3 #+*

k

θ ! 0 ) * # * 0/ #+ ) # # $ 43 */ !1 * $ # * , . #) ) # $ 43 */ !1

* $ # * - ! !+! # # +! */ #+ ) # 3 * 0 , .) ) ! #2*! $ / 0

CR

2.2 Model Specification and Optimisation

+ $+ 2* /, . $2 # ) 3 +$ $ ! +- $ 2* !1 +* 3 2 # !1 )+.

1++ #) -+* # # $ # , ! #)2 #) $+ # - * 5

+ + # $ # +! $ ! / ! +! #) 1* +- 2* / #) # * @2 * , #)

+$ 2# # +! -- ! / +* #) + # -+* *+ 2 !1 #) -+* # , #) 1* +- +$ 8 #/

+- #) $+ , #) # $ )+* F+!, ! #) 3 0 # 5 ) 1* +- 2* / $ / !+#

. / 0 #) $+ # $ * # 3 1+ , ! # 2 2 / * 20 # !# / #) + # -+*

*+ 2 !1 #) -+* # 5 +$ # $ , $ * 02# 2* # $+ $ / 0 * - * 0 #+

$+* 2* # 02# + $+* +$ 8 +! - #) + ! 2* / !+# #++ * # 5 )

-+* # !1 )+* F+! +! * !# #++, ! + # $ )+*#4# *$ ! + # $ +!14

# *$ -+* # 2 2 / * @2 * -- * !# + # $ # +! * # * , 2! * #) $ -+* # !1

$ #)+ 5 2*#) *$+* , . 2$ #) # #) # 3 0 +!1 !+21) + #) # * 2* 3

! # 3 $ #)+ ! 0 $ +/ 5

+* $ 2* !1 $+ 2* /, . $2 # - * # / - ! .) # #) * # +! **+* *+ 2

0/ #) # $ # $+ * 5 ) # $ # yY_{k h k+ Z} - ! #) h4 # 4 ) * # +!, #) # , #) * # +! +- #) 3 2 y_{k h+} , +$ 2# . #) +* 1 ! # ! # !#k9 5 5, 2 !1 +! / !-+*$ # +! 2 #+, ! ! 2 !1, k 9 ! . #) # $ )+* F+! h≥C5 ) 3 2 yY_k ! # $ # -+* #) # $ ! # !# k ! +$ # $ 2 ! 00* 3 # +! +- yY_{k kZ −C}5 ) C4

# 4 ) -+* # **+* ! 0 !+#

Z C Y

k k k k k

e ≡e ₋ =y −y

! * #) $+ # +$$+! / +! * .) ! + # $ !1 $+ 5 2# *-+*$ !

$ 2* ! + 0 0 +! * # +! **+* -+* *1 * # $ )+* F+! 5

2$ !1 #) # ! 1 # 3 ! + # 3 -+* # **+* * @2 / 2! * 0 ! #) # *1

0 + 2# **+* * / #+ 0 3+ , # $ 6 ! #+ )++ -+* # *+ 2

0/ $+ . #) $ ! $2$ * # 3 %mean squared error %, 0 +!h4 # 4 )

-+* # **+* :

( )

'

& Z C '

C n

k k h k n

MSE h e

n n = + −

=

CT

U * , n_' #) !2$0 * +- ! # **+* #+ 0 1!+* , 6 / #+ 0 0 2 #+

! # # +! # 6 ! #) *! !1 $ #)+ , .) ! 3 * * 2* 3 +* # 3 # $ # +!

2 5 #) * +$$+! $ 2* * #) mean absolute error +* mean absolute deviation

%:

( )

'

Z C '

C n

k k h k n

MAD h e

n n = + −

=

−

∑

#) root mean squared error %:

( )

( )

RMSE h = MSE h

! #) mean absolute percentage error %:

( )

'

Z

C ' C'' n

k k h k n k

e MAPE h

n n y

−

= + =

−

∑

) $ ! * # * +! @2 3 !# #+ $ ! % + 0 / #) $+ # . / 2 ,

! $ / ! -2! # +! *+8 $ # +! ! * 1* +! *+0 $ , 0 2 # #+ $ *

$ #) $ # + 2# +! 5

!/ +- #) *-+*$ ! $ 2* * 0 0+3 ! 0 +! * #+ +$ * -- * !#

-+* # !1 $ #)+ ! $+ 5 ! $ * , #) * $ ! $ # +! ! 0 +$ )

0/ 1* * ), .) * -- * !# 3 2 +- * - ! )/ * * $ # * #) # * ! #)

CQ

2.3 Least+Squares Estimation

$+ # 3 */.) * ! #) #) , . +! * ! * * $ #* $+ , ) * # * 0/

#) * +! # !# +* # $ 43 */ !1 * $ # * 5 ) * -+* , $+ # +- #) # $ # +! *+ 2*

* ** +2# #)*+21) #) * 2* 3 % #4 @2 * 1+* #)$ +* 0/ # 3 * !# , .) ) *

* 0 0 +. ! ! #) -+ +. !1 # +!5

# y=

[ ]

[ ]

3 #+* +- !1#) m+C5 O - * # 2$ #) # #) 0+3 * -2! # +! / * # #)*+21)

#) static% ! * * $ #* $+ :

T k k k

y =u θ+ε &5E%

) # $ # +! +- #) 2!6!+.! * $ # * 3 #+* θ -*+$ ) #+* # ! 0 3 .

-2! # +! *+8 $ # +! *+0 $, .) * #) - ## $+ G + H #+ #) +0 *3 # +! 5

2 /, #) -+*$2 # #4 @2 * *+0 $, +* 1 ! / * 0 0/ 2 ,

.) * +! 6 #+ $ ! $ #) 2$ +- @2 * **+* %, #) # ,

( )

Y_{= *1 $ !J}

θ

θ θ &5S%

. #)

( )

(

)

C

n

T k k k

J y

=

=

∑

θ u θ &5R%

) # $ # θY ! 0 +$ 2# #* 1)#-+*. * / 2 !1 3 0 *

{

(

)

}

-# * ## !1 #) / # $ +- !+*$ @2 # +! :

C C

Y

n n

T

k k k k

k k

y

= =

  ₌

 



∑

∑

C( C

C C

Y n T n

n k k k k

k k y − = =   =   

∑

∑

θ u u u &5T%

) ! 2 #) +$ 2# # +! +-

(

(

) (

)

)

- ! #) . 46!+.!Ordinary Least3Squares % 1+* #)$5

+ #) # * !+# ! * ! #) * $ # * !!+# 0 # $ # 2 !1 #) + -+*$

8 * +!5 ! #) # , #) !+! ! * * $ # * ) 3 #+ 0 # $ # 2 !1 #) * 1*

* ) +* !+! ! * + # $ # +! * ) *+ 2* #+. * #) $ ! $ # +! +- &5R%5

O !+# #) # #) + 2# +! 1 3 ! 0/ &5T% ! 0 .* ## !

Y₌ +

θ U y

.) * U+ =

(

)

pseudoinverse $ #* 8 +- U=

[

]

U U

!+!4 !12 * [D\5

) 1+* #)$ 2$ #) # #) 3 0 # 2-- !# #+ #2* #) 3+ 2# +!

+-#) +0 *3 ) !+$ !+!5 ! .) * # +! !-+*$ # +! 0+2# #+ 0 +! ) ! ,

+! )+2 0 !# * # ! * 3 !1 2 # !1% #) # $ # . #)+2# ) 3 !1 #+ * # #)

.)+ *+ 2* -+* #) # 5 ) * -+* , #+ 2 1! - !# / #) +$ 2# # +!

+-#) +3 * *+ , +! ! +* * 2* 3 # $ # +! *+ 2* )+2 0 $ +/ 5

!+# !1 0/ Yθ_k #) # $ # 0 +! #) +0 *3 # +! 2 #+ ! ! 2 !1 y_k, 1 ! *

1+* #)$ -+* -+*. * *+ !1 * 2* 3 # $ # +! *+ 2* ! 0 - !

(

)

'

C Y

-/ ! # 3 2 ,

-/ 3 2 -+* )/ * * $ # * , # -+* C, &,555 :

! . +0 *3 # +!,

Y Y

+$ 2# : , ;

k k k k

k

y

f y ₋

  Ψ   ₌      = Ψ  _  θ θ θ

) Recursive Least3Squares % 1+* #)$ ! G+! ! H 3 * +! +- #) $ #)+ 5

CD

#+ -- !# / *+ 2 @2 ! +- # $ # +- #) * $ # * 3 #+*, θYk,

/$ #+# / @2 3 !# #+ #) # $ # 5

) 1+* #)$ - ! 0/ @2 # +! , 515, [T'\%

C

C C

Y Y

k k k k T k k k k k

d − − −  = +   = − 

θ θ k

P P k u P

.) *

(

)

C C

Y C

T k k k k

T k k k k k k

d y ₋

− −  _{= −}   = +  u θ

k P u u P u &5Q%

) 3 2

{ }

**+* , d_k ≡e_{k kZ −C}5 ) 3 #+*

{ }

$2 ) #) . 46!+.! **+* 0 6 *+ 1 # +! 1+* #)$ 9 +$$+! / 2 -+* #* ! !1

2 # / * * #*+! ! +#) * ! 2* $+ 9 ! +! ! 3 * +! +- #) # #

!# ! 1 # 3 1* !#% $ #)+ , ! 0 +$ * #+ #) 2 4 .#+! $ #)+ ,

! +#) * +! +* * * ) 1+* #)$ , . #) $ #* P_k / !1 $ * *+ #+ #) #

+-#) !3 * +- #) U ! $ #* 8 [TS\5 # # +$ 2# # +! $ #/, ! +

0 2 #+ *+ ) !+! ! * #4 @2 * *+0 $ -- !# /5 ) # $ # . #) !

$ #* P_k . 1)# #) m+C * # +! +- #) * ) 2! @2 /, #) * -+* *+3 !1

+! 4+* * !-+*$ # +! 0+2# #) * ) 2*- , ! #)2 12 !1 #) # $ # +!

*+ 2* 5

) 0 *+ 2* ! 0 0+* # !#+ $+* +$ 8 3 * !# , ! $ / /! $

*+ 2* , .) ), ! #2*!, ! 0 ! *# 2 * +- #) W $ ! - # * ,

515 [T, SR, T', QQ\%5 ) # *! # 3 * $ !# -+* .) * #) * $ # * *

&'

2.4 Time+Varying Parameters

) ! * * $ #* $+ ! &5E% # # , 5 5, # 2$ #) # #) 2!6!+.! * $ # *

θ * +! # !# ! # $ 5 ) $ #) # ) +0 *3 # +! * !# +* #% ) #) $

. 1)# ! # *$ ! !1 #) # $ # 5 O) #) 2$ # +! +- - 8 # #* 02# +!

+ +! / *+ * # , # ! $+ # 2!* # ! +! .+2 8 # #) # #)

* $ # * ) !1 +3 * # $ ! * +! # !# # $+ # + /5 +* #) * +!, . . !# #+

+! * $ #)+ 0 +- #* 6 !1 + 0 3 * # +! ! # $ +- #)+ * $ # * 5 )

1 ! * $+ !+.:

T k k k k

y =u θ +ε

) * * 3 * 8# ! +! #+ 1+* #)$ 0 #+ . #) # $ 43 */ !1

* $ # * 5 ! !/ , . ! #+ $+ -/ #) 0 1+* #)$ + #+ * 3 !# #) # #)

2 # #+ #) # $ # 0 +$ ! 1 1 0 2 #+ P_k →0 #) !2 $ #* 8%5

! +* * #+ # ) # $ 3 * # +! ! #) * $ # * , . ! # *# 0/ * 2 !1 #) $ +*# !

+- # +0 *3 # +! ! * 3 !1 #) * # $ # ! 2 ! 8 +! !# . 1)# !1 *+ )

+! #) # 5 ! #) *+ ), #) #4 @2 * + -2! # +! 1 3 ! 0/ &5R% * 0/

!Exponentially Weighted Least3Squares O % +! 5 ) # $ # ! #) ! 0 )+ !

+ #+ $ ! $

( )

(

)

C

n

n k T

EWLS k k

k

J λ − y

=

=

∑

θ u θ

.) * λ

(

)

(

)

T

k = k− − k k− λ

P P k u P

! #) * # 3 1 ! k_k * + $+ - #+

(

)

C C

T k = k− k λ+ k k− k

&C

+* λ=C, . ) 3 #) 0 1+* #)$5 #) * *+ ) ! @2 / 0 +! * ,

.) * #) * $ # * 3 * # +! * 8 # / $+ , 2 ) /! $ * 1* +! 0

$+ 5

#)+21) $+* +$ 8 #+ ) # /! $ *+ ! 0 2 #+ $+ # $ 43 */ !1

* $ # * , * +! 0 * 2 # ! 0 ) 3 0/ $ / +! * !1 $2 # 3 * #

3 * +! +- #) random walk *+ :

(

)

C , ',

k = k− + k k

θ θ η η Q

.) * #) !+ 3 #+* η_k * 2$ 2! +** # . #) #) +0 *3 # +! !+ *

k

ε , . #) F *+ $ ! ! +3 * ! + # 3 - ! # $ #* 8 Q5 ) $ #* 8 2 2 /

2$ #+ 0 1+! , #)2 $ + !1 F *+ +** # +! 0 #. ! #) -- * !# $ !#

+-) !+ 3 #+* η_k5 ) * ! +- !+ 3 * ! ! #) * $ # * * 3 !#

*+1* 3 ! ! 0 #/ +- #) #+ ! . !-+*$ # +!5

) # $ # +- #) **+* +3 * ! $ #* P_k +- #) +** +! !1 # $ 43 */ !1

* $ # * Yθ_k * !+. +$ 2#

C C

T

k = k− − k k k− + r

P P k u P Q

.) * Q_r noise covariance ratio matrix, - ! 0/

r

r

=Q

Q

. #) r= *

( )

$ 2* #) 3 * # +! ! #) )+ 6 #) # * 3 #) * $ # * θ_k, +$ * #+ #)

3 * ! +- #) !+ **+* ε_k5

) +$ # $ 6!+.! #) Covariance3Addition3 * +! +- #) 1+* #)$ 4

% , 515, [T\%5 ) $ !# ! #) 1+! +- $ #* 8 Q_r * noise variance

ratios % ! * * !# )/ * * $ # * #) # $ /, +* * #) * )+2 0 + # $ 5

* # 4# $ ! * /! $ / # $ ! 0 +!3 ! !# / * 0 ! # # 4

&&

! +$ # $ * $+ . #) @2 # -- * !# ) * # * # 5 # # 4 $+ *

# $ # #)*+21) * 2* 3 $ #)+ , $+ # !+# 0 / #) Kalman filter[E(, ED\, 3 + ! #) +!# 8# +- +!#*+ / # $ !1 ! * !15

+ !1 # $ * #)*+21) # # 4 * * !# # +! 0 +! #) 2$ # +! #) #

#) *6+3 *+ *#/ )+ -+* #) +0 *3 #+ ) # *+ 5 ) *+ *#/ $ ! #) #

#) -2#2* +- #) *+ + !+# ! +! # # # # , 02# + / +! #) 2** !# $+ #

* !#% # # , 5 5, #) 2** !# # # ! +$ #) !-+*$ # +! 2-- !# #+ * # #)

-2#2* 5

# # 4 * * !# # +! +! # +- #.+ $ ! @2 # +! , #) observation +*

measurement equation9 .) ) * 0 )+. #) +0 *3 # +! * 1 ! * # -*+$ 1 3 !

# # 3 #+* +- 2!+0 *3 3 * 0 9, ! #) system equation 9 .) ) * 0 #)

/ # $ /! $ :

C

T k k k k k k k

y ε −  = +   = +  u θ θ Fθ η

! #) 0+3 , y_k ! +0 *3 # +! 3 2 , θθθθ_k ! 2!+0 *3 0 state vector #) # * 0

#) # # +- #) / # $ # # $ k, u_k 6!+.! input vector, ε_k 6!+.! #)

measurement noise% .) # !+ *+ . #) 3 * ! r=σ_ε&, ! ηηηη_k 6!+.! #)

process+*system noise% 3 #+* .) # !+ *+ . #) +3 * ! $ #* 8 _Q5 )

#.+ **+* # *$ 9 #) $ 2* $ !# ! #) *+ !+ 9 * 2$ 2! +** # #

# $ 1 5 ) transition matrix F, 2$ 6!+.!, *2 #) 2 # !1 *+ +- #) # #

3 #+* -*+$ * 3 +2 # $ 4 # 5 ! $+* +$ 8 3 * +! , #) # # 4 -+*$2 # +!

! 2$ #) $ #* 8 #+ 0 # $ 4 ! !#, +* # ! ! 2 + #* ! # +! $ #* 8 -+*

#) / # $ !+ 3 #+*5 2*#) *$+* , #) -+*$2 # +! ! 0 8# ! #+ #) $2 # 3 * #

, . #+ !+! ! * 3 * +! 5

) W $ ! - # * !# / +! # +- #.+ # ! # ) : #) * # +! ) ! #)

$ 2* $ !# 2 # ) 5 ) * # +! ) ! -+*$ / 0 * 0 - ! !1

Z C Y

k k−

θ -*+$ θY_{k− −CZk C} ! #) / # $ @2 # +!:

Z C CZ C

Z C CZ C

Y Y

k k k k T k k k k r

− − − − − −  =   = +  θ Fθ

&E

! #) 2 # ) , #) $ 2* $ !# !-+*$ # +! -*+$ #) * 3 +2 ) 2 #+ * - !

#)+ * # +! #+ +0# ! G- # * # $ # H, #) # , - ! !1 θYk kZ -*+$ θYk kZ −C ! #)

$ 2* $ !# @2 # +!:

Z Z C

Z Z C Z C

Y Y

k k k k k k T k k k k k k k k

d − − −  = +   = − 

θ θ k

P P k u P

.) *

(

)

Z C

Z C Z C

Y C

T k k k k k

T

k k k k k k k k

d y ₋

− −  = −   = +  u θ

k P u u P u

! 8 $ +- # # 4 * * !# # +! * 0 !1 $ /! $ ! * #+ ) #

/ # $ #) dynamic trend regressive % $+ , .) * #) +0 *3 # +! * $+

0/ $ # $ 43 */ !1 * $ # * . #) $ 2* $ !# !+ :

k k k

y = +t ε

!/ -- * !# / # $ @2 # +! ! 0 3 #+ * 0 #) #* ! * $ # *5 +* +2*

2* + , . . +! * #) *# 2 * +- 3 * # 02# / # $ $+ #) # )

#) 0 #/ #+ * *+ 2 . * !1 +- ## *! +- 3 * # +! ! # $ 12* &5E%,

! $ / #) first3order integrated autoregressive C%% *+ , - ! 0/

C C

C

k k k k k k

t t s

s αs η

− − − = +   _{= +} 

.) * #) !+ ! 2#

{ }

{ }

#+ #) smoothed random walk O% $+ [QQ\, ! +$ , $ # +* *# 2 * ,

#) * / $ !# +! ! * * 1* +! $+ +** +! !1 #+ ! * #* ! !1% ! #)

O $+ -+* .) ), - * #4+* * -- * ! !1 ! ) 3 .) # ! ! #) * 2 %5

) +$ # $+ ! #)2 0 * ! * !#+ # # 4 -+*$ 0/ ## !1:

[

]

[

]

&

' '

C C

C ' , , , ,

' '

T T

k k tk sk r ε

η σ σ α     = = =_{ } =_{ } =    

&S

) #.+ @2 ! +- * $ # * #+ 0 # $ # , t_k ! s_k, * 2 2 / ! $ levels !

slopes, * # 3 /5 ) + * $ # * - ! 0/ - * #4+* * 2#+* 1* 3 $+

! * * !# #) - * #4 -- * ! +- #) 3 * $ # *5 ) smoothing coefficient, α ,

)/ * * $ # * #) # - ! #) 1* +- $ !1 ! #) 3 * $ # *, ! !+*$ /

+! 2$ #) # '< <α C5 !+#) * )/ * * $ # * #) # )+2 + 0 !# - #)

3 * ! σ_η&5 12* &5E )+. -- * !# ## *! #) # * *+ 2 0/ 4 C%

$+ 0/ 3 */ !1 #) 3 2 +- # )/ * * $ # * 5

' R' C'' CR' &'' 4T'

4S' 4&' ' &'

%

α]C

α]'5(

' R' C'' CR' &'' 4E'

4&' 4C' ' C' &'

0%

]'5C ]'5''C

Figure 2.3: Different patterns produced by a DTR3IAR(1) model when: (a) varying α, while setting the ,VR to 0.01; (b) varying the ,VR, while setting α to 0.9.

/ ## !1 #) $++#) !1 + -- !# #+ #) $ # α =' . 1 # #) $ * ! +$

. 6 O% *+ , * * !# !1 + / +! # !# 3 , .) . #) α =C . +0# ! #)

integrated random walk O% *+ , ) * # * 0/ + / +! # !# ! * 1*+.#)

&R

2.5 Artificial eural etworks

2.5.1 Introduction

) # * #2* +! *# - ! 2* ! #.+*6 3 * , ! 2 !1 3 * # 8#0++6 , 2 )

[R, &R, EQ, T&, TE\, ! #)+* +- !# - * , $ !/ +- #) $ 0 #+. * #)

!# * # +- *# 2 * !# - +$$2! #/ 9 +$ 2# * ! , )/ , # # # ,

+!#*+ !1 ! * !1, # 5

*# - ! 2* ! #.+*6 * + ) # # $+ !1 * 1$ . #) #) +# !# #+

+ 3 3 */ +$ 8 *+0 $ 5 #) $ # / 6 !1, supervised neural network

!# / !+! ! * -2! # +! - ! ! $2 # 3 * # ! 2#4+2# 2# 5 # +$ +

+- *1 !2$0 * +- ) 1) / !# * +!! # *+ !1 $ !# +* 2! # ! 2*+! %

+ * # !1 #+1 #) * #+ + 3 - *+0 $ 5 ) . 1)# + # #+ #) !6 0 #. !

#) ! #.+*6 !+ - ! #) * $ # * +- #) $+ 5

*# - ! 2* ! #.+*6 *! -*+$ +0 *3 8 $ , #)*+21) # # +! *2 +- #)

3 2 +- #)+ . 1)# 5 ) * * $ !/ #/ +- *! !1 *2 02# #) / ! 0 -

! #)* 0*+ # 1+* : 2 *3 *! !1, 2! 2 *3 *! !1 ! * !-+* $ !# +*

1* % *! !15 ! supervised learning, #) * $2 # 0 ! 2#4+2# 2# ## *! 8 $ #)

training set%5 ) ! 2# ## *! #) explanatory +* independent variables% * 2$ #+

0 * # #+ #) +2# 2# ## *! #) dependent variables% ! 2 #*2 #2* ) !5 !

unsupervised learning, + + #+ 2 *3 *! !1, #) ! #.+*6 2#+!+$+2 !

#) ! #) # # #* #+ * - #, ! # +2# 2#, #) *+ *# -+2! ! #) ! 2# ## *! 5

Reinforcement learning $ * #+ 2 *3 *! !1, 8 # #) # #) +** #

! 2#7+2# 2# * * ! 3 * * !# , !+* 20+ # $ # +! 8 # / +** # ,

515, [TQ\%5 ) ! #.+*6 *-+*$ ! $ 2* 0/ $ ! +- 1* , +* +* * . *

+3 * +$ @2 ! +- ! 2# 5

2 *3 ! 2* ! #.+*6 ! 0 3 . $2 # 3 * 0 ! $2 # $ ! +!

!+! ! * -2! # +! 5 ) !# - # +! ! # $ # +! +- 2 ) $+ ! 0 !# * * #

! *+8 $ # +! $ !1 *+0 $ -*+$ $2 # $ ! +! ! 2# # #+ $2 # 3 * 0

+2# 2# #5 ) 1 ! * # +! +! # +- 2 !1 #) # 2*- #+ !# * + # +* 8#* + # #)

# #5 ) / * $ ! / 2 ! -2! # +! *+8 $ # +!, # $ * * # +!,

&T

) #.+ $+ # +$$+! / 2 #/ +- - -+*. * 2 *3 ! #.+*6 * #) 2 # / *

* #*+! % ! #) 2! # +! #.+*6 %5 +#) $+ ) 3

0 ! *+3 ! #+ 0 ^2! 3 * -2! # +! *+8 $ #+* _ [RT\, .) ) $ ! #) #, 1 3 !

!+21) # , #) 2! * / !1 -2! # +! ! 0 *+8 $ # . #) *0 #* */ 2* /5

! ) 3 $+* ! +$$+! #) ! .) # 2 2 / 2$ [TR\, 02# #) $+*

!# -- * ! 2 #+ * - * 2 !1 ! +2* .+*65 ! - #, #) * !# - # +!

! # $ # +! ! 0 +$ ) $+* -- !# / #) ! ! #) +- 5

2.5.2 Gaussian Radial Basis Function etwork

0 -2! # +! ! #.+*6 ) 3 #) * +* 1 ! ! # )! @2 -+* *-+*$ !1 8 #

!# * + # +! ! $2 # $ ! +! 5 * * .+*6 +! #) 20B # ! 0 -+2! ! #)

2*3 / +- +. [TC\ ! 1)# [SE\5 0 -2! # +! $+ ) 3 * ! #)

1! +- ! 2* ! #.+*6 ! #) # ('H [(, SD\ ! #) ! $ +/ ! !+! ! * / # $

!# - # +! ! # $ * * # +!, ! [SS, T(\5

) #*2 #2* +- +! # +- #)* * # / * : #) ! 2# / *, #) ) ! / *

! #) +2# 2# / *5 ) ! 2# / * #) # +- +2* , +* ! +* !+ , .) * #) #

* B2 # -+*. * #+ #) ) ! / * !+ . #)+2# !/ 6 ! +- *+ !15 )

#* ! -+*$ # +! -*+$ #) ! 2# #+ #) ) !42! # !+! ! * .) #)

#* ! -+*$ # +! -*+$ #) ) !42! # #+ #) +2# 2# ! *5 ) - # /

-2! $ !# *+ ! #) + # *! !1 #* # 1/5

#)+21) #) #*2 #2* +- 12* &5S% 3 */ $ * #+ #) # +- $+ #

+! * ! * # , #) ) !42! # # 0 -2! # +! #+ ) * # * #) *# # +!

+- #) ! 2# 5

$+!1 +#) * + 0 )+ , #) * 0 -2! # +! $+ # 2 #) 2 ! -2! # +!5

) $+ ! 0 * !# ! #.+ -+*$ , !+*$ +* 2!!+*$ 5 ) -- * !

0 #. ! #) $ #) # ) 2! # +- #) -+*$ * !+*$ 0/ #) 2$ +- 2 ! 2! #

+- #) ## * +! 5 ) +2# 2# +- #) ) ! / * ! +! #) # ! 0 #. ! #)

! #.+*6 ! 2# ! #) G !#* H +- #) 0 -2! # +! 5 #) ! 2# $+3 . / -*+$

1 3 ! !#* , #) 2! # +2# 2# 1+ * / #+ F *+5 2 #) ! 2*+! ! #) ! #.+*6 ) 3

+ * # 3 - #) / +!H# * # 1 +0 * +! , ! +!#* # #+ #) # ! *

$2 # / * ! #.+*6 , .) * 1$+ -2! # +! * +$$+! / 2 5 ) $ ! ! 2*

! #.+*6 * !# ! #) #) * !1 4+2# 2# 2!!+*$ 2 ! 5 )

&Q Figure 2.4: Structure of a single3output RBF,.

3 ! # +- * ! 2#4+2# 2# ## *!

{

(

)

}

3 . ! * +$0 ! # +! +- #) +2# 2# *+ 2 0/ !2$0 * +- * /

/$$ #* # 3 # +! -2! # +! #) ) !42! # %, .) ) * !+! ! * ! #) ! 2# :

' C

m

k i ik k i

y θ θ φ ε

=

= +

∑

.) * θ θ_', ,555,_C θ_m * ! * * $ # * #) +!! # +! . 1)# %, #) @2 !

{ }

2$ #+ 0 .) # !+ *+ , !

{ }

-2! # +! 12* &5R% * - ! 0/

(

)

&

&

; , 8 , C

&

k i ik k i i

i

i m

φ φ σ

σ  ₋  = =  −_ _ ≤ ≤   x c x c

) !#* , c_i, ! #) . #) , σ_i, * $+ )/ * * $ # * #) # ) 3 #+ 0 !# - 5

) 2 2 / +$ ) #)*+21) *+ * # ) 2* # 9 3 * +- #) $ . *

+$ * ! [C&, CE\ 9 # 2! * # #+ *+ ) # !+! ! * + # $ # +!

*+0 $ ! 3 */ ) 1)4 $ ! +! 5

@2 # +! &5(% ! 0 * .* ## ! 2 !1 $ #* 8 !+# # +! $ * #+ &5E%, .) * #) * 1* +*

* !+. - ! u_k =

[

]

kj x ⋮ ⋮ ik φ mk φ Ck φ ⋮ ⋮ Y_k y C C θ i θ m

&(

2

#

2

#

! 2#

i

c

i

σ

k

y

k x

Figure 2.5: Graphical representation of a single3output Gaussian RBF, with 3 units.

2 *3 ! 2* ! #.+*6 ! 0 2 !+! ! * 2#+* 1* 3 $+ , . #) #) ! 2#

## *! , x_k, 02 # -*+$ @2 ! +- +0 *3 # +! +- # $ * :

[

]

T k = yk h− yk− yk−

x ⋯

) ! #.+*6 +2# 2# * #) ! 3 . * # 3 # $ # , ! *# 2 *, C4 # 4 )

-+* # , yY_k ≡ yY_{k kZ −C}5 ) ) $ ! 0 / # #+ +!1 * )+* F+! +* #+ )/0* 9

2 ! 2#+* 1* 3 9 $+ 5

2.5.3 Identification and Estimation Methodologies

6 / # +- #) # ! # +! 0 #. ! #) # 6 *-+*$ ! #) ) ! / *

! #) +2# 2# / *, $ !# +! * 3 +2 /5 ) #+ -- * !# *! !1 #* # 1 !

#) 1! +- , ! #) # ! +! )+. #) !#* * # *$ ! : #) *

2 *3 *! !1 *+ $ +/ #+ +0# ! #) . 1)# , #) !#* ! . #)

+-#) * 0 -2! # +! , +* #) !# - # +! ! # $ # +! +- +$ )

! #.+ *! !1 # 1 9 )/0* #* ! !1 9, .) * #) 0 -2! # +! !#* ! . #) *

&D

! 2 *3 #* ! !1, #) ! * * $ # * ! #) )/ * * $ # * + # #+ #)

2 ! 0 -2! # +! * # *$ ! ! +! / +! # 1 ! 2 *3 $ !! *5

+! ! * + # $ # +! $ #)+ ) 3 #+ 0 $ +/ ! +* * #+ #* ! . #) #)

) $ 2 #+ #) !+! ! * ! #2* +- #) !#* ! . #) 5 +* ! # ! , +11 + !

*+ [RD\ ) 3 211 # $ #)+ 0 +! #) 1* !# !# 1+* #)$ #+ $ $ !#

2 *3 *! !1 +- #) !#* + # +! +- #) 2 ! 0 -2! # +! 5

+* !1 #+ O ## ) * 6 ! ## * ) [Q&\, 0/ $ +/ !1 2 *3 $ #)+ ,

$ / 0 0 #+ 20 # !# / 8 #) 1 ! * # +! *-+*$ ! +- 1$+ ! #.+*6 ,

! 2 !1 5 U+. 3 *, G-2 /4 2 *3 H *! !1 - -+*. * ! 2* ! #.+*6 6

+$ 0 #/ #+ ) * # * !+! # # +! */ #* 02# # # 5 !/ * 4.+* *+0 $

* 0 !+# +! / +! ) 1) / !+! ! * 02# + ) 1) / !+! # # +! */ # , *# 2 * / !

# $ * * # +! .) ) #2 ! #) ! 8# ) # *5 +* #) # * +!, . * #)

*+ ) ! - 3+2* +- #) ! 8# +! ! +- +2* #2 /5

! )/0* #* ! !1, - * # /, #) !+! ! *% )/ * * $ # * !#* ! . #) % *

!# - #)*+21) ! 2! 2 *3 *! !1 ) 2* # $ #)+ ! , ! +! # 1 , #)

! * * $ # * * # $ # ! 2 *3 $ !! *5 ) * ) # #2* +- #) ! #.+*6,

! $ / #) !2$0 * +- ! 2# , p, ! #) !2$0 * +- * 0 2! # , m, ) 3 + #+ 0

- ! * / ! #) !# - # +! # 1 5 2 /, #) 3 2 * )+ ! -*+$ #

+-* - ! 3 2 5

! #) $ # , #) + # +! +- #) !#* $ / 0 )+ ! * ! +$ / -*+$ #) #* ! !1

# 5 +. [SQ\ +! * #) # #) G ! 0 H *+ ) - #) #* ! !1 # #* 02#

! * * !# # 3 $ !! * -+* #) *+0 $ +! ) ! 5 +$$+! ! $+* @2 #

*+ 2* #+ )++ #) + # +! +- #) !#* #)*+21) #) k4$ ! 2 # * !1 1+* #)$5

! $+ # * +*# ! #) # * #2* , 2 # * !1 *-+*$ +3 * #) ! 2# ## *! [ST,

SD\5 U+. 3 *, #) 2 # * !1 *+ 2* ! 0 *-+*$ ! #) +$ # ! 2#4+2# 2#

[C'\, 1 3 !1 $+* * * # +! +- #) #* 02# +! +- #) # + !# 5 ! #)

, #) - ! !#* * 1 3 ! 0/ #) *+B # +! +- #) 2 # * !#* !#+ #) ! 2# 5

1 *+3 et al5 [&\ ) 3 *+ ) #) 2 # * !1 *+0 $ 3 !+! $++#) ! 1 +0 + # $ # +! $ #)+ 5

) . #) +- 2 ! * 0 -2! # +! * -* @2 !# / # *$ ! 0/ ) 2* #

-+*$2 , ! +$ +- #) $ . * #2 ! +$ * 0/ *$+ ! + * 12 [C&\5

! +- #) $+ # +$$+! / 2 #) k4! * # ! 1)0+2* $ #)+ , *+ + 0/

++ / ! *6 ! [SD\, .) * ) . #) +$ 2# #) $ ! # ! 0 #. ! #)