Nesta seção, aplicaremos algumas das medidas do Capítulo 3 como critérios de seleção de modelos. Dessa forma, pretendemos verificar quais foram as medidas que obtiveram sucesso em selecionar os modelos verdadeiros para cada conjunto de dados.
As medidas de avaliação utilizadas como critérios de seleção foram baseadas nas frequências em que cada modelo apresentou o melhor resultado segundo a medida. Por exemplo, para a medida static portfolio performance, utilizamos como um dos critérios de seleção o menor valor de |^𝜇 − 1|. Dessa forma, são computadas as percentagens em que cada modelo é selecionado, dado esse critério. Estes resultados se encontram a seguir.
4.2.1
Static Portfolio Performance
Na medida static portfolio performance foram calculados os resíduos padronizados como na Subseção 3.1.1, a partir das previsões um passo à frente das matrizes de covari- ância dos modelos estudados.
Os pesos das carteiras foram especificados de maneira similar a Engle e Sheppard (2008). Assim, consideramos três carteiras compostas por um único ativo e uma carteira composta por três ativos. Ou seja, nas três primeiras carteiras temos cada ativo simulado compondo, de maneira isolada, uma carteira (atribui-se peso igual a 1 ao ativo que vai compor a carteira, e pesos iguais a 0 aos outros dois ativos), a fim de avaliar as previsões das volatilidades marginais. Já na carteira composta pelos três ativos simulados, pesos iguais foram atribuídos aos mesmos na geração da carteira, podendo-se avaliar as matrizes de covariância previstas.
Queremos verificar se a medida consegue selecionar os modelos verdadeiros. Para tal, em cada série gerada será selecionado um modelo segundo três critérios:
1. Menor valor de (^𝜇 − 1)2;
2. Menor valor de ^𝜌2;
As frequências em que cada modelo é selecionado são apresentadas nas Tabelas 4.1, 4.2 e 4.3 para os critérios 1, 2 e 3, respectivamente.
Tabela 4.1: Percentual em que os modelos apresentaram o menor valor para (^𝜇−1)2 entre
as 1000 replicações quando ajustaram os dados gerados pelos modelos no cabeçalho. Em negrito estão as maiores percentagens para cada conjunto de dados.
Ajustado
Simulado
DCC ADCC GO-GARCH BEKK
Carteira com 1 ativo
DCC 28,0 27,8 16,9 25,8
ADCC 26,2 34,1 18,6 24,3
GO-GARCH 22,9 12,2 39,6 18,7
BEKK 22,9 25,9 24,9 31,2
Carteira com 3 ativos
DCC 22,6 29,8 17,7 30,7
ADCC 30,0 36,3 12,2 25,1
GO-GARCH 19,5 11,0 46,8 18,7
BEKK 27,9 22,9 23,3 25,5
Tabela 4.2: Percentual em que os modelos apresentaram o menor valor para ^𝜌2 entre as
1000 replicações quando ajustaram os dados gerados pelos modelos no cabeçalho. Em negrito estão as maiores percentagens para cada conjunto de dados.
Ajustado
Simulado
DCC ADCC GO-GARCH BEKK
Carteira com 1 ativo
DCC 29,7 31,9 17,6 16,6
ADCC 25,0 31,8 17,7 19,2
GO-GARCH 20,6 17,4 40,0 28,5
BEKK 24,7 18,9 24,7 35,7
Carteira com 3 ativos
DCC 17,4 26,6 10,3 15,1
ADCC 15,4 32,3 10,5 19,5
GO-GARCH 28,6 22,8 60,3 31,1
Tabela 4.3: Percentual em que os modelos apresentaram a menor estatística do teste conjunto para a hipótese nula H0 : 𝜇 = 1, 𝜌 = 0 entre as 1000 replicações quando
ajustaram os dados gerados pelos modelos no cabeçalho. Em negrito estão as maiores percentagens para cada conjunto de dados.
Ajustado
Simulado
DCC ADCC GO-GARCH BEKK
Carteira com 1 ativo
DCC 28,1 31,0 20,5 27,4
ADCC 28,2 37,6 17,8 26,2
GO-GARCH 20,4 8,6 35,0 14,8
BEKK 23,3 22,8 26,7 31,6
Carteira com 3 ativos
DCC 27,5 30,7 10,6 31,2
ADCC 32,5 38,4 9,4 24,5
GO-GARCH 15,9 8,3 70,7 16,0
BEKK 24,1 22,6 9,3 28,3
Analisando as Tabelas 4.1, 4.2 e 4.3, é possível chegar a conclusões semelhantes para os três critérios de seleção: nem sempre os modelos verdadeiros apresentam as maiores percentagens nos critérios e, ainda, os modelos incorretamente especificados muitas vezes não apresentam frequências muito menores do que os modelos verdadeiros. Na maior parte dos casos, o modelo verdadeiro que foi mais frequentemente escolhido foi o GO- GARCH. Porém, somente resultados satisfatórios para este modelo não justificam o uso do critério, pois em aplicações reais não sabemos se os dados seguem uma distribuição GO-GARCH.
4.2.2
Carteira de Mínima Variância
Queremos comparar os modelos ao encontrar os pesos ótimos que minimizam a vari- ância de uma carteira. Para tal, não se utilizou restrições quanto aos sinais e tamanhos dos pesos que compõem a carteira de mínima variância, e os mesmos foram calculados através da Equação (3.1.7).
Encontrados os pesos, calculou-se a variância acumulada observada para o período através da Equação (3.1.9), utilizando-se os pesos estimados para as carteiras com três ativos, os retornos do período de teste e o excesso de variância calculado pela Equação
(3.1.8).
Os critérios de seleção utilizados são:
1. Menor valor da variância acumulada observada; 2. Menor valor do módulo do excesso de variância;
3. Menor valor da estatística do teste para a hipótese nula H0 : Excesso de variância =
0.
Na Tabela 4.4 encontram-se as frequências em que cada modelo é selecionado pelos crité- rios descritos.
Tabela 4.4: Percentual em que os modelos apresentaram o menor valor para a variância acumulada observada, para o módulo do excesso de variância e para a estatística do teste para a hipótese nula H0 : Excesso de variância = 0, entre as 1000 replicações quando
ajustaram os dados gerados pelos modelos no cabeçalho. Em negrito estão as maiores percentagens para cada conjunto de dados.
Ajustado
Simulado
DCC ADCC GO-GARCH BEKK
Variância Acumulada Observada
DCC 65,1 8,0 1,2 23,7 ADCC 32,0 91,4 1,1 14,5 GO-GARCH 0,9 0,0 97,1 0,3 BEKK 2,0 0,6 0,6 61,5 |Excesso de Variância| DCC 31,1 26,6 14,2 25,1 ADCC 28,0 32,3 13,1 24,2 GO-GARCH 20,9 22,8 44,5 15,3 BEKK 20,0 18,3 27,9 35,4 H0 : Excesso de Variância = 0 DCC 31,0 23,3 14,5 24,9 ADCC 27,6 30,4 12,8 24,2 GO-GARCH 20,7 12,8 45,1 16,0 BEKK 20,5 23,3 27,9 34,9
Os resultados mostram que os três critérios obtiveram algum sucesso em selecionar os modelos verdadeiros. Porém, vemos frequências de seleção maiores em modelos corre- tamente especificados apenas para a variância acumulada observada, mostrando-se como
o único critério dentre os três apresentados que tem sentido prático. Para este critério vemos que, quando o modelo DCC gerou os dados, o modelo ADCC resultou em um percentual alto de escolha pois, apesar não ser o modelo que gerou os dados, o DCC é um caso particular do modelo ADCC.
Apesar de terem selecionado com maior frequência os modelos corretos, o módulo do excesso de variância e a estatística do teste para a hipótese nula H0 : Excesso de variância =
0, resultaram em valores percentuais altos quaisquer que fossem os modelos, não se mos- trando como bons critérios de seleção. O teste será abordado com maior cuidado quando tratarmos dos critérios de diagnósticos.
4.2.3
Tracking Error Minimization
Calculamos o tracking error pela Equação (3.1.11), utilizando os pesos das carteiras que buscam replicar os retornos do ativo de referência segundo a Equação (3.1.13) para calcular os excessos de retorno, definidos na Subseção 3.1.3.
Nosso intuito é verificar os menores tracking errors apresentados pelos modelos como uma medida de seleção. Foram construídas três carteiras, cada uma composta por dois ativos que tentam seguir os retornos do terceiro ativo de referência: a carteira 1 tenta replicar os retornos do primeiro ativo, a carteira 2 tenta replicar os retornos do segundo ativo e a carteira 3 tenta replicar os retornos do terceiro ativo. Sendo assim, encontramos na Tabela 4.5 a percentagem com que cada modelo atinge o menor tracking error para cada ativo de referência.
Os resultados na Tabela 4.5 mostram que em todos os casos, seja o ativo 1, 2 ou 3 o de referência, a medida foi capaz de selecionar os modelos verdadeiros. Os modelos corretamente especificados apresentaram uma frequência alta de seleção, entre 55,1% e 96,5%. As frequências mais baixas ocorreram quando o modelo DCC era o verdadeiro. Porém, como comentado na subseção anterior, o DCC é um caso particular do ADCC, e este também apresentou altas percentagens de escolha. Já, quando o modelo ADCC é o processo gerador de dados, podemos observar que a alavancagem fez diferença, com os demais modelos apresentando frequências de seleção muitos baixas. Vemos que os maiores
percentuais vieram do modelo GO-GARCH, seguidos do modelo ADCC, BEKK e, por fim, DCC.
Tabela 4.5: Percentual em que os modelos apresentaram o menor valor para tracking error entre as 1000 replicações quando ajustaram os dados gerados pelos modelos no cabeçalho. Em negrito estão as maiores percentagens para cada conjunto de dados.
Ajustado
Simulado
DCC ADCC GO-GARCH BEKK
Carteira 1 DCC 57,4 21,3 1,2 19,4 ADCC 40,9 77,3 1,2 9,4 GO-GARCH 1,2 0,2 95,9 0,3 BEKK 0,5 1,2 1,7 70,9 Carteira 2 DCC 55,1 11,0 0,6 21,7 ADCC 41,6 87,4 0,4 14,1 GO-GARCH 1,8 0,4 96,5 0,0 BEKK 1,5 1,2 2,5 64,2 Carteira 3 DCC 58,6 8,8 0,9 23,9 ADCC 39,1 90,4 0,5 24,2 GO-GARCH 1,1 0,0 96,4 0,1 BEKK 1,2 0,8 2,2 62,4
4.2.4
Turnover
Para avaliar quais carteiras produziram as menores movimentações de posição dos ativos e, consequentemente, produziriam menores custos de corretagem, calculamos o
turnover a partir da Equação (3.2.1). Para isto, utilizamos os pesos calculados pela
carteira de mínima variância.
Na Tabela 4.6 são apresentados os percentuais em que cada modelo foi selecionado segundo a medida, isto é, para cada replicação é selecionado o modelo que apresenta o menor turnovers. Qualquer que seja o modelo 𝑃𝑖 gerador de dados, o modelo mais frequentemente selecionado foi o GO-GARCH, com o percentual de seleção variando de 43,4% até 99,4%. Isto mostra que, dadas as baixas frequências de escolha do modelo GO- GARCH via variância acumulada observada no caso em que este não era o verdadeiro,
vemos que o modelo GO-GARCH possivelmente não conseguiu rebalancear de forma adequada as carteiras. Desta forma, podemos concluir que a medida econômica turnover não serviu para selecionar o modelo verdadeiro.
Tabela 4.6: Percentual em que os modelos apresentaram o menor valor para turnover entre as 1000 replicações quando ajustaram os dados gerados pelos modelos no cabeçalho. Em negrito estão as maiores percentagens para cada conjunto de dados.
Ajustado
Simulado
DCC ADCC GO-GARCH BEKK
DCC 11,7 1,8 0,4 0,1
ADCC 6,5 40,4 0,1 0,8
GO-GARCH 81,5 43,4 99,4 98,2
BEKK 0,3 14,4 0,1 0,0
4.2.5
Índice de Sharpe
O índice de Sharpe foi calculado a partir das Equações (3.2.2), (3.2.3) e (3.2.4), con- siderando a média dos retornos do ativo livre de risco igual à zero, uma vez que que os dados foram simulados com média igual à zero. É interessante observar e comparar o desempenho ponderado pelo risco gerado pelas carteiras através índice de Sharpe, e o risco observado pela volatilidade incondicional através da Equação (3.2.2). As carteiras utilizadas são as formadas pela carteira de mínima variância.
Queremos selecionar os modelos corretamente especificados através dos maiores índices de Sharpe e pelas menores volatilidades incondicionais das carteiras (^𝜎2). Os resultados
são apresentados na Tabela 4.7. Os índices de Sharpe considerados na seleção foram apenas os positivos, pois não faz sentido comparar índices de Sharpe negativos, uma vez que podemos ter duas carteiras com retornos médios negativos, porém, se uma possui volatilidade maior que a outra, pode resultar em um índice de Sharpe maior (menos negativo) em relação à carteira de menor risco.
Tabela 4.7: Percentual em que os modelos apresentaram os maiores valores para os índices de Sharpe positivos e os menores valores para a volatilidade incondicional da carteira entre as 1000 replicações quando ajustaram os dados gerados pelos modelos no cabeçalho. Em negrito estão as maiores percentagens para cada conjunto de dados.
Ajustado
Simulado
DCC ADCC GO-GARCH BEKK
Índice de Sharpe
DCC 20,0 14,2 10,0 15,9
ADCC 35,7 26,5 17,0 19,3
GO-GARCH 28,9 37,8 47,9 36,1
BEKK 15,4 21,5 25,1 28,7
Volatilidade Incondicional da Carteira
DCC 65,3 8,1 1,2 24,2
ADCC 32,3 91,3 1,1 14,0
GO-GARCH 0,9 0,0 97,1 0,3
BEKK 1,5 0,6 2,6 61,5
A medida econômica resultou nas maiores percentagens de seleção para o modelo verdadeiro apenas no caso em que o GO-GARCH gerou os dados. Quando o DCC gerou os dados, o ADCC e DCC em conjunto foram os mais escolhidos. Mesmo assim, vemos que a medida não serve como critério de seleção, pois não consegue diferenciar de maneira relevante os modelos verdadeiros dos demais. Por outro lado, a volatilidade incondicional da carteira serviu, de fato, como um bom critério de seleção.