Dinâmica no espaço de estados de uma Cadeia de Markov.
Amanda Silvieri Leite de Oliveira. Matemática. E-mail: a mandasilvieri@hotmail.com. Orientador:
Prof. Dr. Fabiano Borges da Silva. Bauru, FacuIdade de Ciências, Departamento de Matemática.
Bolsa Fapesp Processo nº 2016/21006-5.
Palavras Chave: Cadeias de Markov, Classificação dos estados, Cadeias Ergódicas.
Introdução
Em 1907, o matemático russo Andrei Andreyevich Markov começou o estudo de um importante tipo de processo, no qual apenas o resultado de uma dada experiência atual pode afetar o resultado da experiência seguinte, ou seja, as experiências anteriores não influenciam as experiências futuras.
Tal propriedade é conhecida como "perda de memória" ou Propriedade de Markov, e é o que caracteriza uma Cadeia de Markov (também conhecida como Processo Markoviano). A probabilidade de sair de um estado j e atingir o estado i é denotada por pij e é chamada de probabilidade de transição. Com essas probabilidades de transição para um estado amostral finito, associa-se uma matriz estocástica, denominada matriz de transição. Quando essa matriz, digamos T, possui todos os seus elementos positivos em alguma potência N, ela é chamada de matriz estocástica regular. Uma cadeia de tempo discreto pode ser classificada como irredutível ou redutível, periódica ou aperiódica e recorrente ou transiente, com relação aos seus estados. Com isso podemos classificar a cadeia como um todo.
Essa classificação ajuda a compreender a dinâmica da cadeia de Markov, facilitando a resolução de problemas. Neste trabalho apresentaremos essas classificações e as características de uma cadeia ergódica.
Objetivos
Classificar as cadeias em irredutível ou redutível, periódica ou aperiódica e recorrente ou transiente, com relação aos seus estados. Além disso, identificar conjuntos fechados, estados absorventes e cadeias ergódicas.
Material e Métodos
Pesquisa qualitativa desenvolvida em campo teórico a partir de livros e artigos já publicados, tanto impressos quanto virtuais.
Resultados e Discussão
Nomeamos classes de comunicação, o conjunto de classes de equivalência determinadas pelas probabilidades pijn de uma cadeia. Se existir apenas uma classe, então a cadeia é dito ser irredutível,
caso contrário dizemos que ela é redutível. Além disso, intitulamos que um conjunto de estados α é fechado se for impossível chegar a qualquer estado fora do conjunto α.
Se existe um estado em que seja impossível sair dele, dizemos que este estado é absorvente.
Diremos que uma cadeia de Markov é absorvente se existe ao menos um estado absorvente.
Se partindo de um determinado estado eventualmente retornamos ao mesmo estado, o chamamos de recorrente.
Um estado é dito ser transiente se, e somente se, partindo do estado i, existe uma probabilidade positiva do processo não eventualmente retornar a este estado.
O período de um estado i ϵ E, denotado por d(i), é dado pelo máximo divisor comum de todos os inteiros n maiores ou iguais que 1 tal que pii(n) > 0.
Quando um estado i apresenta d(i) > 1, ele é classificado como um estado periódico com período d(1), isto é, o estado pode somente ser alcançado nos passos n, 2n, 3n,…, onde n é um inteiro maior que 1. Caso d(i) = 1, o estado i é aperiódico. Além disso, se pii(n) = 0 para todo n maior ou igual a 1, então, por definição, d(i) = 0.
Um estado é fortemente ergódico se é aperódico e positivo recorrente. E uma cadeia ergódica é quando ela possui as propriedades de ser irredutível, aperiódica e positiva recorrente.
Um resultado para cadeias ergódicas é que pijn
converge para (1/μii) onde μii é o tempo médio de recorrência para um estado i.
Conclusões
Com este estudo da classificação das cadeias podemos identificar quando uma cadeia é ergódica, e usar o resultado mencionado anteriormente em diversos problemas modelados por cadeias de Markov.
Agradecimentos
Agradecemos o apoio da FAPESP neste projeto de Iniciação Científica.
ALLEN, L. J. S. An Introduction to Stochastic Processes with Applications to Biology. Pearson Education Inc., Upper Saddle River, New Jersey, 2003.
GOLMAKANI, A.; SILVA, A. A.; FREIRE, E. M. S.; BARBOSA, M.
K.; CARVALHO, P. H. G.; ALVES, V. L. Cadeias de Markov. VII Bienal da Sociedade Brasileira de Matemática – UFAL. Maceió, 2014.
XXVI Congresso de Iniciação Científica
