Cadena de Markov

HISTORIA

Fue desarrollada por Andrei Markov, este fue disipulo de Chevichev se dice que fue el gran maestro de Chevichev.

La cadena de Markov, recibe su nombre del matemático ruso Andrei Markov, es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior

MATRIZ

Una matriz es un conjunto de números o expresiones dispuestos en forma rectangular, formando filas y columnas.

Cada uno de los números de que consta la matriz se denomina elemento. Un elemento se distingue de otro por la posición que ocupa, es decir, la fila y la columna a la que pertenece

DIMENSIÓN DE UNA MATRIZ

El número de filas y columnas de una matriz se denomina dimensión de una matriz. Así, una matriz será de dimensión : 2x4, 3x2, 2x5,... Si la matriz tiene el mismo número de filas que de columna, se dice que es de orden: 2, 3....

MATRICES IGUALES

Dos matrices son iguales cuando tienen la misma dimensión y los elementos que ocupan el mismo lugar en ambas, son iguales.

CLASIFICACIÓN DE LAS MATRICES

Matriz Fila
Una matriz fila esta constituida por una sola fila.

Matriz Columna
La matriz columna tiene una sola columna



Matriz Rectangular
La matriz rectangular tiene distinto número de filas que de columnas, siendo su dimensión m x n.



Matriz Cuadrada
La matriz cuadrada tiene el mismo número de filas que de columnas.
Los elementos de la forma aii  constituye la diagonal principal

La diagonal secundaria la forma los elementos con i + j = n + 1

Matriz Nula
En una matriz nula todos los elementos son ceros.



Matriz Triangular Superior
En una matriz triangular superior los elementos situados por debajo de la diagonal son ceros.



Matriz Triangular Inferior
En una matriz triangular inferior los elementos situados por encima de la diagonal principal son ceros.



Matriz Diagonal
En una matriz diagonal todos los elementos situados por encima y por debajo de la diagonal principal son nulos.



Matriz Escalar
Una matriz escalar es una matriz diagonal en la que los elementos de la diagonal principal son iguales.



Matriz Identidad o Unidad
Una matriz identidad es una matriz diagonal en la que los elementos de la diagonal principal son iguales a 1.



Matriz Traspuesta
Dada una matriz A, se llama matriz transpuesta de A, a la matriz que se obtiene intercambiando ordenadamente las filas por las columnas.


Matriz Regular
Una matriz regular es una matriz cuadrada  que tiene inversa.


Matriz Singular
Una matriz singular no tiene matriz inversa.


Matriz Idempotente
Una matriz, A, es idempotente si :
A² = A


Matriz Involutiva
Una matriz, A, es involutiva si:
A² = I


Matriz Simétrica
Una matriz simétrica es una matriz cuadrada que verifica:
A = A^t.


Matriz Antisimétrica o Hemisimétrica
Una Matriz Antisimétrica o Hemisimétrica es una matriz cuadrada que verfica:
A = -A^t

^{Matriz Ortogonal}
Una matriz es ortogonal si verifica que:
A·A^t = I

OPERACIONES CON MATRICES

Suma y Resta de Matrices
Dados dos matrices de la misma dimensión, A=(aij) y B=(bij), se define la matriz suma A + B = (aij+bij).

La matriz suma se obtienen sumando los elementos de las dos matrices que ocupan la misma posición.

Producto de un Escalar por una Matriz
Dada una matriz A = (aij) y un número real kR, se define el producto de un número real por una matriz: la matriz del mismo orden que A, en la que cada elemento está multiplicado por k.

kA=(k * a_ij)





Producto de Matrices
Dos matrices A y B son multiplicables si el numero de columnas de A coincide con el numero de filas de B.

El elemento Cij  de la matriz producto se obtiene multiplicando cada elemento de la fila i de la matriz A por cada elemento de la columna j de la matriz B y sumandolos.

Matriz Inversa

El producto de una matriz por su inversa es igual a la matriz identidad.

A · A^-1  = A^-1 · A = I

Calculo de la Matriz Inversa Por El Método de Gauss Jordan

Sea A una matriz cuadrada de orden n. Para calcular la matriz inversa de A, que denotaremos como A^-1 seguiremos los siguientes pasos:




1. Construir una matriz de tipo  M = (A | I), es decir, A está en la mitad izquierda de M y la matriz Identidad I en la derecha.

Consideremos una matriz 3x3 arbitraria

La ampliamos con una matriz identidad de orden 3.

2. Utilizando el método de Gauss vamos a transformar la mitad izquierda, A, en la matriz identidad, que ahora está  a la derecha, y la matriz que resulte en el lado derecho será la matriz inversa: A^-1




       F2 - F1                               F3 + F2
                                     

  

               F2 - F3                                        F1 + F2

                   

      (-1) F₂

La matriz inversa es:

TEORÍA Y EJEMPLOS

Una cadena de markov consta de unos estados E1 E2 E3 E4…..E_n. que inicialmente en un tiempo 0 o paso 0 se le llama estado inicial, además de esto consta de una matriz de transición que significa la posibilidad de que se cambie de estado en un próximo tiempo o paso.

MATRIZ DE TRANSICIÓN:

Una matriz de transición para una cadena de Markov de n estado es una matriz de n X n con todos los registros no negativos y con la propiedad adicional de que la suma de los registros de cada columna (o fila) es 1.

Por ejemplo: las siguientes son matrices de transición.

REPRESENTACIÓN GRAFICA DE UNA MATRIZ  DE TRANSICIÓN:

Es el arreglo numérico donde se condensa las probabilidades de un estado a otro. A través de una grafica de matriz de transición se puede observar el comportamiento estacionario representado por una cadena de Markov tal que los estados representan la categoría en que se encuentre clasificado. Como se aprecia a continuación:

PROPIEDADES:

1- la suma de las probabilidades de los estados debe ser igual a 1.

2- la matriz de transición debe ser cuadrada.

3- las probabilidades de transición deben estar entre 0 y 1

La mejor manera de entender que es una cadena de markov es desarrollando un ejemplo sencillo de estas mismas como el siguiente.

Ej. 1.

En un país como Colombia existen 3 operadores principales de telefonía móvil como lo son tigo, Comcel y movistar (estados).

Los porcentajes actuales que tiene cada operador en el mercado actual son para tigo 0.4 para Comcel 0.25 y para movistar 0.35. (estado inicial)

Se tiene la siguiente información un usuario actualmente de tigo tiene una probabilidad de permanecer en tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a movistar de 0.2; si en la actualidad el usuario es cliente de Comcel tiene una probabilidad de mantenerse en Comcel del 0.5 de que esta persona se cambie a tigo  0.3 y que se pase a movistar de 0.2; si el usuario es cliente en la actualidad de movistar la probabilidad que permanezca en movistar es de 0.4 de que se cambie a tigo de 0.3 y a Comcel de 0.3.

Partiendo de esta información podemos elaborar la matriz de transición.

La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1

Po= (0.4  0.25  0.35)          →                        estado inicial

También se puede mostrar la transición por un método grafico

Ahora procedemos a encontrar los estados en los siguientes pasos o tiempos, esto se realiza multiplicando la matriz de transición por el estado inicial y asi sucesivamente pero multiplicando por el estado inmediatamente anterior.

Como podemos ver la variación en el periodo 4 al 5 es muy mínima casi insignificante podemos decir que ya se a llegado al vector o estado estable.

Ej 2.

Suponga que en el mercado se consiguen 3 tipos de gaseosas colas que son: coca cola, Pepsi cola y big cola cuando una persona a comprado coca cola existe una probabilidad de que la siga consumiendo de el 75%, un 15% de que compre Pepsi cola y un 10% de que compre big cola; cuando el comprador actualmente consume Pepsi existe una probabilidad de que la siga comprando de 60%, un 25% que compre coca cola y un 15% big cola; si en la actualidad consuma big cola la probabilidad de que la siga consumiendo es del 50%, un 30% que compre coca cola y 205 pepsi cola.

En la actualidad cada marca cocacola, Pepsi y big cola tienen los siguientes porcentajes en participación en el mercado respectivamente (60%  30%  10%)

• Elaborar la matriz de transición
• Hallar la probabilidad que tiene cada marca en el periodo 5

Respuesta

Matriz de transición

NOTA: estos ejercicios se pueden realizar en Excel utilizando la función de multiplicar matrices.

Entonces

Ej. 3

Almacenes éxito, Carrefour y Sao han investigado la fidelidad de sus clientes y han encontrado los siguientes datos:

E1: Exito

E2: Carrefour

E3: Sao

Hallar el estado estable (L)

CADENAS DE MARKOV ABSORBENTES

Una cadena de markov en la que uno o más estados es un estado absorbente es una cadena de markov absorbente. Para contestar preguntas importantes acerca de una cadena de markov absorbentes, se alistan los estados en el siguiente orden: primero los estados transitorios, luego los estrados absorbentes. Suponga que hay s – m estados transitorios (t₁, t₂,…, t_s-m) y m estados absorbentes (a₁, a₂,…, a_m), se escribe la matriz de probabilidades de transición P como sigue:

Proceso Estocástico

Un proceso estocatico discreto en el tiempo es simplemente una descripcion de la relacion entre las variables aleatorias (x_0, x₁, x₂,…)

Estado Transitorio

Un estado es transitorio si, despues de haber entrado a este estado, el proceso nunca regresa a el. Por consiguiente, el estado i es transitorio si y solo si existe un estado j(j≠i)  que es accesible desde el estado j, pero no viceversa, esto es, si el estado i no es accesible desde el estado j.

Estado Recurrente

Un estado es recurrente si, despues de haber entrado a este estado, el proceso definitivamente regresara a ese estado. Por conciguiente, un estado es recurrente si y solo si no es transitorio.

Un estado i es periodico con periodo K > 1 si K es el numero mas pequeño tal que la trayectoria que conducen del estado i de regreso al estado i tienen una longitud que es multiplo de K. si un estado recurrente no es periodico, se conoce como aperiodico.

Matriz Ergódica 

Si los estados en una cadena son recurrentes, aperiodicos y se comunican entre si, se dice que la cadena es ergódica.

 Ejemplos:

1) 

2)

3)

Ejemplo de una matriz de transición absorbente

La Universidad Libre a estudiado la trayectoria de sus estudiantes y a descubierto que: 

A) 70% de los estudiantes de nuevo ingreso regresan al año siguiente, de segundo año el 15% volverá como estudiante de nuevo ingreso y el resto no regresara.

B) El 75% de los estudiantes de segundo año volverán al año siguiente como estudiantes de tercer año, el 15% volverán como estudiantes de segundo año y el resto no regresara. 

C) El 80% de los estudiantes de tercer año regresaran al año siguiente como estudiantes de último año, 10% volverá como estudiante de tercer año y el resto no regresara. 

D) El 85% de los estudiantes de ultimo año se graduaran, y el 10% volverá como estudiante de ultimo año y el resto no regresara. 

Nota: Supongamos que la U no permite que un estudiante que se ha dado de baja, vuelva y tampoco permite que se cambie de curso a mitad de curso. 1) Escriba la matriz de transición de estos datos.

EJERCICIOS RESUELTOS

Ejercicios Cadenas de Markov Absorbentes