Los modelos de procesos de Markov son útiles para estudiar la evolución de sistemas a lo largo de ensayos repetidos los que, a menudo, son períodos sucesivos donde el estado del sistema en cualquier período en particular no puede determinarse con certeza. Por ello, para describir la forma en que el sistema cambia de un período a otro consecutivo se emplean probabilidades de transición. Por tanto se está interesado en la probabilidad de que el sistema esté en un estado particular en un período dado.
Estos modelos tienen múltiples aplicaciones, puede usarse para describir la probabilidad de que una máquina que está funcionando en un período continuará funcionando en el siguiente. También pueden usarse los modelos para describir la probabilidad de que un consumidor que compra la marca A en un período la siga comprando en el siguiente o se pase a una marca B.
Andréi Márkov (1856 - 1922) matemático ruso conocido por sus trabajos en la teoría de los números y de probabilidades.
CADENAS DE MARKOV DE PRIMER ORDEN
Las cadenas de Markov de primer orden pueden usarse como modelo de procesos que tengan las siguientes propiedades:
1) El conjunto de sucesos posibles es finito.
2) La probabilidad del siguiente suceso depende solamente del suceso inmediatamente anterior.
3) Estas probabilidades permanecen constantes con el tiempo.
Cada suceso individual se denomina un estado. en el desarrollo del tema, S denotará los estados de un total de m estados posibles, donde m será finito, mayor o igual a 2. Cada vez que se produce un nuevo resultado o suceso se dice que el proceso ha avanzado o que se incrementa en un paso. Esto puede repetirse tantas veces como se desee. Un paso representa un período de tiempo o cualquier otra condición que pueda conducir a otro suceso posible, n simboliza el número de pasos o incrementos; por lo tanto, n= 0 es el presente, n= 1 es el suceso posible en la siguiente ocasión y n= 2 es el suceso en una ocasión después de la siguiente.
Ejemplo 1: Un cliente puede comprar un auto de marca Renault, Chevrolet o Mazda. Se supone que esta situación cubre todas las posibilidades. Su siguiente compra eta controlada por el auto que posee actualmente. Cada vez que compra un nuevo carro ocurre un paso. Hay m= 3 estados posibles.
Notación del estado | Descripción |
S1 | El cliente compra un Renault |
S2 | El cliente compra un Chevrolet |
S3 | El cliente compra un Mazda |
En el presente n= 0, S1,S2, o S3 representan el estado presente, es decir, la clase de auto que posee actualmente el cliente. En n=1, en la siguiente ocasión, S1,S2, o S3 representan todos los resultados posibles de su siguiente compra.
Formulación de un proceso como una cadena de Markov de primer orden
Se tiene la siguiente información acerca de la compra de autos:
Compra actual (n=0) | Sgte. compra (n=1) | ||
% que compra Renault | % que compra Chevrolet | % que compra Mazda | |
Renault | 40 | 30 | 30 |
Chevrolet | 20 | 50 | 30 |
Mazda | 25 | 25 | 50 |
La tabla presenta la probabilidad de que un cliente que ahora posee un Renault (S1) n=0, pueda comprar un Renault, Chevrolet, o Mazda en la siguiente ocasión, n=1. Se tiene la información para todos los posibles estados. Si indica que que el proceso esté ahora en el i-ésimo estado y Sj indica que en algún paso posterior (generalmente en la siguiente ocasión) el proceso estara en el j-ésimo estado.
Cuando la información se escribe en forma de tabla de probabilidades, se denomina matriz de transición y se designa como P.
Cada elemento de esta tabla representa la probabilidad de desplazarse desde un estado hasta otro. Un elemento de una matriz de transición se designa por pij, esta es la probabilidad condicional de que si el proceso está ahora en el estado i, en el siguiente paso podrá estar en el estado j.
Ejemplo 2: ¿ Cuál es la probabilidad de que un propietario de Mazda compre un Renault en la siguiente ocasión?
En n=0, el estado es S3 (Mazda), y en n=1, el estado es S1 (Renault), por lo tanto la probabilidad es p31=0.25.
Una matriz de transición debe cumplir las siguientes condiciones:
1) Cada elemento es una probabilidad, por lo tanto debe tener un valor entre 1 y 0.
2) Cada fila debe sumar exactamente 1.
3) La matriz debe ser cuadrada.
La siguiente es la notación general:
Una matriz de transición P está compuesta por filas de vectores de probabilidad Vi.
Análisis de probabilidad por medio de cadenas de Markov de primer orden
Para determinar la probabilidad de un evento después de n pasos, dado algún estado inicial específico Si, se utiliza la matriz de transición.
Ejemplo 3: Si un cliente acaba de comprar un auto Renault, Si= S1 en n= 0, ¿Cuál es la probabilidad de que él pueda comprar un Chevrolet en la siguiente ocasión, Sj= S2 en n= 2?
La matriz de transición es:
Para el estado S1, V1= 0.4, 0.3, 0.3. Esto quiere decir que si el estado presente es S1, la probabilidad de que el siguiente estado sea S1 es p11=0.4, S2 es p12=0.3 y S3 es p13= 0.3, por tanto el vector da las pribabilidades de los sucesos para el siguiente paso, a partir de un estado presente. Sea Vi^n el vector de probabilidades que describe las probabilidades de los posibles sucesos en n pasos si el estado presente es Si. Para responder la pregunta en consideración, se hace entonces V1^2. Esta expresión da las probabilidades de todas las compras dos pasos a partir de ahora, ya que el cliente en el presente posee un Renault, S1 en n=0. Esto se obtiene a partir del producto de V1^2 y P.
Esto significa que si el estado presente es S1 en n=0, la probabilidad de estar en el estado S1 dos pasos después (n=2) es p12= 0.295, en el estado S2 es p12= 0.345, y en el estado S3 es p13=0.360.
Se ha demostrado entonces que:
Por lo tanto, las probabilidades de los sucesos después de n pasos a partir de ahora pueden obtenerse utilizando el vector de probabilidad Vi y alguna potencia de la matriz P.
Cadenas de Markov ergódicas
Si el sistema o proceso que se modela con Markov tiene ciertas propiedades, es posible determinar las probabilidades de los sucesos después de alcanzar condiciones de estado estable. Luego de un largo tiempo de funcionamiento del proceso, un evento dado puede presentarse durante un porcentaje x del tiempo. Se desea estar en capacidad de determinar estos porcentajes. Lo que los detractores señalan en este punto es la condición de que la matriz de transición contenga probabilidades que permanezcan constantes con el tiempo.
Para asegurar la condición de estado estable, la cadena debe ser ergódica (algunas veces denominada cadena irreductible).
Una cadena ergódica describe de forma matemática un proceso en el cual es posible avanzar desde un estado hasta cualquier otro estado, no es necesario que esto se dé en un sólo paso, pero debe ser posible para que cualquier resultado sea logrado independientemente del estado presente.
Ejemplo 4: Jazmín conduce una moto por un sector cuyas calles están trazadas como se indica a continuación:
Cada vez que Jazmín llega a un esquina puede dar vuelta o seguir derecho con igual probabilidad. es decir, que si ella está en la esquina 2, ella puede avanzar a 1, 3, o 5 con una probabilidad de 1/3, y de igual modo partiendo de las otras esquinas. Un estado describe la esquina en la cual está Jazmín cuando toma su decisión. Por tanto hay 9 estados posibles. La matriz de transición es:
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | |
1 | 0 | 1/2 | 0 | 1/2 | 0 | 0 | 0 | 0 | 0 |
2 | 1/3 | 0 | 1/3 | 0 | 1/3 | 0 | 0 | 0 | 0 |
3 | 0 | 1/2 | 0 | 0 | 0 | 1/2 | 0 | 0 | 0 |
4 | 1/3 | 0 | 0 | 0 | 1/3 | 0 | 1/3 | 0 | 0 |
5 | 0 | 1/4 | 0 | 1/4 | 0 | 1/4 | 0 | 1/4 | 0 |
6 | 0 | 0 | 1/3 | 0 | 1/3 | 0 | 0 | 0 | 1/3 |
7 | 0 | 0 | 0 | 1/2 | 0 | 0 | 0 | 1/2 | 0 |
8 | 0 | 0 | 0 | 0 | 1/3 | 0 | 1/3 | 0 | 1/3 |
9 | 0 | 0 | 0 | 0 | 0 | 1/2 | 0 | 1/2 | 0 |
Jazmín puede eventualmente llegar a cualquier localización dada (estado) a partir de cualquier localización presente (estado). Por tanto esta es una cadena ergódica.
Se efectúa una prueba sencilla para determinar la posibilidad de llegar a todos los estados a partir de cualquier estado inicial. Considerar la matriz de transición:
Sea X igual a cualquier valor positivo de pij. Es posible ir directamente desde el 1 hacia cada estado excepto al 3. Sin embargo es posible ir desde 1 hasta 2 y luego hacia 3. Con esto es posible ir desde el estado 1 hacia cualquier otro. Ahora se comprueban los demás estados:
Estado 2: ir hasta 5, luego desde 5 hacia 1.
E 3= ir hasta 5, luego de 5 hacia 1.
E 4= ir hasta 1.
E 5= ir hasta 1.
Se puede decir entonces que esta es la matriz de transición de una cadena ergódica.
Un caso mas especifico de cadena ergódica, es una cadena regular. Una cadena regular es definida como una cadena que tiene una matriz de transición P la cual para alguna potencia de P tiene únicamente elementos positivos de probabilidad (diferente de 0). La forma más sencilla de verificar si una cadena es regular consiste en elevar sucesivamente al cuadrado la matriz hasta que todos los valores sean mayores de 0 o hasta que se desarrolle un patrón que demuestre que por lo menos un 0 nunca podrá eliminarse. Todas las cadenas regulares pueden ser ergódicas pero lo contrario no es necesariamente lo cierto, no todas las cadenas ergódicas son regulares.
Ejemplo 5: Se tiene la siguiente matriz, comprobar si es regular:
P ^2=
P ^4=
Determinación de las condiciones de estado estable
La existencia de condiciones de estado estable en una cadena ergódica regular puede demostrarse de una manera sencilla calculando P ^n para diversos valores de n. A continuación se presentan los valores de P ^n del ejemplo del comprador de autos para valores de n=1 hasta 8.
A medida que aumenta el valor de n, los valores pij tienden hacia un límite fijo y cada vector de probabilidad Vi^n tiende a hacer igual para todos los valores de i. Esto lleva a que:
1) Para un valor de n suficientemente grande, el vector de probabilidad Vi^n se hace igual para todas las i y no cambia para valores grandes de n.
2) Puesto que Vi^n+1= Vi^n P y Vi^n+1=Vi^n, existe un vector V* tal que V*=V*P.
El vector V* contiene las probabilidades que existen en condiciones de estado estable. Sea vj el j-ésimo elemento del vector probabilidad V*. Puesto que V* todavía es un vector probabilidad, aun debe existir la siguiente condición:
Si se expande este producto de matrices se obtienen m ecuaciones, se agrega el requerimiento de que la suma de las probabilidades es igual a 1, hay entonces m+1 ecuaciones y m incógnitas. Estas pueden resolverse para las m incógnitas quitando cualquiera de las ecuaciones, excepto la ecuación:
Puesto que las restantes m ecuaciones pueden satisfacerse si todas las vj=0.
Ejemplo 6: Para el ejemplo de la compra del auto, se determinan las probabilidades de estado estable del comprador.
Se elimina la última ecuación y se despejan las restantes:
Se puede interpretar así:
1) A la larga, 27.3% de los clientes compran Renault, 35.2% compran Chevrolet, y 37.5% compran Mazda.
2) Con el tiempo, la probabilidad de que un determinado cliente compre un Chevrolet es de 35.2%, etc.
Cuando la cadena no es regular, el método de análisis es el mismo pero la interpretación es más restrictiva. Por ejemplo, la matriz de transición puede ser tal que no sea posible alcanzar un estado dado en un número impar (par) de pasos numerados. En este caso, la interpretación 2 no tiene significado, pero aun es válida la interpretación 1, y el vector V* indica la frecuencia relativa del proceso en cada estado posible.
Cadenas de Markov absorbentes
Para describir procesos o sistemas que cesan (o vuelven a comenzar) después de alcanzar determinadas condiciones se utiliza un caso especial de cadenas de Markov. Por ejemplo, después de hallar un número predeterminado de partes defectuosas o aceptables, se suspende una inspección; después de un tiempo una cuenta se vuelve incobrable o pagada, etc. Esos procesos pueden modelarse como una cadena de Markov absorbente.
Un estado absorbente es aquel que tiene una probabilidad de ser abandonado igual a cero, es decir que, una vez comenzado es imposible salir de él, y el proceso o se detiene completamente o se detiene para luego comenzar a partir de algún otro estado.
Una cadena de Markov es absorbente si:
1) Tiene por lo menos un estado absorbente.
2) Es posible ir desde cada estado no absorbente hasta por lo menos un estado absorbente, no es necesario que esto se dé en un paso, ni es necesario que exista la posibilidad de alcanzar cada estado absorbente a partir de cualquier estado no absorbente.
Ejemplo 7: Se inspeccionan partes de acuerdo al siguiente plan de inspeccion secuencial: seleccionar e inspeccionar articulo por artculo hasta llegar a encontrar un defecto (rechazo) o hasta encontrar 5 partes satisfactorias (aceptables).
Estos son los estados posibles:
Si se espera que el 90% de las unidades sean aceptables, la matriz de transición es:
Una vez alcanzados los estados S6 hasta S11 la probabilidad de que el proceso permanezca en el respectivo estado es 1. Por lo tanto no se puede ir desde cualquiera de estos estados hasta cualquier otro (probabilidad 0). Esto de debe a que el inspector podrá tomar una decisión de aceptación y/o rechazo en ese momento y con esto terminar la inspección.
A partir del análisis de esta clase de cadena pueden obtenerse varias informaciones, es posible determinar el número esperado de pasos antes de que el proceso sea absorbido, el número esperado de veces que el proceso está en cualquiera de los estados no absorbentes y la probabilidad de ser absorbido por cualquier estado absorbente dado.
El primer paso es reagrupar la matriz de transición de esta manera:
Estas matrices pequeñas contienen elementos de probabilidad pero si se consideran individualmente no constituyen una matriz de transición. Hay a estados absorbentes, n estados no absorbentes, y a+n=m estados totales. Las matrices contienen la siguiente información:
I: Matriz identidad a x a representa las probabilidades de permanecer dentro de un estad absorbente.
0: Matriz cero a x n indica las probabilidades de ir desde un estado absorbente hasta un estado no absorbente.
A: Matriz n x a contiene las probabilidades de ir desde cualquier estado no absorbente hasta un estado absorbente.
N: Matriz n x n contiene las probabilidades de ir desde cualquier estado no absorbente hasta cualquier otro estado no absorbente en un paso exactamente.
La matriz de transición reordenada es:
N^2 da las probabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en dos pasos exactamente, N^n da esta misma información para n pasos exactamente y N^0 puede representar la probabilidad de estar en un estado justo ahora. Puesto que esta información se conoce y como el estado no puede dejarse en cero pasos, N^0 realmente es una matriz identidad de n x n.
Si este problema se resuelve según la probabilidad clásica, una manera de hallar el número esperado de pasos antes de que el proceso sea absorbido consiste en calcular el número esperado de veces en que el proceso puede estar en cada estado no absorbente y sumarlas. Esto daría el total de pasos antes de que el proceso fuera detenido y por consiguiente el numero esperado de pasos hacia la absorción.
El número esperado de veces que el proceso pueda estar en une estado no absorbente j es la suma de los siguientes términos:
Numero esperado de veces en j= 1x probabilidad de estar en j al comienzo + 1x probabilidad de estar en j después de 1 paso+...
= 1N^0 + 1N^1 +....
= 1N^0 + N^1 +N^2....
La matriz N se compone de fracciones decimales pij, donde 0<= pij <= 1. Por lo tanto, a medida que aumenta la potencia n, N^n tiende a 0. Esta serie de matrices se comporta como una serie de potencias, y el límite de su suma es:
Ejemplo 8: Para el ejemplo del plan de inspección se tiene:
Se invierte esta matriz para obtener (I-N)^-1.
Se comienza desde el principio del proceso de inspección, S1; el número esperado de veces en este estado es 1, en el estado 2 (1 bueno, 0 malo) es 0.9, en el estado 3 es 0.81, etc. El número esperado de pasos antes de la absorción es la suma de las veces que el proceso está en cada estado no absorbente.
Para hallar la probabilidad de absorción por cualquier estado absorbente dado:
Sea j el símbolo que representa un estado absorbente dado; sea i el símbolo que representa algún estado no absorbente específico; y sea k cualquier estado no absorbente.
Probabilidad de terminar en j= probabilidad de ir de i hasta j en 1 paso + probabilidad de ir de i hasta j en 2 pasos + probabilidad de ir de i hasta j en 3 pasos + ...
Probabilidad de ir desde i hasta j en 1 paso= A.
La probabilidad de absorción en el estado S6 cuando el estado incial es S1 es 0.59, por lo tanto la probabilidad de que el lote sea aceptado es 0,59. La probabilidad de que sea rechazado es la suma de las probabilidades de absorción por los estados de rechazo S7, S8, S9, S10 Y S11. Por lo tanto, probabilidad de rechazo cuando se comienza en S1= 0.1 + 0.09+ 0.08 + 0.07 +0.066 = 0.41.
1 | 2 | 3 | 4 | 5 | |
1 | X | X | 0 | X | X |
2 | 0 | X | X | 0 | X |
3 | 0 | 0 | 0 | X | X |
4 | X | 0 | X | 0 | X |
5 | X | X | 0 | 0 | 0 |
Sea X igual a cualquier valor positivo de pij. Es posible ir directamente desde el 1 hacia cada estado excepto al 3. Sin embargo es posible ir desde 1 hasta 2 y luego hacia 3. Con esto es posible ir desde el estado 1 hacia cualquier otro. Ahora se comprueban los demás estados:
Estado 2: ir hasta 5, luego desde 5 hacia 1.
E 3= ir hasta 5, luego de 5 hacia 1.
E 4= ir hasta 1.
E 5= ir hasta 1.
Se puede decir entonces que esta es la matriz de transición de una cadena ergódica.
Un caso mas especifico de cadena ergódica, es una cadena regular. Una cadena regular es definida como una cadena que tiene una matriz de transición P la cual para alguna potencia de P tiene únicamente elementos positivos de probabilidad (diferente de 0). La forma más sencilla de verificar si una cadena es regular consiste en elevar sucesivamente al cuadrado la matriz hasta que todos los valores sean mayores de 0 o hasta que se desarrolle un patrón que demuestre que por lo menos un 0 nunca podrá eliminarse. Todas las cadenas regulares pueden ser ergódicas pero lo contrario no es necesariamente lo cierto, no todas las cadenas ergódicas son regulares.
Ejemplo 5: Se tiene la siguiente matriz, comprobar si es regular:
1 | 2 | 3 | 4 | 5 | |
1 | X | X | 0 | X | X |
2 | 0 | X | X | 0 | X |
3 | 0 | 0 | 0 | X | X |
4 | X | 0 | X | 0 | X |
5 | X | X | 0 | 0 | 0 |
P ^2=
1 | 2 | 3 | 4 | 5 | |
1 | X | X | X | X | X |
2 | X | X | X | X | X |
3 | X | X | X | 0 | X |
4 | X | X | X | X | X |
5 | X | X | X | X | X |
P ^4=
1 | 2 | 3 | 4 | 5 | |
1 | X | X | X | X | X |
2 | X | X | X | X | X |
3 | X | X | X | X | X |
4 | X | X | X | X | X |
5 | X | X | X | X | X |
Determinación de las condiciones de estado estable
La existencia de condiciones de estado estable en una cadena ergódica regular puede demostrarse de una manera sencilla calculando P ^n para diversos valores de n. A continuación se presentan los valores de P ^n del ejemplo del comprador de autos para valores de n=1 hasta 8.
1) Para un valor de n suficientemente grande, el vector de probabilidad Vi^n se hace igual para todas las i y no cambia para valores grandes de n.
2) Puesto que Vi^n+1= Vi^n P y Vi^n+1=Vi^n, existe un vector V* tal que V*=V*P.
El vector V* contiene las probabilidades que existen en condiciones de estado estable. Sea vj el j-ésimo elemento del vector probabilidad V*. Puesto que V* todavía es un vector probabilidad, aun debe existir la siguiente condición:
Ejemplo 6: Para el ejemplo de la compra del auto, se determinan las probabilidades de estado estable del comprador.
Se elimina la última ecuación y se despejan las restantes:
1) A la larga, 27.3% de los clientes compran Renault, 35.2% compran Chevrolet, y 37.5% compran Mazda.
2) Con el tiempo, la probabilidad de que un determinado cliente compre un Chevrolet es de 35.2%, etc.
Cuando la cadena no es regular, el método de análisis es el mismo pero la interpretación es más restrictiva. Por ejemplo, la matriz de transición puede ser tal que no sea posible alcanzar un estado dado en un número impar (par) de pasos numerados. En este caso, la interpretación 2 no tiene significado, pero aun es válida la interpretación 1, y el vector V* indica la frecuencia relativa del proceso en cada estado posible.
Cadenas de Markov absorbentes
Para describir procesos o sistemas que cesan (o vuelven a comenzar) después de alcanzar determinadas condiciones se utiliza un caso especial de cadenas de Markov. Por ejemplo, después de hallar un número predeterminado de partes defectuosas o aceptables, se suspende una inspección; después de un tiempo una cuenta se vuelve incobrable o pagada, etc. Esos procesos pueden modelarse como una cadena de Markov absorbente.
Un estado absorbente es aquel que tiene una probabilidad de ser abandonado igual a cero, es decir que, una vez comenzado es imposible salir de él, y el proceso o se detiene completamente o se detiene para luego comenzar a partir de algún otro estado.
Una cadena de Markov es absorbente si:
1) Tiene por lo menos un estado absorbente.
2) Es posible ir desde cada estado no absorbente hasta por lo menos un estado absorbente, no es necesario que esto se dé en un paso, ni es necesario que exista la posibilidad de alcanzar cada estado absorbente a partir de cualquier estado no absorbente.
Ejemplo 7: Se inspeccionan partes de acuerdo al siguiente plan de inspeccion secuencial: seleccionar e inspeccionar articulo por artculo hasta llegar a encontrar un defecto (rechazo) o hasta encontrar 5 partes satisfactorias (aceptables).
Estos son los estados posibles:
Estado | Descripción física | ||
No. de partes buenas | No. de defectuosas | ||
S1(0,0) | 0 | 0 | PRECISAMENTE AL COMENZAR |
S2(1,0) | 1 | 0 | |
S3(2,0) | 2 | 0 | |
S4(3,0) | 3 | 0 | |
S5(4,0) | 4 | 0 | |
S6(5,0) | 5 | 0 | ABSORBENTE |
S7(0,1) | 0 | 1 | |
S8(1,1) | 1 | 1 | |
S9(2,1) | 2 | 1 | |
S10(3,1) | 3 | 1 | |
S11(4,1) | 4 | 1 | |
Si se espera que el 90% de las unidades sean aceptables, la matriz de transición es:
S1 | S2 | S3 | S4 | S5 | S6 | S7 | S8 | S9 | S10 | S11 | ||
S1 | 0,9 | 0,1 | ||||||||||
S2 | 0,9 | 0,1 | ||||||||||
S3 | 0,9 | 0,1 | ||||||||||
S4 | 0,9 | 0,1 | ||||||||||
S5 | 0,9 | 0,1 | ||||||||||
S6 | 1 | |||||||||||
S7 | 1 | |||||||||||
S8 | 1 | |||||||||||
S9 | 1 | |||||||||||
S10 | 1 | |||||||||||
S11 | 1 | |||||||||||
Una vez alcanzados los estados S6 hasta S11 la probabilidad de que el proceso permanezca en el respectivo estado es 1. Por lo tanto no se puede ir desde cualquiera de estos estados hasta cualquier otro (probabilidad 0). Esto de debe a que el inspector podrá tomar una decisión de aceptación y/o rechazo en ese momento y con esto terminar la inspección.
A partir del análisis de esta clase de cadena pueden obtenerse varias informaciones, es posible determinar el número esperado de pasos antes de que el proceso sea absorbido, el número esperado de veces que el proceso está en cualquiera de los estados no absorbentes y la probabilidad de ser absorbido por cualquier estado absorbente dado.
El primer paso es reagrupar la matriz de transición de esta manera:
Estas matrices pequeñas contienen elementos de probabilidad pero si se consideran individualmente no constituyen una matriz de transición. Hay a estados absorbentes, n estados no absorbentes, y a+n=m estados totales. Las matrices contienen la siguiente información:
I: Matriz identidad a x a representa las probabilidades de permanecer dentro de un estad absorbente.
0: Matriz cero a x n indica las probabilidades de ir desde un estado absorbente hasta un estado no absorbente.
A: Matriz n x a contiene las probabilidades de ir desde cualquier estado no absorbente hasta un estado absorbente.
N: Matriz n x n contiene las probabilidades de ir desde cualquier estado no absorbente hasta cualquier otro estado no absorbente en un paso exactamente.
La matriz de transición reordenada es:
S6 | S7 | S8 | S9 | S10 | S11 | S1 | S2 | S3 | S4 | S5 | |||
S6 | 1 | 0 | 0 | 0 | 0 | 0 | |||||||
S7 | 1 | 0 | 0 | 0 | 0 | 0 | |||||||
S8 | 1 | 0 | 0 | 0 | 0 | 0 | |||||||
S9 | 1 | 0 | 0 | 0 | 0 | 0 | |||||||
S10 | 1 | 0 | 0 | 0 | 0 | 0 | |||||||
S11 | 1 | 0 | 0 | 0 | 0 | 0 | |||||||
S1 | 0 | 0,1 | 0 | 0 | 0 | 0 | 0 | 0,9 | 0 | 0 | 0 | ||
S2 | 0 | 0 | 0,1 | 0 | 0 | 0 | 0 | 0 | 0,9 | 0 | 0 | ||
S3 | 0 | 0 | 0 | 0,1 | 0 | 0 | 0 | 0 | 0 | 0,9 | 0 | ||
S4 | 0 | 0 | 0 | 0 | 0,1 | 0 | 0 | 0 | 0 | 0 | 0,9 | ||
S5 | 0 | 0 | 0 | 0 | 0 | 0,1 | 0 | 0 | 0 | 0 | 0 | ||
N^2 da las probabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en dos pasos exactamente, N^n da esta misma información para n pasos exactamente y N^0 puede representar la probabilidad de estar en un estado justo ahora. Puesto que esta información se conoce y como el estado no puede dejarse en cero pasos, N^0 realmente es una matriz identidad de n x n.
Si este problema se resuelve según la probabilidad clásica, una manera de hallar el número esperado de pasos antes de que el proceso sea absorbido consiste en calcular el número esperado de veces en que el proceso puede estar en cada estado no absorbente y sumarlas. Esto daría el total de pasos antes de que el proceso fuera detenido y por consiguiente el numero esperado de pasos hacia la absorción.
El número esperado de veces que el proceso pueda estar en une estado no absorbente j es la suma de los siguientes términos:
Numero esperado de veces en j= 1x probabilidad de estar en j al comienzo + 1x probabilidad de estar en j después de 1 paso+...
= 1N^0 + 1N^1 +....
= 1N^0 + N^1 +N^2....
La matriz N se compone de fracciones decimales pij, donde 0<= pij <= 1. Por lo tanto, a medida que aumenta la potencia n, N^n tiende a 0. Esta serie de matrices se comporta como una serie de potencias, y el límite de su suma es:
N^0 + N^1 +N^2+N^3+...=(I-N)^-1
I es una matriz identidad n x n. Esto es análogo a la serie algebraica de potencias:
1+ x + x^2+x^3+...=1/1-x donde |x|<1
Entonces, para un estado inicial dado, la matriz (I-N)^-1 da el número esperado de veces que un proceso está en cada estado no absorbente antes de la absorción.Ejemplo 8: Para el ejemplo del plan de inspección se tiene:
Estado inicial | Pasos esperados antes de la absorción |
S1 | 1+0.9+0.81+0.729+0.6561=4.0951 |
S2 | 1+0.9+0.81+0.729=3.439 |
S3 | 1+0.9+0.81=2.71 |
S4 | 1+0.9=1.9 |
S5 | 1 |
Para hallar la probabilidad de absorción por cualquier estado absorbente dado:
Sea j el símbolo que representa un estado absorbente dado; sea i el símbolo que representa algún estado no absorbente específico; y sea k cualquier estado no absorbente.
Probabilidad de terminar en j= probabilidad de ir de i hasta j en 1 paso + probabilidad de ir de i hasta j en 2 pasos + probabilidad de ir de i hasta j en 3 pasos + ...
Probabilidad de ir desde i hasta j en 1 paso= A.
Probabilidad de ir desde i hasta j en 2 pasos= probabilidad de ir de i hasta k en 1 paso X probabilidad de ir desde k hasta j en 1 paso, sumada para todos los valores de k = NA.
Probabilidad de ir desde i hasta j en 3 pasos= probabilidad de ir de i hasta k en 2 paso X probabilidad de ir desde k hasta j en 1 paso, sumada para todos los valores de k = (N^2)(A).
Probabilidad de ir desde i hasta j en 4 pasos= (N^3)(A).
Probabilidad de ir desde i hasta j en n pasos = (N^n-1)(A).
Ejemplo 9: Tomando el ejemplo del plan de inspección se tiene, calcular la probabilidad de que el proceso pueda terminar con la aceptación del lote como bueno la probabilidad de que pueda terminar con el rechazo.
La probabilidad a hallar es la de ser absorbido en el estado S6 (5 partes buenas)
La probabilidad de absorción en el estado S6 cuando el estado incial es S1 es 0.59, por lo tanto la probabilidad de que el lote sea aceptado es 0,59. La probabilidad de que sea rechazado es la suma de las probabilidades de absorción por los estados de rechazo S7, S8, S9, S10 Y S11. Por lo tanto, probabilidad de rechazo cuando se comienza en S1= 0.1 + 0.09+ 0.08 + 0.07 +0.066 = 0.41.
Es también interesante determinar el numero esperado de pasos antes de que el proceso que comienza en el estado i alcance el estado no absorbente j. Esto es análogo a la absorción, por lo tanto, para determinar el número de pasos antes de alcanzar por primera vez un estado especifico j, simplemente se modifica la matriz de transición de manera que el estado j aparezca como estado absorbente y se utiliza el método desarrollado anteriormente.
Ejemplo 10: Usando el ejemplo del comprador de autos, se determina el numero esperado de compras antes de que el ahora dueño de un Renault (S1) compre un Mazda (S3). La matriz se modifica para convertir al estado S3 en un estado absorbente:
Ejemplo 10: Usando el ejemplo del comprador de autos, se determina el numero esperado de compras antes de que el ahora dueño de un Renault (S1) compre un Mazda (S3). La matriz se modifica para convertir al estado S3 en un estado absorbente:
El número de ocasiones antes de que el dueño de un Renault compre por primera vez un Mazda es 2.08+1.25=3.33.
