FACULTAD DE CIENCIAS EXACTAS Y TECNOLOGIAS Licenciatura en Sistemas de Información – Profesorado en Informática ASIGNATURA: Teoría de la Información y la Comunicación

Año 2011

TALLER 1 Tema: Introducción a la Teoría de la Información y la Comunicación. Objetivo: Que los alumnos logren… 

Identificar los conceptos básicos de la Teoría de la información.



Identificar la relación entre codificación y la medida de la información.

Fecha de presentación: Segunda semana de Septiembre: 09/09. Consignas.  Este trabajo debe realizarse en forma individual, y consta de un cuestionario de ejercicios, se llevará a cabo con una duración de dos semanas.  La presentación consistirá en una carpeta o material abrochado contando con los siguientes ítems: o

Carátula. Identificación completa del trabajo evaluativo con el nombre del alumno que realizó el trabajo.

o

Desarrollo del cuestionario de ejercicios propuestos.

Condiciones de aprobación.  La presentación de la carpeta solicitada deberá realizarse en tiempo y forma y contar con todos los ítems solicitados.  Las respuestas deberán ser precisas, completas y claras y demostrar correcto manejo conceptual y bibliográfico.  Cumplimentar por lo menos el 50% de respuestas correctas de este taller.

Ejercicios Propuestos. 1. ¿Cuál es la cantidad de información obtenida si al seleccionar aleatoriamente una carta de una baraja de póker de 52 naipes se saca una figura? 2. Una clase tiene 12 niños y 4 niñas. Se seleccionan 3 alumnos al azar (uno después del otro). ¿Cuál es la cantidad de información que se obtiene si los tres seleccionados resultan ser niños? 3. Se lanza una moneda 3 veces. Determina la cantidad de información obtenida si resultan 2 caras en los 3 lanzamientos. 4. Una luz se emite hasta con 10 colores diferentes. Se eligen 4 colores al azar. ¿Cuál es la cantidad de información contenida en cada secuencia de 4 intermitencias? 5. Supongamos que se lanza un par de dados no cargados. Si la suma es 6. Determine la cantidad de información obtenida si ocurre que uno de los dados tenga un 2. 6. Un teletipo binario consta de 64 símbolos posibles, los cuales son empleados con igual frecuencia. Si en ausencia total de ruido se pueden enviar 4 símbolos por segundo a través del canal, ¿cuál es la cantidad de información por segundo que se puede enviar por dicho canal? 7. Para una fuente de información de memoria nula con mensajes S= { S1, S2, S3, S4, S5} determine el máximo valor de la entropía y explique cuál es la condición para que ésta se presente. 8. Dada una fuente con alfabeto F= {f1, f2, f3} con probabilidades: P(f1)=0.1, P(f2)=0.4 y P(f3)=0.5. Calcular: a. Cantidad de información emitida por cada Fi. b. La cantidad media de información por símbolo. Pag:1

FACULTAD DE CIENCIAS EXACTAS Y TECNOLOGIAS Licenciatura en Sistemas de Información – Profesorado en Informática ASIGNATURA: Teoría de la Información y la Comunicación

Año 2011

TALLER 1

9. 10.

c. Considere la extensión de segundo orden de esta fuente y calcule su cantidad media de información por símbolo. d. Calcule la cantidad media de información de la extensión de tercer orden. Una secuencia de eventos ocurren produciendo una cantidad de información total de 16,61 bits. Si todos los eventos son equiprobables. Determine la cantidad de eventos. Considere una fuente de Markov de segundo orden ergódica con un alfabeto con un alfabeto S= {0, 1}. Suponga las siguientes probabilidades: P (1/11) = 0.7 P (1/00) = P (0/00) = 1.0 P (1/01) = 0.5 a) Determine P (0/01) y P (0/11). Explique cómo la obtiene. b) Construya el diagrama de estados c)¿Por qué esta fuente es una fuente ergódica? Explique.

11.

12.

13.

14.

Un observador, antes de conocer la salida de una fuente de información de memoria nula, sabe que no recibirá nunca un valor medio mayor a 3,17 bits/símbolo. SI este valor medio se está presentando en esa fuente, determine la cantidad de símbolos mensaje (Si) para dicha fuente. En una fuente de memoria nula con S = {S1, S2, S3, S4, S5} las probabilidades de los eventos varían cada cuatro horas. En las primeras cuatro horas los eventos tienen probabilidades así: P(S1)= 1/5, P(S2)= 3/10, P(S3)= 1/10, P(S4)= 3/10, P(S5)= 1/10. Se sabe que la incertidumbre de un observador a la salida de la fuente siempre se mantiene en el rango de X a Y bit/simb (X ≤ incertidumbre ≤ Y). Estime el valor para Y. Justifique la respuesta. Considere una fuente de Markov de segundo orden ergódica con un alfabeto S={0, 1} la cual emite la siguiente secuencia de símbolos: …00110110011001101… a. Construya el diagrama de estados. b. Determine P(0/00), P(1/01) y P(1/10) El diagrama de estados de una fuente de información de Markov binaria de primer orden viene dado en la siguiente figura. q

p

p 0

1 q

15.

a. Demostrar que las probabilidades estacionarias de la fuente son : P(0) = q/(p + q), P(1)= p/(p+q. b. Calcular H(S). c. Sea p = q. Calcular y dibujar H(S) en función de p. Consideremos una fuente de Markov binaria de tercer orden en que la probabilidad de emitir un 0 ó un 1 no depende de los dos símbolos anteriores, sino del tercero. La probabilidad de que un símbolo coincida con el emitido tres lugares antes es igual a 0.9; la probabilidad de que sea distinto, 0.1. a. Dibujar el diagrama de estados de esta fuente. b. Calcular la entropía de la fuente

Pag:2

FACULTAD DE CIENCIAS EXACTAS Y TECNOLOGIAS Licenciatura en Sistemas de Información – Profesorado en Informática ASIGNATURA: Teoría de la Información y la Comunicación

Año 2011

TALLER 1 16.

El diagrama de estados de una fuente de información de Markov de primer orden viene dado en la figura. Por simetría, la distribución estacionaria es: P(0) = P(1) = P(2) = 1/3 p

p

0

2

p

p

p 1

p a. Calcular H(S) b. Analizar el comportamiento de la fuente para p=0 c. Analizar el comportamiento de la fuente para p=1

Recursos: a) Bibliográficos: “Fundamentos de la teoría de la información” - Mauricio Correa Villa Instituto Tecnológico Metropolitano, ITM - 2008 b) Referencias web: Teoría de la Información y codificación (Norman Abramson). http://rs112.rapidshare.com/files/143732610/Teoria_de_la_Informacion_y_codificacionNorman_Abramson_ebook-spanish_.pdf Modelos y Teorías de la Comunicación. http://www.astraph.com/udl/biblioteca/antologias/modelos_teorias_comunicacion.pdf Introducción a la Teoría de la Información. http://www.eie.fceia.unr.edu.ar/~comunica/cx/t_teoinfo.pdf

Pag:3