Протоколы Internet


Статистическая теория каналов связи - часть 7


,

где B1 и B2 – корреляционные матрицы соответствующих совокупностей x 1 и x 2.

Гауссовы распределения обладают следующим экстремальным свойством. Для произвольных распределений вероятностей величин

x 1 = {x (1), …, x (m)}

и x 2 = {x (m+1), …, x (m+n)}

с соответствующими корреляционными матрицами B1, B2 и B количество информации I(x 1, x 2) удовлетворяет неравенству

Пусть x = (x 1,…,x n) и h = (h 1,…,hn) – векторные случайные величины в n-мерном евклидовом пространстве X и r(x,y) – некоторая неотрицательная функция, определяющая условие близости величин x и h, которое выражается следующим соотношением:

Mr(x ,h ) Ј e .

Величину H=He, определенную как He = inf I(x, h), обычно называют e–энтропией случайной величины x (нижняя грань берется по всем случайным величинам h, удовлетворяющим указанному условию e–близости случайной величине x).

Пусть r(x,y) = r(|x-y|) и существует производная r’(0), 0< r’(0)<Ґ. Тогда при e ® 0 имеет место асимптотическая формула, в которой логарифмы берутся по основанию e:

где g() – гамма функция и h(x) – дифференциальная энтропия случайной величины x:

(px(x) – плотность распределения вероятностей, удовлетворяющая весьма широким условиям, которые выполняются, например, если плотность px(x) ограничена и h(x ) > -Ґ ).

Пусть (a, b > 0)

Тогда

В частности, при a =2, b =1 имеет место асимптотическая формула

Пусть пара случайных процессов (x 1(t), x 2(t)) образует стационарный в узком смысле процесс, x [u,v] – совокупность значений x (t), u Ј t Ј v, и пусть

- условное количество информации о процессе x1=, содержащееся в отрезке процесса x2. Среднее количество указанной информации представляет собой линейно растущую функцию от t:

Фигурирующая здесь величина I(x1, x2) называется средней скоростью передачи информации стационарным процессом x2 о стационарном процессе x1 или просто – скоростью передачи информации.

Скорость передачи информации I(x1,x2)

обладает рядом свойств, аналогичных свойствам количества информации. Но она имеет и специфические свойства. Так для всякого сингулярного случайного процесса x 2, т.е. такого процесса, все значения x 2(t) которого являются функциями от совокупности величин (t0 может быть выбрано любым), имеет место равенство I(x 1, x 2)=0.




Начало  Назад  Вперед