Глава III. Закон больших чисел и центральная предельная теорема.

Неравенство Чебышева.

Предмет теории вероятностей, как мы знаем (см. §1. гл.I), составляют закономерности, свойственнее массовым случайным событиям. Простейшая из них - устойчивость относительной частоты – лежит в основе всех приложений теории вероятностей к практике. Общий смысл подобных закономерностей сводится к следующему. Пусть производится большая серия однотипных опытов. Исход каждого отдельного опыта является случайным, неопределённым. Однако, несмотря на это, средний результат всей серии опытов утрачивает случайный характер, становится закономерным. Под законом больших чисел в теории вероятностей понимается ряд теорем, в каждой из которых устанавливается факт приближения средних характеристик большого числа опытов к некоторым определённым постоянным.

В основе доказательства этих теорем лежит важное неравенство, установленное в 1845г. П.Л. Чебышевым.

 

Неравенство Чебышева. Пусть имеется случайная величина с математическим ожиданием Mξ=m и дисперсией Dξ = D. Каково бы ни было положительное число ε, вероятность того, что величина ξ отклонится от своего математического ожидания не меньше чем на ε, ограничена с верху числом , то есть

P (| ξ –m |≥ ε)≤ . (1)

Замечание. Поясним смысл неравенства Чебышева. Выберем некоторое положительное число и рассмотрим событие

(| ξ –m|≥ ε). (2)

Геометрически смысл этого события заключается в том, что значение случайной величины попадает в область числовой оси, получающейся удалением из всей оси интервала (m-ε;m+ε) (см. рис.1).

 

 

 

С возрастанием эта область сужается, следовательно, вероятность попадания в неё (т.е. вероятность события (2)) становится меньше. Неравенство Чебышева устанавливает для этой вероятности весьма простую оценку, а именно: вероятность такого «слишком большого» отклонения от среднего может быть оценена через дисперсию Dξ и число ε.

Если фиксировать ε, то вероятность непопадания в интервал (m-ε, m+ε) тем меньше, чем меньше дисперсия Dξ. Это вполне соответствует истолкованию дисперсии, как «меры разброса» случайной величины. Заметим ещё, что для противоположного события к событию (| ξ – m |≥ ε) имеем:

P (|ξ –m|<ε) = 1 – P (|ξ–m|≥ε) ≥ 1- . (3)

Доказательство неравенства Чебышева. Рассмотрим отдельно случай дискретной и непрерывной случайной величины ξ.

Неравенство (1) является следствием другого неравенства, так же принадлежащего Чебышеву:

пусть случайная величина η принимает только неотрицательные значения (т.е. P (η <0)=0), тогда

 

P (η ≥1) Mη. (4)

 

Докажем сначала неравенство (4). Пусть η - дискретная случайная величина, принимающая неотрицательные значения x ₁, x ₂,..., с вероятностями p ₁, p ₂,… соответственно. Имеем

P (η ≥1) .

Если каждое слагаемое p_i cуммы, стоящей справа, умножить на соответствующее значение x_i то правая часть не уменьшится, поскольку x_i ≥1. Тогда получаем

P (η ≥1) .

Выражение, стоящее справа, опять-таки не уменьшится, если распространить суммирование на все возможные значения η: действительно, при этом добавится неотрицательные слагаемые , отвечающие таким номерам i, для которых x_i <1. Тогда получаем

P (η ≥1) .

Последняя сумма по определению совпадает Mη. Тем самым неравенство (4) доказано для случая ДСВ η.

Пусть, теперь, η - непрерывная случайная величина с плотностью p_η(x)= p (x). Пусть p(x) непрерывна функция, тогда, поскольку

p (η <0)= ,

то отсюда следует, что p (x) =0 при x <0.

Рассуждая аналогично, как и в дискретном случае, получаем

 

.

Поскольку p(x)=0 при x <0, продолжая, получим

P (η >1) .

Тем самым неравенство (4) доказано для случая НСВ η.

Докажем теперь неравенство (1). Событие (|ξ–m|>ε) равносильно событию (). Случайная величина принимает лишь неотрицательные значения, и к ней можно применить неравенство (4). Получим:

В конечном итоге получаем: P (| ξ–m|>ε)≤ .

Тем самым неравенство Чебышева доказано.

Пример. Оценим вероятность события (| ξ–m |<3 σ), где σ – среднее квадратичное отклонение величины ξ.

Решение. Полагая в (3) ε=3σ, получим

P .

Таким образом, вероятность события (m-3σ<ξ<m+3σ) не меньше .

В действительности, для подавляющего большинства, встречающихся на практике случайных величин, эта вероятность значительно ближе к единице, чем .

Например, для нормального распределения (см §3 гл.II) Она равна 0,997….

Обычно, если закон распределения случайной величины неизвестен, но указаны параметры m=Mξ, и σ принимают, что диапазон практически возможных значений случайной величины есть интервал (m-3σ,m+3σ) («правило трех сигм»).

 

 

Закон больших чисел.

Неравенство Чебышева позволяет доказать ряд теорем, объединённых общим названием, «закон больших чисел». Основная из этих теорем принадлежит самому Чебышеву.

 

Теорема Чебышева. Пусть ξ ₁, ξ ₂…- последовательность независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной и одно и тоже математическое ожидание (среднее значении):

Mξ ₁ =Mξ ₂=…= m, Dξ ₁< c, Dξ ₂< c, ….

Тогда, каково бы ни было положительное число >0, вероятность события

стремится к единице при n → , т.е.

.

 

Доказательство. Положим

.

В силу свойств математического ожидания имеем:

.

Далее, так как величины ξ ₁, ξ _2.,… ξ_n независимы, то

.

Применим теперь к случайной величине η неравенство Чебышева:

P (| S_n – M S_n |< ε)>1-

или

1 P (| S_n – m |< ε) 1- .

Правая часть неравенства стремится к 1 при n ; тем более стремится к 1 левая часть, а это и требовалось доказать.

Поясним содержание теоремы Чебышева на важном примере.

Пусть требуется измерить значение m некоторой физической величины. В силу неизбежных при измерении ошибок результат измерения будет случайной величиной ξ. Её математическое ожидание будет совпадать с измеряемой величиной m, а дисперсия равна некоторой величине D (характеризующей точность измерительного прибора). Произведём n измерений в одинаковых условиях, что обеспечивает независимость результатов. Результат к -го измерения есть некоторое случайное число x^(k), этим задана случайная величина ξ_k. Совокупность величин ξ ₁ ,…,ξ_n представляет собой систему n независимых случайных величин, каждая из которых имеет тот же закон распределения, что и сама величина ξ. После серии из n измерений составим среднее арифметическое из n наблюдаемых значений

то есть значение случайной величины.

.

Теорема Чебышева утверждает, что экспериментальное среднее Z_n «почти достоверно» оказывается близким к теоретическому среднему значению m (истинное значение физической величины) искомой физической величины, если только число испытаний n достаточно велико.

Тем самым оправдывается рекомендуемый в практической деятельности способ получения более точных результатов измерений: одна и та же величина измеряется многократно, и в качестве её значения берётся среднее арифметическое полученных результатов измерений.

Замечание. Близость к Mξ среднего арифметического опытных значений величины ξ уже нами показывалось при введении понятия математического ожидания. Однако соответствующее рассуждение относилось только к дискретным величинам; кроме того, высказывание о близости мотивировалось соображениями эмпирического характера. В противоположность этому теорема Чебышева даёт точную характеристику близости среднего арифметического к Mξ, и при том для любой случайной величины (строго доказывается, исходя из аксиом теории вероятностей).

Из теоремы Чебышева в качестве следствия можно получить другую важную теорему, которая впервые была доказана Я. Бернулли и опубликована в 1713 году.

Теорема Бернулли. Пусть производится n независимых опытов, в каждом из которых с вероятностью p может наступить некоторое событие А. Рассмотрим случайную величину – число наступления события А в n опытах. Тогда, каково бы ни было положительное число ε > 0, вероятность события

 

стремится к единицe при n → , т.е.

 

.

Иначе говоря, как бы ни было мало ε, с увеличением числа опытов становится сколь угодно достоверным тот факт, что частота наступления события А отличается от вероятности этого события меньше, чем на ε.

 

Доказательство. Выведем теорему Бернулли из теоремы Чебышева. Заметим (см. § 7 гл. II), что

 

,

где есть число наступлений события А в i -м опыте (i =1,2,.., n).

Случайные величины имеют один и тот же закон распределения:

 

Значение
Вероятности	q	p

 

где . Для каждой из них математическое ожидание равно p, а дисперсия pq. Таким образом, все условия теоремы Чебышева выполняются, и для среднего арифметического величин , т.е. для справедливо соотношение

.

Тем самым мы доказали теорему Бернулли.

Замечание. Отметим попутно следующий полезный факт.

Поскольку

 

,

,

 

то неравенство Чебышева, применительно к случайной величине , даёт:

. (1)

Мы получаем оценку (хотя и весьма грубую) для вероятности отклонения частоты события А в серии из n опытов от вероятности события А в одном опыте.

Опытная проверка закона больших чисел предпринималась неоднократно. В приведённой ниже таблице приведены результаты опытов бросания монеты (событие А -выпадение герба, ):

 

Экспериментатор	Число n бросаний	-число выпадений герба	Частота выпадения герба
Ж.Бюффон (XVIII.) К. Пирсон К. Пирсон			0,507 0,5016 0,5005