Получаемая оценка представляет частный случай случайной переменной. Причина здесь в том, что сочетание значений 
в выборке случайно, поскольку – случайная переменная и, следовательно, случайной величиной является и функция набора ее значений. Возьмем, например, 
– оценку математического ожидания:
.
Выше мы показали, что величина в 
-м наблюдении может быть разложена на две составляющие: постоянную часть 
и чисто случайную составляющую 
:
. (A.17)
Следовательно,
, (A.18)
где 
– выборочное среднее величин .
Отсюда можно видеть, что , подобно , имеет как фиксированную, так и чисто случайную составляющие. Ее фиксированная составляющая – , то есть математическое ожидание , а ее случайная составляющая – , то есть среднее значение чисто случайной составляющей в выборке.
Функции плотности вероятности для и показаны на одинаковых графиках (рис. A.6). Как показано на рисунке, величина считается нормально распределенной. Можно видеть, что распределения, как , так и , симметричны относительно – теоретического среднего. Разница между ними в том, что распределение уже и выше. Величина , вероятно, должна быть ближе к , чем значение единичного наблюдения , поскольку ее случайная составляющая есть среднее от чисто случайных составляющих 
в выборке, которые, по-видимому, «гасят» друг друга при расчете среднего. Далее теоретическая дисперсия величины составляет лишь часть теоретической дисперсии 
.
Рис. A.6.
Величина 
– оценка теоретической дисперсии – также является случайной переменной. Вычитая (A.18) из (A.17), имеем:
.
Следовательно,
.
Таким образом, зависит от (и только от) чисто случайной составляющей наблюдений в выборке. Поскольку эти составляющие меняются от выборки к выборке, также от выборки к выборке меняется и величина оценки .
Несмещенность
Поскольку оценки являются случайными переменными, их значения лишь по случайному совпадению могут в точности равняться характеристикам генеральной совокупности. Обычно будет присутствовать определенная ошибка, которая может быть большой или малой, положительной или отрицательной, в зависимости от чисто случайных составляющих величин в выборке.
Хотя это и неизбежно, на интуитивном уровне желательно, тем не менее, чтобы оценка в среднем за достаточно длительный период была аккуратной. Выражаясь формально, мы хотели бы, чтобы математическое ожидание оценки равнялось бы соответствующей характеристике генеральной совокупности. Если это так, то оценка называется несмещенной. Если это не так, то оценка называется смещенной, и разница между ее математическим ожиданием и соответствующей теоретической характеристикой генеральной совокупности называется смещением.
Начнем с выборочного среднего. Является ли оно несмещенной оценкой теоретического среднего? Равны ли 
и ? Да, это так, что непосредственно вытекает из (A.18).
Величина включает две составляющие – и . Значение равно средней чисто случайных составляющих величин в выборке, и, поскольку математическое ожидание такой составляющей в каждом наблюдении равно нулю, математическое ожидание равно нулю. Следовательно,
. (A.19)
Тем не менее полученная оценка – не единственно возможная несмещенная оценка . Предположим для простоты, что у нас есть выборка всего из двух наблюдений – 
и 
. Любое взвешенное среднее наблюдений и было бы несмещенной оценкой, если сумма весов равна единице. Чтобы показать это, предположим, что мы построили обобщенную формулу оценки:
. (A.20)
Математическое ожидание 
равно:
. (A.21)
Если сумма 
и 
равна единице, то мы имеем 
и является несмещенной оценкой .
Таким образом, в принципе число несмещенных оценок бесконечно. Как выбрать одну из них? Почему в действительности мы всегда используем выборочное среднее с 
? Возможно, вы полагаете, что было бы несправедливым давать разным наблюдениям различные веса или что подобной асимметрии следует избегать в принципе. Мы, однако, не заботимся здесь о справедливости или о симметрии как таковой. Дальше мы увидим, что имеется и более осязаемая причина.
До сих пор мы рассматривали только оценки теоретического среднего. Выше утверждалось, что величина , определяемая в соответствии с табл. А.6, является оценкой теоретической дисперсии 
. Можно показать, что математическое ожидание равно , и эта величина является несмещенной оценкой теоретической дисперсии, если наблюдения в выборке независимы друг от друга. Доказательство этого математически несложно, но трудоемко, и поэтому мы его опускаем.
Эффективность
Несмещенность – желательное свойство оценок, но это не единственное такое свойство. Еще одна важная их сторона – это надежность. Конечно, немаловажно, чтобы оценка была точной в среднем за длительный период, но, как однажды заметил Дж. М. Кейнс, «в долгосрочном периоде мы все умрем». Мы хотели бы, чтобы наша оценка с максимально возможной вероятностью давала бы близкое значение к теоретической характеристике, что означает желание получить функцию плотности вероятности, как можно более «сжатую» вокруг истинного значения. Один из способов выразить это требование – сказать, что мы хотели бы получить сколь возможно малую дисперсию.
Предположим, что мы имеем две оценки теоретического среднего, рассчитанные на основе одной и той же информации, что обе они являются несмещенными и что их функции плотности вероятности показаны на рис. A.7. Поскольку функция плотности вероятности для оценки 
более «сжата», чем для оценки 
, с ее помощью мы скорее получим более точное значение. Формально говоря, эта оценка более эффективна.
Рис. A.7.
Важно заметить, что мы использовали здесь слово «скорее». Даже хотя оценка более эффективна, это не означает, что она всегда дает более точное значение. При определенном стечении обстоятельств значение оценки может быть ближе к истине. Однако вероятность того, что оценка окажется более точной, чем , составляет менее 50%.
Это напоминает вопрос о том, пользоваться ли ремнями безопасности при управлении автомобилем. Множество обзоров в разных странах показало, что значительно менее вероятно погибнуть или получить увечья в дорожном происшествии, если воспользоваться ремнями безопасности. В то же время не раз отмечались странные случаи, когда не сделавший этого индивид чудесным образом уцелел, но погиб бы, будучи пристегнут ремнями. Упомянутые обзоры не отрицают этого. В них лишь делается вывод, что преимущество на стороне тех, кто пользуется ремнями безопасности. Подобным же преимуществом обладает и эффективная оценка. (Неприятный комментарий: в тех странах, где пользование ремнями безопасности сделано обязательным, сократилось предложение для трансплантации почек людей, ставших жертвами аварий.)
Мы говорили о желании получить оценку как можно с меньшей дисперсией, и эффективная оценка – это та, у которой дисперсия минимальна. Сейчас мы рассмотрим дисперсию обобщенной оценки теоретического среднего и покажем, что она минимальна в том случае, когда оба наблюдения имеют равные веса.
Если наблюдения и независимы, теоретическая дисперсия обобщенной оценки равна:
. (A.21)
Мы уже выяснили, что для несмещенности оценки необходимо равенство единице суммы и . Следовательно, для несмещенных оценок 
и
. (A.22)
Поскольку мы хотим выбрать так, чтобы минимизировать дисперсию, нам нужно минимизировать при этом 
. Эту задачу можно решить графически или с помощью дифференциального исчисления. В любом случае минимум достигается при 
. Следовательно, также равно 0,5.
Итак, мы показали, что выборочное среднее имеет наименьшую дисперсию среди оценок рассматриваемого типа. Это означает, что оно имеет наиболее «сжатое» вероятностное распределение вокруг истинного среднего и, следовательно (в вероятностном смысле), наиболее точно. Строго говоря, выборочное среднее – это наиболее эффективная оценка среди всех несмещенных оценок. Конечно, мы показали это только для случая с двумя наблюдениями, но сделанные выводы верны для выборок любого размера, если наблюдения не зависят друг от друга.
Два заключительных замечания: во-первых, эффективность оценок можно сравнивать лишь тогда, когда они используют одну и ту же информацию, например один и тот же набор наблюдений нескольких случайных переменных. Если одна из оценок использует в 10 раз больше информации, чем другая, то она вполне может иметь меньшую дисперсию, но было бы неправильно считать ее более эффективной. Во-вторых, мы ограничиваем понятие эффективности сравнением распределений несмещенных оценок. Существуют определения эффективности, обобщающие это понятие на случай возможного сравнения смещенных оценок, но в этом пособии мы придерживаемся данного простого определения.
