Случайных величин
Пусть 
и 
- две случайные величины. Положим,
= +
По теореме сложения математических ожиданий будем иметь:
М = М + М
Вычитая это равенство из предыдущего, получим:
= 
+ 
где обозначает отклонение величины от m 
, то есть
- m . Отсюда
2 = 2 + 2 + 2
Найдем теперь дисперсию величины + :
D ( + ) = D = M 2 = M 2 + M 2 + 2 M =
= D + D + 2 M ( ) (1)
Число M ( ) имеет особое значение для характеристики системы (, ). Его называют корреляционным моментом случайных величин и и обозначают через К (, ). Таким образом, по определению
К (, ) = M ( ).
Формула (1) принимает теперь следующий вид:
D ( + ) = D () + D () + 2 K ( ) (2)
- дисперсия суммы равна сумме дисперсий плюс удвоенный корреляционный момент.
Корреляционный момент, как свидетельствует его название, (от латинского слова correlation – соответствие, взаимосвязь), играет определенную роль при оценке зависимости и . Основное свойство корреляционного момента выражается следующим предложением.
Если величины и независимы, то их корреляционный момент равен нулю.
Действительно, пусть и независимы. Тогда,
очевидно, величины и будут тоже независимы. Отсюда вытекает, что математическое ожидание произведения будет: M ( ) = M M = 
= 0.
Из доказанного предложения следует: если К (, ) ≠ 0, то величины и не могут быть независимыми. Таким образом, неравенство нулю корреляционного момента определенно свидетельствует о наличии связи между величинами и .
Предположим, что в некотором опыте наблюдаются две случайные величины и .
То обстоятельство, что и обусловлены одним и тем же опытом, вообще говоря, создает между этими величинами некоторого рода связь: как принято говорить, и скоррелированы (согласованы) друг с другом.
Одной из характеристик корреляции, как мы уже знаем, служит корреляционный момент 
K ( ) = M ( ) = M (( - m ) ( - 
)),
где m и - математические ожидания величин и соответственно. Заметим, что справедлива формула
K (, ) = M ( ) - m ;
чтобы получить эту формулу, надо записать
( - m )( - ) = - m - + m
и приравнять друг к другу математические ожидания левой и правой частей.
Поскольку если величина и независимы, то их корреляционный момент равен нулю. Поэтому неравенство нулю величины К (, ) свидетельствует о наличии связи между и .
Случайные величины и , для которых корреляционный момент равен нулю, называются некоррелированными. Таким образом, из независимости величин и следует их некоррелированность. Обратное, вообще говоря, неверно: можно привести примеры и , для которых корреляционный момент равен нулю, между тем и связаны между собой (даже функционально).
Приведём пример такого рода. Пусть величина распределена непрерывно, причём плотность вероятности 
есть чётная функция; величина = 2. Тогда М = 0 и значит
K (, ) = M ( ) = M (
) = 
3 dx = 0.
Корреляционный момент, как следует из его определения, зависит от выбора единиц измерения для и ; например, если при измерении и в килограммах было получено значение К = 5 кг2, то, приняв за единицу измерения 1 г, получим для корреляционного момента значение К = 5х106 г2. Это обстоятельство затрудняет сравнение корреляционных моментов различных систем случайных величин. Чтобы преодолеть такое затруднение, вводится другая характеристика связи между и - коэффициент корреляции.
Определение. Коэффициентом корреляции случайных величин и называется число
- отношение корреляционного момента к произведению средних квадратичных отклонений величин и .
Очевидно, коэффициент корреляции не зависит от выбора единиц измерения для величин и (иначе говоря, r (, ) есть величина безразмерная). Он не зависит также и от выбора начала отсчета при измерении и .
Имеет место следующая теорема.
Теорема. Коэффициент корреляции всегда заключен между -1 и 1:
-1 
r 1
В случае, когда r = 1, величины и связаны линейной зависимостью:
= a + b (a, b = const),
причем a >0; при r = -1 между величинами и имеет место линейная зависимость c a <0.
Доказательство. Рассмотрим математическое ожидание случайной величины
( + t )2,
где = - , = - m 
, а t – любое действительное число. Имеем:
M ( + 
)2 = M ( 2 + 2 t + t 2 2) = M 2 +2 t M ( ) + + t 2 M 2 = D + 2 tK (, ) + t 2 D .
Мы получим равенство вида
M ( + )2 = 
t 2 + 2 
t + 
(3)
где = D , = K (, ), = D . К вадратный трехчлен, стоящий в правой части этого равенства, при любом значении t неотрицателен (ибо он равен математическому ожиданию случайной величины, принимающей только неотрицательные значения). Отсюда вытекает, что дискриминант этого трехчлена, т. е. выражение
2 - 
,
есть число не положительное. Итак,
К 2(, ) – D D 0,
или
Мы пришли к неравенству r 2 1, означающему, что величина r заключена в промежутке от 1 до -1.
Предположим теперь, что r 2 – 1, т. е. r равно -1 или 1.
В этом случае дискриминант указанного выше квадратного трехчлена равен нулю. Отсюда вытекает, что трёхчлен имеет действительный корень, т. е. при некотором действительном значении t = - a выражение t 2 + 2 t + 
равно нулю. Но тогда в силу (3) мы должны иметь:
M ( + )2 = 0
а это в свою очередь означает:
- a = 0
или
= a + b.
Обратно, допустим, что между случайными величинами и имеет место такого рода соотношение. Изменив начало отсчёта величины (что не влияет на r), можно добиться, чтобы было b = 0, т. е. = a . В этом случае, как легко проверить, величина r будет равна -1, если a < 0, и 1, если a > 0.
Установленные нами свойства коэффициента корреляции дают основание для некоторого качественного заключения, а именно: близость величины r 2 к единице есть признак того, что зависимость между и близка к линейной. Если при этом r > 0, то с возрастанием возрастает в среднем и , тогда говорят о положительной корреляции между величинами и ; если же r < 0, то при возрастании величина в среднем убывает (отрицательная корреляция).
