Мы обозначим через 
вероятность перехода из 
в 
ровно за 
шагов. Иначе говоря есть условная вероятность попадания в на -м шаге при условии, что начальным состоянием. Было ; она равна сумме вероятностей всех путей 
длины , начинающихся в и оканчивающихся в . В частности, 
и
(3.1)
По индукции мы получаем общую рекуррентную формулу
(3.2)
дальнейшая индукция по 
приводит к основному тождеству
(3.3)
(которое является частным случаем уравнения Колмогорова-Чепмена). Оно отражает тот простой факт, что первые шагов приводят из в некоторое промежуточное состояние 
и что вероятность последующего перехода из в не зависит от того, каким образом было достигнуто .
Так же как и в случае 
, образовавших матрицу 
, мы расположим в матрицу, которую обозначим 
. Тогда (3.2) утверждает, что для того, чтобы получит элемент 
матрицы 
, мы должны умножить элементы 
-й строки на соответствующие элементы 
-го столбца и сложить полученные произведения. Эта операция называется умножением матриц и и выражается символически равенством 
. Данное определение позволяет назвать -й степенью ; уравнение (3.3) выражает известный закон 
.
Для того чтобы (3.3) было справедливо для всех 
, мы определим 
, положив 
и 
при 
, что вполне естественно.
Примеры. а) Независимые испытания. Обычно бывает трудно получить явные выражения для вероятностей перехода за несколько шагов, однако, к счастью они не представляют особого интереса. Как важное, хотя и тривиальное исключение, мы отметим частный случай независимых испытаний. Этот случай имеет место тогда, когда все строки тождественно совпадают с данным распределением вероятностей, и ясно без вычислений, чт о отсюда следует равенство 
при всех .
б) Серии успехов. В примере д) (серии успехов) легко видеть (либо из рекуррентной формулы (3.2), либо из самого определения процесса), что
В этом случае ясно, что сходится к матрице, такой, что все элементы в ее столбце с номером равны 
.
