(рассмотрим для двух величин, остальные аналогично0Пусть (Х,У) – система двух случайных величин. Задача – исследовать связь между Х и У.
М(У/Х=х) – условные математические ожидания случайной величины У при условии, что Х=х (х – фиксированное число) М(У/Х=х)=f(x). Уравнение y=f(x) называется уравнением регрессии СВ У на СВ Ч. Будем приближать функцию y=f(x) к прямой y=kx+b, т.е. попытаемся подобрать k,b так, чтобы y=kx+b как можно лучше апроксимировать функцию y=f(x). В качестве прямой y=kx+b предлагается выбрать ту, на которую лучше всего «ложаться» экспериментальные точки. у1=kx1+b Þ Е21= (y1-(kx1+b))2 характеризует степень удалённости точки (х1,у1) от прямой y=kx+b Е22= (y2-(kx2+b))2 и т.д. Естественный критерий, характеризующий близость всей совокупности точек к прямой y=kx+b К=åni=1E2i. К=к(к,b) – функция двух переменных. Найдём такие к*,b*, которые минимизируют значение К.
К(к,b)= åni=1(yi-(kxi+b))2 Необходимое условие экстремума. DК/Dк=0; DК/Db=0
DК/Dк=åni=12(yi-(kxi+b))(-хi)=0
kåni=1 хi2+båni=1 хi =åni=1 хi yi;
DК/Db=åni=12(yi-(kxi+b))(-1)=0
åni=1 yi -kåni=1 хi-nb=0.
íì kåni=1 хi2+båni=1 хi =åni=1 хi yi
î kåni=1 хi+nb=åni=1 yi
cистема двух линейных уравнений с двумя неизвестными к и b.
12. Выпуклые функции в Rn и их свойства.
Отрезок в Rn с концами a, b Î Rn – это множество точек
х (t)= (1-t) a + t b,
где t произвольное число из промежутка [0; 1]. Отрезок с концами a, b обозначается [ a, b ]. Отрезок [ a, b ] совпадает с множеством точек в Rn, представимых в виде с = aа + bb, где a,b - произвольные неотрицательные числа такие, что a+b=1. Множество Р Ì Rn называется выпуклым, если вместе с любыми двумя точками a, bÎР оно содержит и весь отрезок [ a, b ]. Функция n переменных f (х), определенная на выпуклом множестве РÌRn, называется выпуклой, если для любых двух точек a, b Î Р и любых двух чисел a,bÎ[0; 1] таких, что a+b=1, выполняется неравенство
f (aа + bb) ≤ a f (а) + b f (b)
Для непрерывной функции, заданной на выпуклом множестве Р, следующие условия равносильны:
1) f выпукла;
Неравенство из пункта 4 называется неравенством Йесена. выпуклая функция наз. строго выпуклой, если неравенство f (aа + bb) ≤ a f (а) + b f (b) строгое при всех a, b из области определения функции и α,β ≥0 таких, что α+β=1.
Функция f наз. (строго) вогнутой, если –f (строго) выпукла, т.е.
f (aа + bb) ≥ a f (а) + b f (b)
Линейная функция f(x)=(c,x)+c0 одновременно выпукла и вогнута, но не строго.
Свойства выпуклых функций.
1. функция с выпуклой областью определения Р Ì Rn выпукла тогда и только тогда, когда выпукло множество Нf ={(х,у):хÎР, у≥ f (x)} (из Rn+1) называемое надграфиком функции f (x).
2. Если f (x) выпукла, то функция α f (x) выпукла при α>0 и вогнута при α<0.
3. Если f (x) выпукла на Р, то множество Uf (α)={х: f (x) ≤ α} выпукло при любом α. (обратное утверждение неверно).
4. Сумма любого числа выпуклых функций на множестве Р Ì Rn выпуклана Р, если при этом хотя бы одна из суммируемых функций строго выпукла, то вся сумма строго выпукла.
5. Пусть Р Ì Rn – выпуклое множество, и для каждого i=1,2,…k пусть l i(x) – линейная функция n переменных, а fi (t) – функция одной переменной, выпуклая на l i(Р). Тогда функция F(х)=f1 (l 1(x))+…+ fК (l К(x)) выпукла на Р. При этом, если все функции fi (t) строго выпуклы и любая точка однозначно определяется набором (l 1(а)+…+ l К(а)), то F(х) строго выпукла.
6. Пусть f выпукла на Р Ì Rn , а φ(t) – возрастающая выпуклая функция на множестве f (Р) ÌR, тогда F(х)= φ(f(x)) выпукла на Р. Если f (x) строго выпукла, то и F(х) строго выпукла.
7. Дифференциируемая функция f (x) выпукла на множестве Р Ì Rn тогда и только тогда, когда (grad f (a), b-a) ≤ f (b)- f (a) для любых a,bÎР
8. Пусть f (x) – функция, непрерывная на отрезке [ a, b ]ÌR и дважды дифференциируемая на (a, b). Для выпуклости функции f (x) на [ a, b ] необходимо и достаточно выполнение неравенства f˝ (x)≥0 для всех tÎ (a, b). Для строгой выпуклости f (x) добавляется условие f˝ (x)≠0 ни на одном интервале, содержащемся в (a, b).
9. 
Пусть D – выпуклое открытое множество в пространстве Rn, f (x)= f (x1,…,хn) – функция, имеющая в D непрерывные частные производные второго порядка. Для каждой точки хÎ D положим
и составим матрицу
C=Cij(X). Функция f (x) строго выпукла на множестве D, если в каждой точке хÎ D выполняются следующие неравенства
 |
∆1=с11>0, …, ∆n=det c>0
Экстремальные значения выпуклых и вогнутых функций.
1.Если х* - точка локального минимума (максимума) выпуклой (вогнутой) функции f (x) на выпуклом множестве Р Ì Rn то f (x*) – наименьшее (наибольшее) значение f (x) на Р. Если f (x) строго выпукла (вогнута), то х* - единственная точка глобального экстремума.
2.Пусть f (x) – выпуклая (вогнутая) функция на выпуклом множестве Р Ì Rn и пусть grad f (x*)=0. Тогда х* -точка глобального минимума (максимума) f (x) на Р.
