Тема 3. Нормальное распределение. Уровень достоверности.

 

Глава 1. Основные понятия статистики и дескриптивный анализ.

 

Нормальный закон распределения играет одну из наиважнейших ролей в применении и выборе статистических методов. Закон нормального распределения на графике выражается в виде кривой «колоколообразной» формы.

 

Каждому свойству соответствует свое распределение в генеральной совокупности. Чаще всего оно нормальное и характеризуется своими параметрами

 

– средним и сигмой. Так, среднее значение задает положение кривой на числовой оси, а сигма – задает ширину этой кривой и выступает как масштаб измерения.

 

Наиболее важным свойством кривых нормального распределения является одинаковая доля площади под кривой между одними и теми же значениями признака, выраженными в единицах стандартного отклонения.

 

Все многообразие нормальных распределений может быть сведено к одной кривой, если применить z-преобразование (преобразование выборки величин r (коэффициент корреляции) с тем, чтобы приблизить их к нормальному распределению) ко всем возможным измерениям свойств. Тогда каждое свойство будет иметь среднее 0 и сигму 1 – это называется единичнымнормальным распределением,которое используется как эталон.

 

Рис. 1

 

Www. statwork. net

 

Площадь под кривой интерпретируется как вероятность или относительная частота.

 

Полезно знать, что если распределение является нормальным, то:

 

90% всех случаев располагается в диапазоне значений М (среднее) ± 1,64 σ (сигма);

 

95% всех случаев располагается в диапазоне значений М (среднее) ± 1,96 σ (сигма);

 

99% всех случаев располагается в диапазоне значений М (среднее) ± 2,58 σ (сигма).

 

Как упоминалось в самом начале, соответствие или несоответствие нормальности распределения влияет на выбор статистических методов обработки данных. Так, данные, соответствующие нормальному распределению обрабатываются с помощью параметрических методов, а те данные, которые не соответствуют нормальности распределения обрабатываются

 

с помощью непараметрических методов статистики. К тому же, в каждом последующем сложном методе обработки данных существуют условия использования того или иного метода, в которые часто входит и нормальность распределения.

 

Существуют такие способы проверки на нормальность распределения как графический способ, критерий асимметрии и эксцесса, критерий нормальности Колмогорова-Смирнова.

 

Уровень статистической достоверности

 

Статистическая значимость или р-уровень значимости - основной результат проверки статистической гипотезы. Говоря техническим языком, это вероятность получения данного результата выборочного исследования при условии, что на самом деле для генеральной совокупности верна нулевая статистическая гипотеза - то есть связи нет. Иначе говоря, это вероятность того, что обнаруженная связь носит случайный характер, а не является свойством совокупности. Именно статистическая значимость, р-уровень значимости является количественной оценкой надежности связи: чем меньше эта вероятность, тем надежнее связь.

 

Предположим, при сравнении двух выборочных средних было получено значение уровня статистической значимости р=0,05. Это значит, что проверка статистической гипотезы о равенстве средних в генеральной совокупности показала, что если она верна, то вероятность случайного появления обнаруженных различий составляет не более 5%. Иначе говоря, если бы две выборки многократно извлекались из одной и той же генеральной совокупности, то в 1 из 20 случаев обнаруживалось бы такое же или большее различие между средними этих выборок. То есть существует 5%-ная вероятность того, что обнаруженные различия носят случайный характер, а не являются свойством совокупности.

 

В отношении научной гипотезы уровень статистической значимости – это количественный показатель степени недоверия к выводу о наличии связи, вычисленный по результатам выборочной, эмпирической проверки этой гипотезы. Чем меньше значение р-уровня, тем выше статистическая значимость результата исследования, подтверждающего научную гипотезу.

 

9

Www. statwork. net

 

Полезно знать, что влияет на уровень значимости. Уровень значимости при прочих равных условиях выше (значение р-уровня меньше), если:

 

- величина связи (различия) больше;

 

- изменчивость признака (признаков) меньше;

 

- объем выборки (выборок) больше.

 

Односторонние и двусторонние критерии проверки значимости

 

Если цель исследования том, чтобы выявить различие параметров двух генеральных совокупностей, которые соответствуют различным ее естественным условиям (условия жизни, возраст испытуемых и т. п.), то часто неизвестно, какой из этих параметров будет больше, а какой меньше.

 

Например, если интересуются вариативностью результатов в контрольной и экспериментальной группах, то, как правило, нет уверенности в знаке различия дисперсий или стандартных отклонений результатов, по которым оценивается вариативность. В этом случае нулевая гипотеза состоит в том, что дисперсии равны между собой, а цель исследования — доказать обратное, т.е. наличие различия между дисперсиями. При этом допускается, что различие может быть любого знака. Такие гипотезы называются двусторонними.

 

Но иногда задача состоит в том, чтобы доказать увеличение или уменьшение параметра; например, средний результат в экспериментальной группе выше, чем контрольной. При этом уже не допускается, что различие может быть другого знака. Такие гипотезы называются

 

односторонними.

 

Критерии значимости, служащие для проверки двусторонних гипотез, называются двусторонними, а для односторонних — односторонними.

 

Возникает вопрос о том, какой из критериев следует выбирать в том или ином случае. Ответ на этот вопрос находится за пределами формальных статистических методов и полностью зависит от целей исследования. Ни в коем случае нельзя выбирать тот или иной критерий после проведения эксперимента на основе анализа экспериментальных данных, поскольку это может привести к неверным выводам. Если до проведения эксперимента допускается, что различие сравниваемых параметров может быть как положительным, так и отрицательным, то следует использовать двусторонний критерий.

 

Если же есть дополнительная информация, например, из предшествующих экспериментов, на основании которой можно сделать предположение, что один из параметров больше или меньше другого, то используется односторонний критерий.

 

Когда имеются основания для применения одностороннего критерия, его следует предпочесть двустороннему, потому что односторонний критерий полнее использует информацию об изучаемом явлении и поэтому чаще дает правильные результаты.

 

10

Www. statwork. net

 

Риск одностороннего критерия в том, что он может назвать значимой переменную, которая не является значимой на самом деле. Односторонний критерий – это шанс назвать вашу переменную значимой, когда двусторонний критерий не срабатывает.

 

Двусторонние тесты более строгие в отличие от односторонних. Коэффициент может быть незначим при двустороннем тесте и значим при одностороннем, поэтому использование односторонних тестов может оказаться полезным, так как хочется иметь значимые коэффициенты.

 

Если односторонний тест не позволил отвергнуть нулевую гипотезу, то есть значимость коэффициента обосновать не удалось, то более строгий двусторонний тест также не отвергнет нулевую гипотезу, и коэффициент является незначимым.

 

 

Тема 4. Свойства описательных статистик (Часть 1)

 

Глава 1. Основные понятия статистики и дескриптивный анализ.

 

Перейдем теперь к рассмотрению первичных методов статистической обработки данных – описательной статистике.

 

К описательным статистикам обычно относят числовые характеристики распределения измеренного на выборке признака. Основное назначение каждой из первичных описательных статистик - замена множества значений признака, измеренного на выборке, одним числом (например, средним значением как мерой центральной тенденции). Компактное описание группы при помощи первичных статистик позволяет интерпретировать результаты измерений, в частности, путем сравнения первичных статистик разных групп.

 

Мера центральной тенденции - это число, характеризующее выборку по уровню выраженности измеренного признака.

 

Существуют три способа определения «центральной тенденции», каждому из которых соответствует своя мера: мода, медиана и выборочное среднее.

 

Наиболее просто получаемой мерой центральной тенденции является мода.

 

Мода -это такое значение из множества измерений,которое встречается наиболее часто.Моде,или модальному интервалу признака, соответствует наибольший подъем (вершина) графика распределения частот. Если график распределения частот имеет одну вершину, то такое распределение называется унимодальным.

 

ПРИМЕР - когда два соседних значения встречаются одинаково часто и чаще, чем любое другое значение, мода есть среднее этих двух значений.

 

Распределение может иметь и не одну моду. Когда все значения встречаются одинаково часто, принято считать, что такое распределение не имеет моды.

 

Если распределение имеет несколько мод, то говорят, что оно мультимодально или многомодально (имеет два или более «пика»). Мультимодальность распределения дает важную информацию о природе исследуемой переменной.

 

ПРИМЕР - в социологических опросах, если переменная представляет собой предпочтение или отношение к чему-то, то мультимодальность может означать, что существуют несколько определенно различных мнений.

 

 

Мультимодальность также служит индикатором того, что выборка не является однородной и наблюдения, возможно, порождены двумя или более «наложенными» распределениями.

 

Медиана -это такое значение признака,которое делит упорядоченное(ранжированное)множество данных пополам так, что одна половина всех значений оказывается меньше медианы, а другая - больше. Таким образом, первым шагом при определении медианы является упорядочивание (ранжирование) всех значений по возрастанию или убыванию. Далее медиана определяется следующим образом:

 

- если данные содержат нечетное число значений (8, 9, 10, 13, 15), то медиана есть центральное значение;

 

- если данные содержат четное число значений (5, 8, 9, 11), то медиана есть точка, лежащая посередине между двумя центральными значениями.

 

Среднее (выборочное среднее, среднее арифметическое) -определяется как сумма всехзначений измеренного признака, деленная на количество суммированных значений.

 

Среднее множества данных предполагает в основном арифметические операции. На величину среднего влияют значения всех результатов.

 

Каждая мера центральной тенденции обладает характеристиками, которые делают ее ценной в определенных условиях.

 

Для номинальных данных, разумеется, единственной подходящей мерой центральной тенденции является мода, или модальная категория - та градация номинальной переменной, которая встречается наиболее часто.

 

Для порядковых и метрических переменных, распределение которых унимодальное и симметричное, мода, медиана и среднее совпадают. Чем больше отклонение от симметричности, тем больше расхождение между значениями этих мер центральной тенденции. По этому расхождению можно судить о том, насколько симметрично или асимметрично распределение.

 

Однако использование среднего ограничивается тем, что на его величину влияет каждое отдельное значение. Таким образом, среднее значение весьма чувствительно к «выбросам» - экстремально малым или большим значениям переменной.

 

Тема 5. Свойства описательных статистик (Часть 2)

 

Глава 1. Основные понятия статистики и дескриптивный анализ.

 

Помимо мер центральной тенденции широко используются квантили распределения, процентили, децили и квартили.

 

Одним из наиболее эффективных и полезных методов описания группы наблюдений является описание с помощью квантилей. Квантиль - общее понятие, а процентили, децили и квартили – три его примера.

 

Квантиль -это точка на числовой оси измеренного признака,которая делит всю совокупностьупорядоченных измерений на две группы с известным соотношением их численности. С одним из квантилей уже знакомы - это медиана. Это значение признака, которое делит всю совокупность измерений на две группы с равной численностью. Кроме медианы часто используются процентили и квартили.

 

Процентили -это99точек-значений признака,которые делят упорядоченное(повозрастанию) множество наблюдений на 100 частей, равных по численности. Определение конкретного значения процентиля аналогично определению медианы. Например, при определении 10-го процентиля, Р10, сначала все значения признака упорядочиваются по возрастанию. Затем отсчитывается 10% испытуемых, имеющих наименьшую выраженность признака. Р10 будет соответствовать тому значению признака, который отделяет эти 10% испытуемых от остальных 90%.

 

На основе процентилей определяются процентильные баллы участников тестирования.

 

Дециль характеризует распределение величин совокупности,при которой девять значенийдециля делят ее на десять равных частей. Любая из этих десяти частей составляет 1/10 всей совокупности. Так, первый дециль отделяет 10 % наименьших величин, лежащих ниже дециля от 90 % наибольших величин, лежащих выше дециля.

 

Квартили -это3точки-значения признака(Р25,Р50,Р75),которые делят упорядоченное(повозрастанию) множество наблюдений на 4 равные по численности части. Первый квартиль соответствует 25-му процентилю, второй - 50-му процентилю или медиане, третий квартиль соответствует 75-му процентилю.

 

Интерквартильным размахом называется разность между третьей и первой квартилями, то есть x0.75 − x0.25.

 

14

Www. statwork. net

 

Интерквартильный размах является характеристикой разброса распределения величины и является робастным (Робастность (англ. robustness, от robust — «крепкий», «сильный», «твёрдый», «устойчивый») — свойство статистического метода, характеризующее независимость влияния на результат исследования различного рода выбросов, устойчивости к помехам) аналогом дисперсии. Вместе, медиана и интерквартильный размах могут быть использованы вместо математического ожидания и дисперсии в случае распределений с большими выбросами, либо при невозможности вычисления последних.

 

Процентили и квартили используются для определения частоты встречаемости тех или иных значений (или интервалов) измеренного признака или для выделения подгрупп и отдельных испытуемых, наиболее типичных или нетипичных для данного множества наблюдений.

 

Тема 6. Меры изменчивости

 

 

Глава 1. Основные понятия статистики и дескриптивный анализ.

 

Меры центральной тенденции говорят нам о концентрации группы значений на числовой шкале. Каждая мера дает такое значение, которое «представляет» в каком-то смысле все оценки, группы. В этом случае пренебрегают различиями, существующими между отдельными значениями. Для измерения вариации оценок внутри группы требуются другие описательные статистики. В этом письме будет рассмотрено несколько статистических характеристик, которые по-разному служат мерами изменчивости в группе данных.

 

Размах просто измеряет на числовой шкале расстояние,в пределах которогоизменяются оценки. Поскольку существуют несколько иные определения размаха, то надо разграничить два его типа: включающий и исключающий.

 

Исключающий размах -это разность максимального и минимального значении в группе.ПРИМЕР: исключающий размах значений 0, 2 3 5, 8 равен 8-0 = 8; значений -0,2; 0,4; 0,8; 1,6 имеют исключающий размах, равный 1,6 - (-0,2) = 1,8.

 

Включающий размах -это разность между естественной верхней границей интервала,содержащего максимальное значение, и естественной нижней границей интервала, включающего минимальное значение.

 

ПРИМЕР: рост пяти мальчиков измеряется с точностью до ближайшего см. Получены следующие значения: 150, 155, 157, 165, 168 см. Фактический рост самого низкого мальчика находится где-то между 149,5 и 150 см и действительная нижняя граница равна 149,5 см. Верхняя граница интервала, содержащего максимальное значение, составляет 168,5 см. Таким образом, включающий размах равен разности 168,5 - 149,5 = 19, которая на единицу больше, чем 168-150.

 

Размах является довольно грубой, но общераспространенной мерой изменчивости.

 

Размах представляет собой меру рассеяния, разброса, неоднородности или изменчивости, которая возрастает с ростом рассеяния и уменьшением однородности. Необходимо заметить, что, так же как и для моды и медианы, в ходе вычисления этой меры не учитывается каждое от-дельное значение.

 

Теперь мы сталкиваемся с четвертой мерой, при вычислении которой, как и для среднего, используется каждая оценка – дисперсия.

 

 

Дисперсия выборки,или выборочная дисперсия(термин впервые введен Фишером),мераизменчивости для метрических данных, пропорциональная сумме квадратов отклонений измеренных значений от их арифметического среднего. Чем больше изменчивость в данных, тем больше отклонения значений от среднего, тем больше величина дисперсии.

 

Мерой изменчивости, тесно связанной с дисперсией, является стандартное отклонение.

 

Стандартное отклонение (сигма,среднеквадратическое отклонение) -положительноезначение квадратного корня из дисперсии. Использование сигмы необходимо при составлении таблиц средних для ваших приложений или для таблиц непосредственно находящихся в «теле» диплома, диссертации или статьи. Так как использование только среднего значения некорректно, то принято обозначать так: 5.62±1.97, где 5.62 – среднее,а 1.97 – стандартное