Лекция 5. Статистические критерии различий
Параметрические и непараметрические критерии. Рекомендации к выбору критерия различия
Все критерии различий условно подразделены на две группы: параметрические и непараметрические критерии.
Критерий различия называют параметрическим, если он основан на конкретном типе распределения генеральной совокупности (как правило, нормальном) или использует параметры этой совокупности (средние, дисперсии и т.д.).
Критерий различия называют непараметрическим, если он не базируется на предположении о типе распределения генеральной совокупности и не использует параметры этой совокупности. Поэтому для непараметрических критериев предлагается также использовать такой термин как «критерий, свободный от распределения».
При нормальном распределении генеральной совокупности параметрические критерии обладают большей мощностью по сравнению с непараметрическими. Иными словами, они способны с большей достоверностью отвергать нулевую гипотезу, если последняя неверна. По этой причине в тех случаях, когда выборки взяты из нормально распределенных генеральных совокупностей, следует отдавать предпочтение параметрическим критериям.
Однако, как показывает практика, подавляющее большинство данных, получаемых в психологических экспериментах, не распределены нормально, поэтому применение параметрических критериев при анализе результатов психологических исследований может привести к ошибкам в статистических выводах. В таких случаях непараметрические критерии оказываются более мощными, т.е. способными с большей достоверностью отвергать нулевую гипотезу.
Итак, при оценке различий в распределениях, далеких от нормального, непараметрические критерии могут выявить значимые различия, в то время как параметрические критерии таких различий не обнаружат.
Важно отметить, что,
во-первых, непараметрические критерии выявляют значимые различия и в том случае, если распределение близко к нормальному;
во-вторых, при вычислениях вручную непараметрические критерии являются значительно менее трудоемкими, чем параметрические.
При подготовке экспериментального исследования психолог должен заранее запланировать характеристики сопоставляемых выборок (прежде всего связность–несвязность и однородность), их величину (объем), тип измерительной шкалы и вид используемого критерия различий. Последовательно это можно представить в виде следующих этапов:
1. Прежде всего, следует определить, является ли выборка связной (зависимой) или несвязной (независимой).
2. Следует определить однородность–неоднородность выборки.
3. Затем следует оценить объем выборки и, зная ограничения каждого критерия по объему, выбрать соответствующий критерий.
4. При этом целесообразнее всего начинать работу с выбора наименее трудоемкого критерия.
5. Если используемый критерий не выявил различия – следует применить более мощный, но одновременно и более трудоемкий критерий.
6. Если в распоряжении психолога имеется несколько критериев, то следует выбирать те из них, которые наиболее полно используют информацию, содержащуюся в экспериментальных данных.
7. При малом объеме выборки следует увеличивать величину уровня значимости (не менее 1%), так как небольшая выборка и низкий уровень значимости приводят к увеличению вероятности принятия ошибочных решений.
В психологических исследованиях для доказательства эффективности внедряемых программ, тренингов, упражнений и т.д., помимо отслеживания на определенных этапах качественных изменений, используется и математическая статистика.
С помощью математических методов сопоставляются результаты «до» и «после» воздействия, выявляется динамика изменения показателей под влиянием экспериментальных воздействий, сравниваются контрольная и экспериментальная группы, оценивается характер изменения какого-либо психологического показателя в нескольких группах и т.д.
Целью любого педагогического эксперимента является эмпирическое подтверждение или опровержение гипотезы исследования и/или справедливости теоретических результатов, то есть обоснование того, что предлагаемое педагогическое воздействие (например, новые содержание, формы, методы, средства обучения и т.д.) более эффективно (или, возможно, наоборот – менее эффективно).
Для этого, как минимум, необходимо показать, что, будучи примененным к тому же объекту (например – к группе учащихся), оно дает другие результаты, чем применение традиционных педагогических воздействий.
Для этого выделяется экспериментальная группа, которая сравнивается с контрольной группой.
Различие эффектов педагогических воздействий будет обосновано, если две эти группы, первоначально совпадающие по своим характеристикам, различаются после реализации педагогических воздействий.
Следовательно, требуется провести два сравнения и показать, что при первом сравнении (до начала педагогического эксперимента) характеристики экспериментальной и контрольной группы совпадают, а при втором (после окончания эксперимента) – различаются.
Так как объектом педагогического эксперимента, как правило, являются люди (учащиеся, учителя, сотрудники и руководители органов управления образованием и т.д.), а каждый человек индивидуален, то говорить о совпадении или различии характеристик экспериментальной и контрольной групп можно лишь в чисто формальном, статистическом смысле. Для того, чтобы выяснить, являются ли совпадения или различия случайными, используются статистические методы, которые позволяют на основании данных, полученных в результате эксперимента, принять обоснованное решение о совпадениях или различиях.
Общий алгоритм использования статистических критериев прост: до начала и после окончания эксперимента на основании информации о результатах наблюдений (характеристиках членов экспериментальной и контрольной группы) вычисляется эмпирическое значение критерия (алгоритм выбора статистического критерия и формулы для вычислений приведены ниже). Это число сравнивается с известным (табличным) числом – критическим значением критерия (критические значения для всех рекомендуемых нами критериев приведены ниже). Если эмпирическое значение критерия попадает в зону незначимости,, то можно утверждать, что " характеристики экспериментальной и контрольной групп совпадают с уровнем значимости 0,05 по статистическому критерию … (далее следует название использованного критерия: Крамера-Уэлча, Вилкоксона-Манна-Уитни, хи-квадрат, Фишера)".
В противном случае (если эмпирическое значение критерия оказывается вне зоны незначимости), можно утверждать, что " достоверность различий характеристик экспериментальной и контрольной групп по статистическому критерию … равна 95%". __
Следовательно, если характеристики экспериментальной и контрольной групп до начала эксперимента совпадают с уровнем значимости 0,05, и, одновременно с этим, достоверность различий характеристик экспериментальной и контрольной групп после эксперимента равна 95%, то можно сделать вывод, что " применение предлагаемого педагогического воздействия (например, новой методики обучения) приводит к статистически значимым (на уровне 95% по критерию …) отличиям результатов ".
Важно!!! Если до начала эксперимента выявлено статистически значимое различие характеристик экспериментальной и контрольной групп по интересующему исследователя критерию (например, по успеваемости), то проводить эксперимент не имеет смысла, так как никакие результаты сравнения характеристик этих групп после окончания эксперимента, не позволят выявить вклада педагогического воздействия, сравниваемого с традиционным.
