Тема 4. Экономико-статистический анализ информации

Дисперсионный анализ. Дисперсионный анализ (от латинского Dispersio – рассеивание / на английском Analysis Of Variance - ANOVA) применяется для исследования влияния одной или нескольких качественных переменных (факторов) на одну зависимую количественную переменную (отклик). В основе дисперсионного анализа лежит предположение о том, что одни переменные могут рассматриваться как причины (факторы, независимые переменные), а другие как следствия (зависимые переменные). Независимые переменные называют иногда регулируемыми факторами именно потому, что в эксперименте исследователь имеет возможность варьировать ими и анализировать получающийся результат.

Основной целью дисперсионного анализа (ANOVA) является исследование значимости различия между средними с помощью сравнения (анализа) дисперсий. Разделение общей дисперсии на несколько источников, позволяет сравнить дисперсию, вызванную различием между группами, с дисперсией, вызванной внутригрупповой изменчивостью. При истинности нулевой гипотезы (о равенстве средних в нескольких группах наблюдений, выбранных из генеральной совокупности), оценка дисперсии, связанной с внутригрупповой изменчивостью, должна быть близкой к оценке межгрупповой дисперсии. Если вы просто сравниваете средние в двух выборках, дисперсионный анализ даст тот же результат, что и обычный t-критерий для независимых выборок (если сравниваются две независимые группы объектов или наблюдений) или t-критерий для зависимых выборок (если сравниваются две переменные на одном и том же множестве объектов или наблюдений).

Сущность дисперсионного анализа заключается в расчленении общей дисперсии изучаемого признака на отдельные компоненты, обусловленные влиянием конкретных факторов, и проверке гипотез о значимости влияния этих факторов на исследуемый признак. Сравнивая компоненты дисперсии, друг с другом посредством F—критерия Фишера, можно определить, какая доля общей вариативности результативного признака обусловлена действием регулируемых факторов.

Исходным материалом для дисперсионного анализа служат данные исследования трех и более выборок, которые могут быть как равными, так и неравными по численности, как связными, так и несвязными. По количеству выявляемых регулируемых факторов дисперсионный анализ может быть однофакторным (при этом изучается влияние одного фактора на результаты эксперимента), двухфакторным (при изучении влияния двух факторов) и многофакторным (позволяет оценить не только влияние каждого из факторов в отдельности, но и их взаимодействие).

Дисперсионный анализ относится к группе параметрических методов и поэтому его следует применять только тогда, когда доказано, что распределение является нормальным.

Дисперсионный анализ используют, если зависимая переменная измеряется в шкале отношений, интервалов или порядка, а влияющие переменные имеют нечисловую природу (шкала наименований).

Пример: В течение недели в трех разных местах работало несколько аптечных киосков. В дальнейшем мы можем оставить только один. Необходимо определить, существует ли статистически значимое отличие между объемами реализации препаратов в киосках. Если да, мы выберем киоск с наибольшим среднесуточным объемом реализации. Если же разница объема реализации окажется статистически незначимой, то основанием для выбора киоска должны быть другие показатели.

Ковариационный анализ часто применяют перед дисперсионным анализом, чтобы проверить гомогенность (однородность, представительность) выборки наблюдений X,Y по всем сопутствующим факторам.

Пример: Пусть у нас имеется 3 метода обучения арифметики и группа студентов. Группа разбивается случайным образом на 3 подгруппы для обучения одним из методов. В конце курса обучения студенты проходят общий тест, по результатам которого выставляются оценки. Также для каждого студента имеется одна или несколько характеристик (количественных) их общей образованности.

Требуется проверить гипотезу об одинаковой эффективности методик обучения.

Постановка задачи

Основные теоретические и прикладные проблемы ковариационного анализа относятся к линейным моделям. В частности, если анализируются n наблюдений с p сопутствующими переменными , k возможными типами условий эксперимента , то линейная модель соответствующего ковариационного анализа задается уравнением:

где , индикаторные переменные равны 1, если -е условие эксперимента имело место при наблюдении , и равны 0 в противном случае. Коэффициенты определяют эффект влияния -го условия, — значение сопутствующей переменной , при котором получено наблюдение , — значения соответствующих коэффициентов регрессии по , — независимые случайные ошибки с нулевым математическим ожиданием.

Приведённая формула задаёт линейную модель однофакторного ковариационного анализа с независимыми переменными и уровнями фактора. При включении в модель дополнительных факторов в правой части уравнения появятся слагаемые, отвечающие за эффекты уровней вновь введённых в модель факторов.

Основное назначение ковариационного анализа — использование в построении статистических оценок ; и статистических критериев для проверки различных гипотез относительно значений этих параметров. Если в модели постулировать априори , то получится модель дисперсионного анализа, если же исключить влияние неколичественных факторов (положить ), то получится модель регрессионного анализа.

Корреляционный и регрессивный анализ.

Корреляционный анализ. Величины, характеризующие различные свойства объектов, могут быть независимыми или взаимосвязанными. Различают два вида зависимостей между величинами (факторами): функциональную и статистическую.

При функциональной зависимости двух величин значению одной из них обязательно соответствует одно или несколько точно определенных значений другой величины. Функциональная связь двух факторов возможна лишь при условии, что вторая величина зависит только от первой и не зависит ни от каких других величин. Функциональная связь одной величины с множеством других возможна, если эта величина зависит только от этого множества факторов. В реальных ситуациях существует бесконечно большое количество свойств самого объекта и внешней среды, влияющих друг на друга, поэтому такого рода связи не существуют, иначе говоря, функциональные связи являются математическими абстракциями. Их применение допустимо тогда, когда соответствующая величина в основном зависит от соответствующих факторов.

Воздействие общих факторов, наличие объективных закономерностей в поведении объектов приводят лишь к проявлению статистической зависимости. Статистической называют зависимость, при которой изменение одной из величин влечет изменение распределения других (другой), и эти другие величины принимают некоторые значения с определенными вероятностями. Функциональную зависимость в таком случае следует считать частным случаем статистической: значению одного фактора соответствуют значения других факторов с вероятностью, равной единице. Однако на практике такое рассмотрение функциональной связи применения не нашло.

Более важным частным случаем статистической зависимости является корреляционная зависимость, характеризующая взаимосвязь значений одних случайных величин со средним значением других, хотя в каждом отдельном случае любая взаимосвязанная величина может принимать различные значения.

Регрессионный анализ.. Одной из типовых задач обработки многомерных ЭД является определение количественной зависимости показателей качества объекта от значений его параметров и характеристик внешней среды. Примером такой постановки задачи является установление зависимости между временем обработки запросов к базе данных и интенсивностью входного потока. Время обработки зависит от многих факторов, в том числе от размещения искомой информации на внешних носителях, сложности запроса. Следовательно, время обработки конкретного запроса можно считать случайной величиной. Но вместе с тем, при увеличении интенсивности потока запросов следует ожидать возрастания его среднего значения, т.е. считать, что время обработки и интенсивность потока запросов связаны корреляционной зависимостью.

Дискриминантный анализ. Основная цель Дискриминантный анализ используется для принятия решения о том, какие переменные различают (дискриминируют) две или более возникающие совокупности (группы). Например, некий исследователь в области образования может захотеть исследовать, какие переменные относят выпускника средней школы к одной из трех категорий: (1) поступающий в колледж, (2) поступающий в профессиональную школу или (3) отказывающийся от дальнейшего образования или профессиональной подготовки. Для этой цели исследователь может собрать данные о различных переменных, связанных с учащимися школы. После выпуска большинство учащихся естественно должно попасть в одну из названных категорий. Затем можно использовать Дискриминантный анализ для определения того, какие переменные дают наилучшее предсказание выбора учащимися дальнейшего пути.

Основная идея дискриминантного анализа заключается в том, чтобы определить, отличаются ли совокупности по среднему какой-либо переменной (или линейной комбинации переменных), и затем использовать эту переменную, чтобы предсказать для новых членов их принадлежность к той или иной группе.

Факторный анализ. Под факторным анализом понимается методика комплексного и системного изучения и измерения воздействия факторов на величину результативных показателей. В общем случае можно выделить следующие основные этапы факторного анализа:

1. Постановка цели анализа.

2. Отбор факторов, определяющих исследуемые результативные показатели.

3. Классификация и систематизация факторов с целью обеспечения комплексного и системного подхода к исследованию их влияния на результаты хозяйственной деятельности.

4. Определение формы зависимости между факторами и результативным показателем.

5. Моделирование взаимосвязей между результативным и факторными показателями.

6. Расчет влияния факторов и оценка роли каждого из них в изменении величины результативного показателя.

7. Работа с факторной моделью (практическое ее использование для управления экономическими процессами).

Кластерный анализ. Кластерный анализ предназначен для разбиения совокупности объектов на однородные группы (кластеры или классы). По сути это задача многомерной классификации данных. Существует около 100 разных алгоритмов кластеризации, однако наиболее часто используемые: иерархический кластерный анализ и кластеризация методов k-средних.

Где применяется кластерный анализ? В маркетинге это сегментация конкурентов и потребителей. В менеджменте: разбиение персонала на различные по уровню мотивации группы, классификация поставщиков, выявление схожих производственных ситуаций, при которых возникает брак. В медицине - классификация симптомов, пациентов, препаратов. В социологии - разбиение респондентов на однородные группы. По сути, кластерный анализ хорошо зарекомендовал себя во всех сферах жизнедеятельности человека.

Прелесть данного метода - он работает даже тогда, когда данных мало и невыполняются требования нормальности распределений случайных величин и другие требования классических методов статистического анализа.

Многомерное шкалирование. Многомерное шкалирование (МНШ) можно рассматривать как альтернативу факторному анализу. Целью последнего, вообще говоря, является поиск и интерпретация "латентных (т.е. непосредственно не наблюдаемых) переменных", дающих возможность пользователю объяснить сходства между объектами, заданными точками в исходном пространстве признаков. Для определенности и краткости, далее, как правило, будем говорить лишь о сходствах объектов, имея ввиду, что на практике это могут быть различия, расстояния или степени связи между ними.

Совместный анализ. Совместный анализ — один из лучших методов определения оптимальных характеристик продукта и его цены на основе моделирования поведения потребителей.

Суть метода заключена в его названии: conjoint – consider jointly, т. е. “рассматривать совместно”. В отличие от композиционных методов, где каждая характеристика оценивается по отдельности, в совместном анализе респондент оценивает все характеристики.

Приведем поэтапную процедуру применения совместного анализа с описанием тех проблем, которые могут возникнуть на каждом ее этапе.

Этап 1: Формирование списка характеристик. Разработка дизайна проекта совместного анализа начинается с определения атрибутов, из которых будут сформированы профили продуктов. Для того чтобы не упустить важные для потребителей характеристики продукта, необходимо, прежде всего, составить их список, из которого затем будут выбраны атрибуты. Среди характеристик, включаемых в профили продуктов, можно отметить две универсальные характеристики: торговая марка и цена

Этап 2. Выбор атрибутов. Одним из недостатков совместного анализа является ограничение, накладываемое этим методом на количество атрибутов. Это связано с тем, что при оценке профилей респонденту приходится одновременно рассматривать все представленные в нем атрибуты, в то время как мозг человека может одновременно обрабатывать не более 7 элементов информации. Если в профилях продуктов будет содержаться более 5—7 атрибутов, это может привести к информационной перегрузке респондентов и снижению точности их оценок. Поэтому на втором этапе необходимо принять решение о том, какие характеристики продукта из общего списка будут включаться в дизайн проекта в виде атрибутов.

Этап 3: определение диапазона значений атрибутов. После того, как выбраны атрибуты, необходимо определить диапазон их возможных значений. Особое внимание на этом этапе следует уделить тому, чтобы этот диапазон включал в себя все возможные значения атрибутов, которые могут быть использованы при проведении последующего анализа. Необходимо помнить о том, что во время анализа мы сможем провести интерполяцию данных между значениями уровней атрибутов, но не сможем экстраполировать полученные результаты за пределы крайних значений. Так, если в исследовании использовались такие уровни цен, как $150, $250 и $350, то в дальнейшем мы сможем вычислить значение полезности любой цены между ними, например, $200 или $300, но не сможем определить полезность уровней цен, выходящих за этот диапазон, — скажем, $100 или $400.

Этап 4. Определение количества уровней. Определяя привлекательность для потребителей какого-либо продукта, исследователь может использовать для его описания только те уровни атрибутов, которые рассматривались респондентами при оценке профилей. Поэтому при разработке дизайна проекта желательно включить в него как можно большее количество уровней. Так, например, если в исследование были включены такие марки телефонов, как Nokia, Siemens, Benefon, то в дальнейшем исследователь ничего не сможет сказать о том, насколько привлекательна для потребителей марка Motorola. Более того, невозможно будет также определить реальные доли рынка изученных марок, так как неизвестна привлекательность других марок, представленных на рынке.

Этап 5. Определение значений уровней. Уровни атрибутов, отобранные для формирования профилей продуктов, должны удовлетворять двум условиям: они должны быть понятны респондентам, а компания должна иметь возможность реализовать их изменения в продукте. Первое условие означает, что интервьюеры смогут легко объяснить респондентам, что представляют собой те или иные характеристики и их значения. Второе условие связано с тем, что результаты совместного анализа должны давать компании возможность четко понять, что необходимо предпринять для улучшения своего продукта.

Этап 6. Выбор функции предпочтения. Функция предпочтения определяет некое связующее правило между полезностью атрибута и его уровнями. Возможность выбора разнообразных функций предпочтения добавляет гибкости совместному анализу. Как правило, исследователь имеет возможность выбрать один из трех основных вариантов: модель идеального вектора (ideal vector), модель идеальной точки (ideal point) и дискретная модель (partial benefit).

Этап 7. Определение количества профилей. Важность атрибутов и полезность их уровней вычисляются из оценок профилей продуктов. В идеальном варианте респонденты должны оценить профили со всеми возможными комбинациями уровней атрибутов. Этот подход, предполагающий формирование всех возможных комбинаций, называется полным факториальным дизайном. Однако в большинстве случаев его невозможно реализовать на практике из-за чрезмерно большого количества профилей, которые необходимо будет оценивать респондентам

Этап 8. Формирование профилей. На данном этапе необходимо выбрать из множества возможных вариантов лишь несколько профилей, которые должны быть оценены респондентами. Один из наиболее простых подходов к формированию профилей заключается в случайном выборе необходимого количества профилей из общего списка возможных вариантов. Однако этот подход почти никогда не применяется на практике. Одна из особенностей совместного анализа заключается в том, что он, в отличие от многих других методов, не требует каких-либо проверок на нормальность, гетероскедастичность или независимость переменных. Это достигается, главным образом, за счет того, что дизайн профилей формируется особым, систематическим методом.

Этап 9. Выбор метода измерений. Существует несколько методов измерений, с помощью которых респонденты могут выразить свое отношение к профилям. Один из них основан на ранжировании профилей: подразумевается, что респонденты ознакомятся со всеми предложенными им альтернативами, после чего упорядочат их по убыванию привлекательности. Для этого респондент может выбрать самый лучший (с его точки зрения) профиль и присвоить ему ранг “1”, затем выбрать самый лучший профиль среди оставшихся и присвоить ему ранг “2” и т. д. Ранжирование представляет собой достаточно простую и понятную для респондентов задачу, а потому дает более надежные результаты.

Этап 10. Проведение полевых работ. При проведении совместного анализа могут использоваться различные методы сбора данных. Оптимальным методом является личное интервью, в ходе которого интервьюер имеет возможность использовать различные варианты визуального представления профилей, а также может помочь респонденту выполнить задание. В то же время личное интервью является одним из самых дорогих методов сбора данных. Снизить затраты на проведение исследования можно с помощью почтового опроса. Однако этот метод характеризуется низким процентом возвращаемых анкет. Этой проблемы можно избежать, проводя опрос по телефону. Но проведение телефонных интервью возможно только при небольшом количестве атрибутов и уровней, не нуждающихся в графическом представлении. Хорошие результаты может дать комбинация телефонного интервью и почтового опроса

Этап 11. Анализ данных. Вычисление важности атрибутов и полезности их уровней в совместном анализе представляет собой достаточно сложную процедуру. Однако от исследователя не требуется проводить ее “вручную”, так как это делается с помощью специальных программных продуктов. Существуют различные алгоритмы, по которым из общих оценок профилей выделяются полезности отдельных уровней атрибутов. Одним из наиболее популярных методов анализа, применяемых для метрических шкал, является регрессионный анализ с фиктивными переменными (ОLS).

Этап 12. Определение доли рынка. `На завершающем этапе исследователь может использовать вычисленные полезности уровней для определения оптимальных характеристик и цены продукта, а также его доли рынка на основе моделирования поведения потребителей. Для этого необходимо, прежде всего, вычислить общие полезности продуктов компании и конкурентов, определяемые как сумма полезностей уровней атрибутов. Полученные значения полезности продуктов необходимо затем перевести в доли рынка. Для этого может быть использована модель одиночного выбора (First Choice), в основе которой лежит предположение о том, что потребитель выбирает продукт с максимальной полезностью. В реальности потребители не проводят детального анализа полезности продуктов, а потому могут выбирать не самые привлекательные варианты. Вероятностный подход оставляет шанс любому продукту быть купленным.

Заключение. Совместный анализ предоставляет исследователю большие возможности по изучению мотивации и моделированию поведения потребителей. Однако достоверность и применимость результатов, полученных с его помощью, во многом зависят от решений, принятых исследователем на стадии разработки дизайна проекта. Принимая во внимание этот факт, исследователь должен уделять повышенное внимание процессу разработки дизайна, так как ошибки, допущенные на этой стадии, будет невозможно исправить в дальнейшем. Более того, некоторые ошибки невозможно будет не только исправить, но и обнаружить, что может привести к неадекватным выводам и решениям, основанным на результатах некорректно проведенного анализа.