Технология работы в статистических информационных системах

2.6.1. Особенности технологии обработки
статистической информации

Все решаемые в статистике задачи можно разделить на 3 группы (типа): регламентные статистические задачи, решаемые на базе сводок и группировок данных; задачи экономического анализа статистических данных с применением экономико-математических методов и моделей; задачи информационно-справочного обслуживания пользователей статистической информации.

При решении статистических задач используют в той или иной мере все основные режимы обработки данных: пакетный, диалоговый и реального времени. Пакетный режим используют при решении статистических задач средствами комплексной электронной обработки информации (КЭОИ), а при их решении средствами автоматизированного банка данных (АБД) – как пакетный, так и диалоговый. Задачи срочной отчетности решаются в режиме реального времени с применением телеобработки и сетевой технологии.

Во всех случаях статистические задачи на ЭВМ решают в рамках определенных технологических процессов и операций. Операции могут быть объединены в процедуры, в результате реализации которых данные приобретают конкретную законченную форму представления (рабочий массив на машинном носителе, совокупность выходных форм и т.п.). При реализации технологических процессов на всех уровнях статистической информационной системы могут быть выделены типовые технологические процедуры электронной обработки, используемые для различных задач и технологических средств. Все процедуры могут быть сгруппированы следующим образом: сбор и регистрация информации; передача ее к месту обработки; машинное кодирование данных; хранение и поиск; обработка; размножение информации; принятие решения. Благодаря этому весь технологический процесс обработки статистической информации организуется по типовым схемам для каждого уровня решения регламентной задачи (районного, регионального, федерального), что способствует уменьшению объема вычислительной работы и трудозатрат персонала.

Новые задачи, вызванные переходом к рыночной системе хозяйствования, потребовали новых подходов к организации технологических процессов (повышение оперативности сбора, обработки и анализа), перехода к комплексной автоматизации работ статистических органов на основе новых информационных технологий. Результатом этого стало построение единой статистической информационной системы, в которой все отрасли и показатели статистики взаимно увязаны между собой. Современные информационные технологии ориентированы на активное участие экономистов и статистиков в процессе обработки данных в режиме информационно-справочного обслуживания. При этом обеспечивается не только разработка статистической отчетности, но и выполнение комплекса аналитических работ по составлению бюллетеней, докладов и т.п. Информационные технологии обработки статистической информации в настоящее время базируются на использовании распределенных банков данных на всех уровнях государственной статистики, повсеместной организации АРМ экономистов-статистиков и предполагают тесное их взаимодействие с внешними информационными системами: организацию обмена математическими моделями, использование системы диспетчеризации технологических процессов и другие прогрессивные процессы, включая интегрированную обработку.

2.6.2. Интегрированная обработка статистической информации

Обеспечивает эффективное решение задач управления и использования вычислительной техники за счет специальной организации данных, которая позволяет многоцелевое использование информации при одноразовом или минимальном числе вводов ее в систему, а также устранение дублирования реквизитов и показателей, документов и массивов, снижение удельных затрат на получение результатной информации за счет централизованного хранения и использования данных для всех задач. Выделяют несколько форм интеграции: автоматизированные банки данных, автоматизированные статистические регистры, интегрированные системы информации по отдельным отраслям статистики, интегрированные комплексы электронной обработки статистической информации. Большие объемы статистической информации и многократное ее использование обусловливают сложную организацию данных во внешней памяти. Наиболее простой метод организации – создание для каждой задачи своих массивов (справочников, классификаторов и т.д.) – применяется для решения локальных статистических задач. При этом не обеспечивается взаимосвязь показателей различных задач и отраслей статистики и невозможно использование локальных информационных массивов для решения новых задач. Более широкое распространение находит интегрированная обработка на основе комплексов электронной обработки информации, характерными чертами которой являются:

технологический процесс, охватывающий несколько уровней государственной статистики;

однократное ручное изготовление первичных носителей, происходящее только в месте поступления первичных отчетов;

передача информации с одного уровня на другой, осуществляющий на машинных носителях.

Для эффективного использования комплексов электронной обработки информации для интегрированной обработки потребовалось создание автоматизированного банка данных, включающего взаимосвязанные информационные массивы сложной структуры многоцелевого пользования и реализующего единую концепцию банков данных. В ее основу положены общепринятые принципы логической и физической организации баз данных (БД). Логическая организация отражается в едином формализованном описании статистических показателей и их структурных связей, которые используются в концептуальной модели БД. Физическая организация выражается в структуризации БД, что обеспечивает их гибкое многоаспектное использование. Предусматривается 4 режима работы АБД: информационное обеспечение решения регламентных задач; информационно-справочное обслуживание (ИСО) пользователей; актуализация БД; обновление.

Регламентные задачи решаются по программам, составляемым для конкретных задач с использованием имеющихся БД. Получаемый при этом массив сводных данных помещается в БД для использования при решении новых задач. В режиме ИСО задания на обработку даются в виде запроса с помощью языковых средств, близких к естественному языку. Пользователь может работать в режиме запроса-ответа или диалога. Режим актуализации выполняется по мере обновления данных на основании предписаний, содержащих данные для корректировки и срок их исправления, администрацией банка. Режим обновления предусматривает периодическое пополнение фонда данных за счет включения в него данных отчетного периода – месячных, квартальных и др. Важное значение для организации эффективной работы АБД имеет регистровая форма хранения информации, сформированной по отдельным видам объектов статистического учета, в качестве которых выступают предприятия, стройки, население и т.д. Организация регистровой формы позволяет хранить и обрабатывать данные независимо от структуры статистических отчетов, совершенствовать экономический анализ за счет взаимосвязи показателей внутри динамических рядов, одновременного использования данных годовой и текущей отчетности и применения одинаковых экономико-математических методов и моделей для всех видов объектов статистического учета.

2.6.3. Экономико-математические методы и модели

для обработки статистической информации

Выделяют методы: сводка; группировка; индексный анализ.

Сводка – первый этап статистической работы, обеспечивающий количественное исследование массовых явлений и процессов. Если сведения суммируются для всех единиц совокупности, то сводка простая, а для однородных групп единиц, – групповая.

Группировкой называется выделение в совокупности однородных групп единиц по существенным признакам. Признак группировки может быть качественным (атрибутивным) и количественным. Группировка по одному признаку называется рядом распределения, а по сочетанию двух и более признаков – комбинационной группировкой.

Индексный анализ статистических данных базируется на понятии индекса – особой относительной величины, с помощью которой можно соизмерять непосредственно не измеряемые явления и проводить оценку роли отдельных факторов в формировании сложных социально-экономических явлений.

Большую группу экономико-математических методов составляют математико-статистические методы, используемые для математической обработки динамических (временных) рядов. При этом применяют показатели среднего уровня ряда, абсолютного прироста, коэффициенты и темпы роста и прироста. Для нахождения плавных уровней динамического ряда используют методы механического сглаживания ряда скользящей средней, экспоненциального сглаживания и др., а также методы аналитического выравнивания по линейной, степенной, логарифмической функциям, логистической кривой. Для задач прогнозирования широко применяют методы многофакторного корреляционного и регрессионного анализа, а также методы обработки динамических рядов. Особое место занимают демографические модели, учитывающие особенности населения и демографических процессов. Ряд экономико-математических методов основан на матричных моделях, математический аппарат которых построен на методах матричной алгебры и позволяет рассчитать фактически сложившиеся пропорции в экономике, а также согласовать всевозможные планы производства и распределения продукции. Широкое распространение в практике экономико-статистического анализа получают имитационные модели. Для решения задач функционирования вычислительной сети статистических органов используют методы теории систем массового обслуживания.

В качестве аппарата для моделей на всех уровнях применяют широкий спектр методов прикладной статистики, балансовых расчетов, имитационного моделирования. В связи с переводом экономики в рыночное русло внедряются новые типы экономико-математических моделей и методов выявления диспропорций экономики, анализа их влияния на ее эффективность, свободной конкуренции, теории фирмы, маркетинга, международных отношений и т.д., экспертных систем и искусственного интеллекта. Более подробно изложенные в данном разделе вопросы, а также материалы по основам проектирования информационных технологий и их использованию для решения статистических задач представлены в [6, 19].