Технологический процесс обработки данных.

Понятие технологического процесса.

ИТ – это системно-организованная последовательность операций, выполняемых над информацией с использованием средств и методов автоматизации.

Системно-организованная последовательность операций - это и есть технологический процесс обработки данных.

Техпроцесс обработки данных – это совокупность взаимосвязанных технологических операций по преобразованию информации с момента её возникновения до момента использования в соответствии с поставленной целью пользователя.

Операциями являются элементарные действия над информацией и её носителями, выполняемые на одном рабочем месте.

Для удобства проектирования и управления технологические операции объединяют в процедуры или этапы, т.е. в более укрупнённые элементы технологического процесса. Такое подразделение операций достаточно условно и комплексы операций, составляющих тот или иной этап, могут варьироваться.

Этапом техпроцесса называется его укрупненная относительно самостоятельная часть, характеризующаяся логической завершенностью, а также пространственной и временной обособленностью.

Техпроцессы обработки данных различаются составом и последовательностью операций, степенью их автоматизации (долей машинного и ручного труда), надежностью их выполнения. Надежность реализуется качеством выполнения основных операций и наличием разнообразного их контроля. Для обеспечения достоверности все операции технологического процесса выполняются с контролем, поэтому целесообразно подразделить технологические операции на рабочие и контрольные. Рабочие операции осуществляют запись, преобразование и передачу информации. Контрольные операции проверяют правильность работы на любом этапе технологического процесса. Наиболее важные технологические операции подвергаются многоаспектному контролю. Кроме того, организация техпроцесса определяется рядом факторов и критериев, главными из которых являются:

· объемы информации;

· срочность и точность её обработки;

· структурные и предметные особенности объекта управления.

Создание техпроцесса начинается с разработки укрупненных этапов обработки, которые затем детализируются на отдельные операции, состав которых зависит от основных качественных и количественных характеристик решаемых задач и временных ограничений, предъявляемых к ним. В целях наглядности и четкого представления составляется схема техпроцесса.

Техпроцесс разрабатывается для каждой конкретной задачи или для их взаимосвязанных групп и отражается в технологической документации, к которой относятся технологические и инструктивные карты.

Технологическая карта включает перечень и последовательность выполнения операций, оборудования, нормативные данные на операции, сроки поступления данных и время их выполнения.

Инструктивная карта составляется на каждую технологическую операцию и определяет порядок действия исполнителя с указанием рациональных методов и приемов её реализации.

Технологический процесс обработки данных.

Принято выделять следующие основные этапы обработки данных:

- первичный, связанный со сбором, регистрацией исходных данных и передачей их для обработки;

- подготовительный, осуществляющий перенос данных на машинные носители с контролем правильности переноса;

- основной, обеспечивающий обработку данных по заданным алгоритмам, контроль и выдачу результатной информации пользователям.

Состав типовых операций обработки данных и их разделение на этапы показаны на рис. 2.1.

 

ЭТАПЫ ТИПОВЫЕ ОПЕРАЦИИ

 

Технологический процесс обработки данных начинается с их сбора и регистрации. Данная процедура включает сбор первичной информации, передачу, регистрацию на машинном носителе или бумаге, ввод в ИС, контроль ввода и регистрации. При этом должны быть обеспечены достоверность, полнота и своевременность процедуры, так как от этого зависит правильное решение конкретной задачи управления объектом и эффективность управления в целом. Особенность процедуры в её низкой степени автоматизации, так как может присутствовать клавиатурный ввод, который отличается большими трудозатратами и ошибками.

Завершается этап передачей данных. Типовая операция передачи информации включает следующие элементарные операции:

· ввод в каналы связи, в систему передачи данных;

· преобразование из цифровой формы в аналоговую и наоборот;

· саму передачу;

· вывод сообщений;

· контроль ввода и вывода;

· защиту данных.

Необходимость передачи информации вызвана тем, что сбор и регистрация информации нередко территориально отделены от её обработки: процедуры сбора и регистрации информации осуществляются на рабочих местах, а обработка – в ВЦ.

Высокая степень автоматизации этой процедуры достигается дорогими способами, но технология в целом становится более эффективной.

Основным физическим способом реализации операции передачи информации является использование локальных сетей и сетей передачи данных. Международные стандарты в области сетевого информационного обмена нашли отражение в эталонной семиуровневой модели, известной как модель OSI (модель открытых сетей). Модель включает физический уровень, канальный, сетевой, транспортный, сеансовый уровни, уровень управления представлением и прикладной уровень. Большинство производителей сетевых программно-аппаратных средств стремятся придерживаться модели OSI. Но в целом добиться полной совместимости пока не удается.

Модель OSI представляет собой стандартизированный каркас и общие рекомендации. Требования же к конкретным компонентам сетевого программного обеспечения задаются протоколами.

Протокол является стандартом в области сетевого программного обеспечения и определяет совокупность функциональных и эксплутационных требований к какому-либо его компоненту, которых придерживаются производители этого компонента.

Протоколы сетевого взаимодействия можно классифицировать по степени близости к физической среде передачи данных. Это протоколы:

- нижнего уровня, распространяемые на канальный и физический уровни модели OSI;

- среднего уровня, распространяемые на сетевой, транспортный и сеансовый уровни OSI;

- верхнего уровня, распространяемые на уровень представления и прикладной уровень модели OSI.

При каждой реализации протоколов вышестоящих уровней используются реализации протоколов нижестоящих уровней.

Протоколы нижнего уровня OSI соответствуют уровню сетевых аппаратных средств и нижнему уровню сетевого программного обеспечения. Среди наиболее распространенных стандартов данного уровня отметим следующие:

- стандарт NDIS (Network Driver Interface Specification – спецификация интерфейса сетевых драйверов), разработанный совместно фирмами Microsoft и 3Com;

- стандарт ODI (Open Datalink Interface – открытый интерфейс связи), разработанный совместно фирмами Novell и Apple Computer.

Данные стандарты позволяют реализовывать протоколы среднего уровня независимо от сетевых аппаратных средств и обеспечивают совместное функционирование разнотипных протоколов среднего уровня.

По типу межкомпьютерного взаимодействия протоколы среднего уровня можно классифицировать следующим образом:

- сеансовые протоколы (протоколы виртуального соединения);

- дейтаграммные протоколы.

Любые протоколы среднего уровня определяют организацию передачи информации между компьютерами по так называемому виртуальному каналу в три этапа:

- установление виртуального канала (установка сеанса);

- реализация непосредственного обмена информацией;

- уничтожение виртуального канала.

В сеансовых протоколах порядок следования пакетов при передаче соответствует их исходному порядку в сообщении, а передача осуществляется с подтверждением доставки. В случае потери отправленных пакетов они передаются повторно.

При использовании дейтаграммных протоколов пакеты сообщений передаются так называемыми дейтаграммами независимо друг от друга, поэтому порядок доставки пакетов каждого сообщения может не соответствовать их исходному порядку в сообщении. При этом пакеты сообщений передаются без подтверждения.

Таким образом, с токи зрения достоверности сеансовые протоколы являются более предпочтительными, зато скорость передачи при использовании дейтаграммных протоколов гораздо выше.

Наиболее часто используемыми наборами протоколов среднего уровня являются следующие:

- набор протоколов SPX/IPX, используемый в локальных сетях, функционирующих под управлением сетевой операционной системы NetWare;

- протоколы NetBIOS и NetBEUI, поддерживаемые большинством операционных систем и используемые только в локальных сетях;

- протоколы TCP/IP, являющиеся стандартом для глобальной сети Internet, используемые в локальных сетях и поддерживаемые большинством операционных систем.

Протоколы верхнего уровня соответствуют уровню пользователей и прикладных программ. Наиболее распространенными являются следующие высокоуровневые протоколы:

- перенаправления запросов и обмена сообщениями (SMB, NCP);

- управления сетями (SNMP);

- сетевой файловой системы (NFS);

- вызова удаленных процедур (RPC);

- повышающие эффективность использования протоколов TCP/IP среднего уровня (DNS, DHSP);

- удаленного доступа к компьютерным ресурсам (SLIP, PPP, Telnet);

- передачи файлов (FTP);

- передачи гипертекста (HTTP);

- электронной почты (SMTP, POP3, IMAP4);

- организации электронных конференций и системы новостей (NNTP).

Второй этап – подготовительный, который включает совокупность операций переноса данных на машинные носители, ввода, компоновки и контроля данных. Операции переноса данных на машинные носители осуществляются на вычислительном центре или в случае децентрализованной обработки – непосредственно на рабочих местах учётных работников.

Следует отметить, что операции контроля используются на всех этапах обработки информации: сбора, передачи, обработки, выдачи и хранения информации. На каждом этапе они имеют свои особенности, приемы и средства реализации. Задача контроля данных заключается в снижении степени риска искажения или фальсификации данных с учетом стоимостных и трудовых затрат. Наиболее часто используемые методы контроля данных можно разделить на визуальные, логические и арифметические.

Визуальный метод относится к ручному, предварительному методу и предусматривает зрительный просмотр документов с целью проверки комплектности, своевременности представления, наличие необходимых в них записей, их полноты и четкости, наличие подписей ответственных лиц и др.

Логический метод контроля, как правило, автоматизированный, и используется на всех этапах обработки. При его применении достигается сопоставление фактических данных с нормативными, с данными предыдущих отчетных периодов или же сопоставление показателей, находящихся в арифметической логической зависимости между собой.

Арифметический метод контроля данных преимущественно автоматизированный, включающий подсчет контрольных сумм по строке, по графе или показателям документа; повтор расчёта; контроль по формулам (например, расчёт контрольного числа), признакам делимости или четности; использует коды обнаружения ошибок, основанные на запрещении части кодовых слов; двойной ввод с технического носителя, контрольное считывание.

Следующий этап технологического процесса обработки данных – основной. Он состоит из операций внутримашинной технологии. Эти операции составляют ядро технологического процесса, т.е. являются главными в информационных технологиях, остальные процедуры носят вспомогательный характер. Все операции выполняются автоматически. Обработка отличается разнообразием видов и форм представления информации: символы, текст, базы данных, изображения, звуки и т.д.

На самом верхнем уровне можно выделить числовую и нечисловую обработку. В указанные виды обработки вкладывается различная трактовка содержания понятия «данные». При числовой обработке используются такие объекты, как переменные, векторы, матрицы, многомерные массивы, константы и т.д. При нечисловой обработке объектами могут быть файлы, записи, поля, сети, отношения и т.д. Другое отличие заключается в том, что при числовой обработке содержание данных не имеет большого значения, в то время как при нечисловой обработке нас интересуют непосредственные сведения об объектах, а не их совокупность в целом.

Организация обработки каждого вида информации имеет свои особенности и специфику, которые должны быть известны пользователю-экономисту. При обработке информации используются разнообразные современные технологии: например, мультимедиа, нейрокомпьютерные технологии, распределённые, сетевые технологии и д.р.

Дадим краткое описание операций, образующих данный этап техпроцесса.

Накопление данных - периодический ввод данных в существующие файлы с целью получения сведений за определённый интервал времени.

Сортировка – размещение данных в определённом порядке. В системах обработки экономической информации более 25% машинного времени тратится на сортировку. Можно выделить несколько видов сортировки:

- упорядочение - расположение записей файла в порядке возрастания или убывания ключевых признаков;

- распределение - разнесение записей сортируемого файла по группам с одинаковым значением ключевого признака;

- объединение – слияние нескольких упорядоченных файлов в один с записями, расположенными в определённой логической последовательности.

Обработка данных – выполнение арифметических и логических операций по заданным алгоритмам.

С точки зрения реализации на основе современных достижений вычислительной техники выделяют следующие виды обработки информации:

- последовательная обработка, применяемая в традиционной фоннеймановской архитектуре ЭВМ, располагающей одним процессором;

- параллельная обработка, применяемая при наличии нескольких процессоров в ЭВМ;

- конвейерная обработка, связанная с использованием в архитектуре ЭВМ одних и тех же ресурсов для решения разных задач.

Принято относить существующие архитектуры ЭВМ с точки зрения обработки информации к одному из следующих классов.

- Архитектуры с одиночным потоком команд и данных (SISD). К этому классу относятся традиционные фоннеймановские однопроцессорные системы.

- Архитектуры с одиночными потоками команд и данных (SIMD). Особенностью данного класса является наличие одного (центрального) контроллера, управляющего рядом одинаковых процессоров.

- Архитектуры с множественным потоком команд и одиночным потоком данных (MISD). К этому классу могут быть отнесены конвейерные процессоры.

- Архитектуры с множественным потоком команд и множественным потоком данных (MIMD). К этому классу могут быть отнесены следующие конфигурации: мультипроцессорные системы, системы с мультиобработкой, вычислительные системы из многих машин, вычислительные сети.

Корректировка – модификация ранее сформированных данных, в результате которой их состояние соответствует реально существующим условиям. При корректировке могут выполняться следующие действия: добавление, исключение, изменение записей существующих файлов данных. Создание файлов данных можно интерпретировать как частный случай реализации действий добавления. Объектами корректировки могут быть записи файла или отдельные поля записей. Одним из основных условий выполнения корректировки является поиск местоположения данных, который, как правило, осуществляется по ключам.

В зависимости от того, сколько записей одновременно подвергаются модификации, принято разделять её на индивидуальную и групповую. При индивидуальной корректировке одна корректирующая запись вызывает модификацию одной записи файла, а при групповой – нескольких записей. Так примером групповой корректировки могут служить изменения значения некоторого реквизита во всех записях файла.

Необходимо различать корректировку автономных файлов и базы данных. В первом случае модификации подвергаются только записи соответствующего файла, а во втором – записи файлов и соответствующие связи.

Корректировка проводится в основном по принципу «отец-сын». Сущность его заключается в том, что для выполнения модификации необходим исходный файл (отец) и файл корректуры, в результате получается откорректированный файл (сын).

Большое значение при корректировке придаётся контролю достоверности информации и её защите от несанкционированного доступа. Это обеспечивается путём сохранения исходного файла и файла корректуры, а также введением системы паролей и ключей защиты.

Выдача информации – отражение (представление) результатов решения задач. По способу отражения выходной (результатной) информации различают вывод данных на бумагу, на машинные носители (в основном магнитные диски) и на видео терминальные устройства (дисплеи).

Традиционно результаты обработки отображаются в виде бумажных документов. При этом они проверяются на комплектность и логическую непротиворечивость, а затем оформляются юридически. С развитием технического, программного и иного обеспечения стала преобладать тенденция перехода на безбумажную технологию. Но полный отказ от бумажных документов пока невозможен, в частности, из-за нерешённости правовых вопросов оформления информации.

Вывод данных может осуществляться как непосредственно в месте обработки, так и по каналам связи для удалённых абонентов.

Основной задачей операции представления информации пользователю является создание эффективного интерфейса в системе «человек-компьютер». Среди существующих вариантов интерфейса в системе «человек-компьютер» можно выделить два основных типа: на основе меню и на основе языка команд.

Интерфейсы типа меню облегчают взаимодействие пользователя с компьютером, так как не требуют предварительного изучения языка общения с системой. На каждом шаге диалога пользователю предъявляются все возможные в данный момент команды в виде наборов пунктов меню, из которого пользователь должен выбрать нужный. Такой способ общения удобен для начинающих и непрофессиональных пользователей.

Интерфейс на основе языка команд требует знания пользователем синтаксиса языка общения с компьютером. Достоинством командного языка является его гибкость и мощность.

Технология представления информации должна давать дополнительные возможности для понимания данных пользователями, поэтому целесообразно использование графики, диаграмм, карт.

Пассивные пользователи, называемые иногда потребителями, обладают рядом специфических качеств, связанных с отсутствием времени, желания и квалификации для более глубокого изучения используемых инструментальных средств (СУБД, ЭТ, электронной почты и т. д.). В этом случае алгоритм общения с системой должен быть предельно простым, а, кроме того, пользователь должен использовать единственный универсальный интерфейс, позволяющий единообразно работать с подготовленной информацией. Другая часть пользователей требует предоставления достаточно широкого круга средств активного влияния на выполняемые информационные процессы. Этим требованиям удовлетворяет Web-технология, которая имеет следующие особенности:

1. информация предоставляется потребителю в виде публикаций;

2. публикация может объединять информационные источники различной природы и географического расположения;

3. изменения в информационных источниках мгновенно отражаются в публикациях;

4. в публикациях могут содержаться ссылки на другие публикации без ограничения на местоположение и источники последних (гипертестовые ссылки);

5. потребительские качества публикаций соответствуют современным стандартам мультимедиа (доступны текст, графика, звук, видео, анимация);

6. число потенциальных потребителей информации практически не ограничено;

7. информация легко усваивается потребителем, благодаря широкому спектру изобразительных возможностей, предоставляемых Web-технологией;

8. технология не предъявляет особых требований к типам и источникам информации.

Любая система создаётся на довольно длительный период эксплуатации, за время которого накапливается достаточно большое количество данных. Эти данные составляют основу архивного хранения и используются при решении задач, связанных с ретроспективными данными, анализом хозяйственной деятельности.

В настоящее время определяющим направлением реализации этой операции является концепция базы данных и хранилища данных.

База данных может быть определена как совокупность данных, организованных по определенным правилам, предусматривающим общие принципы описания, хранения и манипулирования данными, независимая от прикладных программ.

Хранилище данных (ХД, Data Warehouse, «склад данных», «информационное хранилище») – это база, хранящая данные, агрегированные по многим измерениям.

Основные отличия БД и ХД:

- агрегирование данных;

- данные из ХД никогда не удаляются;

- наполнение ХД происходит на периодической основе;

- формирование новых агрегатов данных, зависящих от старых, - автоматическое;

- доступ к ХД осуществляется на основе многомерного куба.

Альтернативой хранилищу данных является концепция витрины данных (Data Mart). Витрины данных – множество тематических БД, содержащих информацию, относящуюся к отдельным информационным аспектам предметной области.

Ещё одним важным направлением развития баз данных являются репозитарии. Репозитарий, в упрощённом виде, можно рассматривать просто как базу данных, предназначенную для хранения не пользовательских, а системных данных.

Результатом процедур обработки является информационное обслуживание пользователей для различных аспектов управления. Причём для среднего и верхнего уровней управления предприятием информация обобщается, группируется, чтобы получить более достоверную и полную картину состояния всего производства при принятии управленческих решений.

В технологии обработки данных можно выделить ещё одну процедуру - процедуру анализа, прогноза, поиска решений – это наиболее сложная, интеллектуальная процедура, выполняемая человеком на базе подготовленных данных, знаний, их моделей, на базе альтернативных решений. Эта процедура реализуется с помощью систем поддержки принятия решений (СППР). В результате их применения повысилась скорость формирования решений, улучшилось их качество за счёт оценки многих факторов.

Характерная черта СППР заключается в том, что произошёл отказ от фундаментального принципа в поиске объективного оптимального решения, характерного для полностью формализованных задач. Теперь наравне с формальными решениями стала применяться субъективная информация, поступающая от лица, принимающего решение (ЛПР).

Автоматизация ряда процедур формирования решений с помощью СППР позволила возложить на компьютер следующие функции:

1) генерацию возможных вариантов решения;

2) оценку вариантов, выбор и предоставление ЛПР лучшего из них;

3) анализ последствий принятого решения;

4) обеспечение работы системы исходными данными, поступающими из других систем (подсистем, ЛПР и окружающей среды).

В основе функционирования любой СППР лежит АИС, представляющая собой совокупность информации, экономико-математических методов и моделей, технических, программных и технологических средств и специалистов, предназначенных для обработки информации. АИС отражает не только текущее состояние предприятия, но и его состояние за прошедший период.

Для каждого из уровней управления может создаваться своя СППР, функции которых отличаются от функций СППР других уровней. Функции системы зависят исключительно от специфики решаемых проблем.

Необходимость в СППР возникает уже на оперативном уровне управления (руководители цехов, участков, отделов). Чаще всего здесь используют модели линейного программирования или имитационные модели. Типичными задачами этого уровня являются:

1) расчёт оптимальной партии запуска деталей в производство;

2) расчёт графиков ремонта оборудования;

3) расчёт оптимальных объёмов запаса сырья и материалов.

На этом уровне информация используется только лишь в форме параметров, поставляемых из внутренних источников предприятия.

На среднем уровне управления (главные специалисты, эксперты) уже используют общие цели функционирования предприятия, а отсюда и возникает необходимость в информации из внешней среды. СППР должны помочь специалистам принимать решения, касающиеся издержек производства, сбыта продукции, установления цен, выбора поставщиков и т.д.

Решения, которые принимаются на высшем уровне управления предприятием, относятся к стратегическим. Они касаются конкурентоспособности предприятия, его финансовой политики, политики маркетинга. Информация, используемая при этом, в большей своей части поступает из внешних источников и поэтому, как правило, недостоверна.

В настоящее время принято выделять два типа информационных систем поддержки принятия решений.

1. Системы поддержки принятия решений DSS осуществляют отбор и анализ данных по различным характеристикам и включают средства:

- доступа к базам данных;

- извлечения данных из разнообразных источников;

- моделирования правил и стратегий деловой деятельности;

- деловой графики для представления результатов анализа;

- анализа «что если»;

- искусственного интеллекта на уровне экспертных систем.

2. Системы оперативной аналитической обработки OLAP для принятия решений используют следующие средства:

- мощную многопроцессорную вычислительную технику в виде специальных OLAP-серверов;

- специальные методы многомерного анализа;

- специальные хранилища данных Data Warehouse.