Теория - это не только стройная система обобщения научного знания, это также некоторый способ производства новых знаний. Основными методологическими критериями научности, позволяющими считать научным и само новое знание, и способ его получения, являются [8]:
внутренняя согласованность и непротиворечивость;
системность;
объективность;
историзм.
Внутренняя согласованность. Этот критерий в эмпирических областях на первый взгляд просто не работает: в них факты часто не согласуются друг с другом, определения противоречивы, диффузны и т.д. Аналитику, знающему особенности эмпирического знания, его модальность, противоречивость и неполноту, приходится сглаживать эти "шероховатости" эмпирики.
Модальность знания означает возможность его существования в различных категориях, т.е. в конструкциях существования и долженствования. Таким образом, часть законемерностей возможна, другая обязательна и т.д. Кроме того, приходится различать такие оттенки модальности, как: эксперт знает, что...; эксперт думает, что...; эксперт хочет, чтобы...; эксперт считает, что...
Возможная противоречивость эмпирического знания – естественное следствие из основных законов диалектики, и противоречия эти не всегда должны разрешаться в поле знаний, а напротив, именно противоречия служат чаще всего отправной точкой в рассуждениях экспертов.
Неполнота знания связана с невозможностью полного описания предметной области. Задача аналитика эту неполноту ограничить определенными рамками "полноты", т.е. сузить границы предметной области, либо ввести ряд ограничений и допущений, упрощающих проблему.
Системность. Системно-структурный подход к познанию (восходящий еще к Гегелю) ориентирует аналитика на рассмотрение любой предметной области с позиций закономерностей системного целого и взаимодействия составляющих его частей. Современный структурализм исходит из многоуровневой иерархической организации любого объекта, т.е. все процессы и явления можно рассматривать как множество более мелких подмножеств (признаков, деталей) и, наоборот, любые объекты можно (и нужно) рассматривать как элементы более высоких классов обобщений.
Объективность. Процесс познания глубоко субъективен, т.е. он существенно зависит от особенностей самого познающего субъекта. Субъективность начинается уже с описания фактов и увеличивается по мере углубления идеализации объектов.
Следовательно, более корректно говорить о глубине понимания, чем об объективности знания. Понимание - это сотворчество, процесс истолкования объекта с точки зрения субъекта. Это сложный и неоднозначный процесс, совершающийся в глубинах человеческого сознания и требующий мобилизации всех интеллектуальных и эмоциональных способностей человека. Все свои усилия аналитик должен сосредоточить на понимании проблемы. В психологии [3] подтверждается факт, что люди, быстро и успешно решающие интеллектуальные задачи, большую часть времени тратят на понимание ее, в то время как быстро приступающие к поискам решения, чаще всего не могут его найти.
Историзм. Этот критерий связан с развитием. Познание настоящего – есть познание породившего его прошлого. И хотя большинство экспертных систем дают "горизонтальный" срез знаний – без учета времени (в статике), инженер по знаниям должен всегда рассматривать процессы с учетом временных изменений – как связь с прошлым, так и связь с будущим. Например, структура поля знаний и база знаний должны допускать подстройку и коррекцию как в период разработки, так и во время эксплуатации экспертной системы.