О невычислимости в математическом мышлении 5 страница

Безусловно, мы отдаем себе отчет в том, что создание такого робота вполне может оказаться многоступенчатым процессом:

иначе говоря, возможно, что наш робот-математик будет целиком и полностью построен какими-либо роботами «низшего порядка» (которые сами не способны на подлинно математическую деятельность), а эти роботы, в свою очередь, построены другими роботами еще более низкого порядка. Однако запущена в производство вся эта иерархическая цепочка будет все равно человеком, и исходные правила ее построения (по всей видимости, некая комбинация нисходящих и восходящих процедур) будут в любом случае доступны человеческому пониманию.

Существенно важными для процесса развития робота являются и всевозможные внешние факторы, привносимые окружением. Внешний мир и в самом деле может обеспечить нашего робота весьма значительным объемом вводимых данных, поступающих как от учителей-людей (или роботов), так и из наблюдений за естественным физическим окружением. Что до естественных внешних факторов, привносимых «безлюдным» окружением, то «непознаваемыми» их, как правило, не считают. Эти факторы могут быть очень сложными, часто они взаимодействуют между собой, и все же эффективное «виртуально-реальное» моделирование существенных аспектов нашего окружения уже вполне осуществимо (см. § 1.20). По-видимому, ничто не мешает модифицировать эти модели таким образом, чтобы робот с их помощью получал все, что ему нужно для развития в смысле внешних естественных факторов, — не забывая при этом о том, что вполне достаточно смоделировать типичное окружение, воспроизводить какое-то реально существующее необходимости нет (см.).

Вмешательство в процесс людей (или роботов) — т. е. внешних, «искусственных» факторов — может происходить на различных его этапах, однако это никоим образом не влияет на существенную познаваемость механизмов этого вмешательства, при условии, разумеется, что мы допускаем возможность каким-то познаваемым образом «механизировать» вмешательство человека. Справедливо ли такое допущение? Думаю, вполне естественно (по крайней мере, для сторонника точки зрения) предположить, что любое человеческое вмешательство в процесс развития робота и в самом деле можно заменить какими-либо целиком и полностью вычислительными процедурами. Мы же не требуем, чтобы в этом вмешательстве непременно присутствовало что-либо непостижимо мистическое — скажем, некая неопределимая «сущность», какую учитель-человек должен был бы передавать своему ученику-роботу в процессе обучения. Мы полагаем, что при обучении роботу необходимо получать всего лишь те или иные фундаментальные сведения, а передачу ему этих сведений проще всего поручить именно человеку. Весьма вероятно, что, как и в случае с учениками-людьми, наиболее эффективной будет передача информации в интерактивной форме, когда поведение учителя зависит от реакции ученика. Однако и это обстоятельство, само по себе, отнюдь не исключает возможности эффективно вычислительного поведения учителя. В конце концов, все наши рассуждения в настоящей главе представляют собой одно сплошное reductio ad absurdum, в рамках которого мы допускаем, что в поведении человеческих существ вообще нет ничего существенно невычислимого. А тем, кто уже и так придерживается точек зрения(эти последние, несомненно, склонны, скорее, поверить в возможность существования упомянутой выше невычислимой «сущности», передаваемой роботу в силу одного лишь человеческого происхождения учителя), все эти доказательства в любом случае совершенно не нужны.

Если рассматривать все эти механизмы (т. е. внутренние вычислительные процедуры и данные, поступающие от интерактивного внешнего окружения) в совокупности, то создается впечатление, что нет каких-либо разумных причин полагать их принципиально непознаваемыми, — даже если кто-то и настаивает на том, что, на практике, в точности просчитать результирующие проявления внешних из упомянутых механизмов не в силах человеческих (и даже не в силах любого из существующих или предвидимых в обозримом будущем компьютеров). К вопросу о познаваемости вычислительных механизмов мы еще вернемся, причем довольно скоро (в конце). А пока допустим, что

все эти механизмы действительно познаваемы, и обозначим набор таких механизмов буквойВозможно ли, что некоторые из полученных с помощью этих механизмов утверждений-уровня окажутся, тем не менее, непознаваемыми для человека? Обоснованно ли такое предположение? Вообще говоря, нет — при условии, что в данном контексте мы продолжаем интерпретировать понятие «познаваемости» в том же принципиальном смысле, который мы применяли в отношении случаеви который был исчерпывающе определен в началеТот факт, что нечто (например, формулировка некоего-утверждения) может оказаться за пределами невооруженных вычислительных способностей человеческого существа, к данному случаю отношения не имеет. Ничуть не возбраняется и «вооружить» человека теми или иными средствами содействия мыслительным процессам — например, карандашом и бумагой, карманным калькулятором либо универсальным компьютером в комплекте с программным обеспечением нисходящего типа. Даже если добавить к уже имеющимся вычислительным процедурам какие-либо восходящие компоненты, то мы не получим ничего такого, чего не могли бы в принципе получить раньше — при условии, разумеется, что лежащие в основе этих восходящих процедур фундаментальные механизмы доступны человеческому пониманию. С другой стороны, вопрос о «познаваемости» самих механизмовследует рассматривать уже в «практическом» смысле — в полном соответствии с принятой втерминологией. Таким образом, на данный момент мы полагаем, что механизмыявляются действительно познаваемыми практически.

Обладая знанием механизмовмы можем использовать их при создании фундамента для построения формальной системы, при этом теоремами такой системы станут следующие положения: -утверждения, непосредственно следующие из применения упомянутых механизмов, илюбые положения, выводимые из этих-утверждений с применением правил элементарной логики. Под «элементарной логикой» здесь могут пониматься, скажем, правила исчисления предикатов (описанные в) или какая-либо иная столь же прямая и четко определенная неопровержимая система аналогичных логических правил (вычислительных). Мы вполне способны построить формальную системув силу того простого факта, что процедура, посредством которой из набора механизмовполучаются, одно за другим, необходимые-утверждения, является процедурой вычислительной (пусть на практике и весьма громоздкой). Отметим, что определяемая таким образом процедурабудет генерировать утверждения группы однако вовсе не обязательно все положения группы(поскольку можно допустить, что нашему роботу, по всей вероятности, попросту надоест тупо выводить все логические следствия из вырабатываемых им теорем). Таким образом, процедуране эквивалентна в точности формальной системеоднако различие между ними не существенно. К тому же ничто не мешает нам при желании

получить из процедурыдругую процедуру — такую, например, которая будет эквивалентна

Далее, для интерпретации формальной системынеобходимо каким-то образом устроить так, чтобы на всем протяжении развития робота статусвсегда и непременно означал, что удостоенное его утверждение действительно следует полагать неопровержимо доказанным. В отсутствие поступающих от учителя-человека (неважно, в какой форме) внешних данных мы не можем быть уверенными в том, что робот не выработает самостоятельно некий отличный от нашего язык, в котором символ будет иметь совершенно иное значение (либо вовсе окажется бессмысленным). Для того чтобы определение формальной системына языке робота согласовывалось с нашим ее определением,необходимо в процессе обучения робота (например, учителем-человеком) проследить за тем, чтобы присваиваемое символу значение в точности соответствовало тому значению, какое внего вкладываем мы. Необходимо также проследить и за тем, чтобы система обозначений, которой робот фактически пользуется при формулировке своих, скажем,-высказываний, в точности совпадала с аналогичной системой, имеющей хождение у нас (или допускала какое-либо явное преобразование в нашу систему). Если допустить, что механизмыпознаваемы человеком, то из вышесказанного следует, что аксиомы и правила действия формальной системытакже должны быть познаваемыми. Более того, и всякую теорему, выводимую в рамках системы, следует, в принципе, полагать познаваемой человеком (втом смысле, что мы в состоянии понять ее описание, а не определить в обязательном порядке ее неопровержимую истинность), даже если вычислительные процедуры, необходимые для получения большей части таких теорем, окажутся далеко за пределами невооруженных вычислительных способностей человека.

3.14. Фундаментальное противоречие Предшествующая дискуссия, в сущности, показывает, что «непознаваемый и неосознаваемый алгоритм F», который, согласно допущению, лежит в основе восприятия математической истины, вполне возможно свести к алгоритму осознанно познаваемому — при условии, что нам, следуя заветам адептов ИИ,

удастся запустить некую систему процедур, которые в конечном счете приведут к созданию робота, способного на математические рассуждения на человеческом (а то и выше) уровне. Непознаваемый алгоритмзаменяется при этом вполне познаваемой

формальной системой

Прежде чем мы приступим к подробному рассмотрению этого аргумента, необходимо обратить внимание на один существенный момент, который мы до сих пор незаслуженно игнорировали — речь идет о возможности привнесения на разных этапах процесса развития робота неких случайных элементов взамен раз и навсегда фиксированных механизмов. В свое время нам еще предстоит обратиться к этому вопросу, пока же я буду полагать, что каждый такой случайный элемент следует рассматривать как результат выполнения какого-либо псевдослучайного (хаотического) вычисления. Как было показано ранее, таких псевдослучайных компонентов на практике оказывается вполне достаточно. К случайным элементам в «образовании» робота мы еще вернемся вгде более подробно поговорим о подлинной случайности в применении к нашему случаю, а пока, говоря о «наборе механизмов», я буду предполагать, что все эти механизмы действительно являются целиком и полностью вычислительными и свободными от какой бы то ни было реальной

неопределенности.

Суть противоречия заключается в том, что на месте алгоритма, фигурировавшего в наших предыдущих рассуждениях (например, того алгоритма, о котором мы говорили вв связи с допущением), с неизбежностью оказывается формальная система Вследствие чего случайэффективно сводится

к случаюI и тем самым не менее эффективно из рассмотрения исключается. Выступая в рамках данного доказательства в роли сторонников точек зрения, мы предполагаем, что наш

робот, в принципе, способен (с помощью обучающих процедур той же природы, что установили для него мы) достичь в конечном счете любых математических результатов, каких в состоянии достичь человек. Мы должны также допустить, что робот способен достичь и таких результатов, какие человеку в принципе не по силам. Так или иначе, нашему роботу предстоит обзавестись способностью к пониманию мощи аргументации Гёделя (или, по крайней мере, способностью сымитировать такое понимание — согласно). Иначе говоря, относительно любой заданной

(достаточно обширной) формальной системы Н робот должен оказаться в силах неопровержимо установить тот факт, что из обоснованности системыследует истинность его гёделевского5 утвержденияа также то, что утверждениене является теоремой системыВ частности, робот сможет установить, что из обоснованности системынеопровержимо следует истинность утвержденияэта же обоснованность предполагает, что утверждениене является теоремой системы

С помощью в точности тех же рассуждений, какими мы воспользовались вприменительно к человеческому математическому пониманию, непосредственно из вышеизложенных соображений выводится, что робот никоим образом не способен твердо поверить в то, что совокупность его собственных — и, на его взгляд, неопровержимых — математических убеждений действительно эквивалентна некоей формальной системе И это несмотря на тот факт, что мы (выступая в роли соответствующих экспертов по проблемам ИИ) прекрасно осведомлены о том, что в основе системы математических убеждений робота лежит не что-нибудь, а именно набор механизмовчто автоматически означает, что система неопровержимых убеждений робота является полным эквивалентом системыЕсли бы робот вдруг твердо поверил в то, что все его убеждения укладываются в рамки системыто тогда ему пришлось бы поверить и в обоснованность этой самой системыСоответственно, ему также пришлось бы одновременно поверить и в истинность утверждения и в то, что упомянутое утверждение в его систему убеждений не входит — неразрешимое противоречие! Иначе говоря, робот никак не может знать о том, что он сконструирован в соответствии с тем или иным набором механизмовА поскольку об этой особенности его конструкции знаем — или по крайней мере, в состоянии узнать — мы с вами, то получается, что нам доступны такие математические истины (например, утверждениекоторые роботу оказываются не по силам, хотя изначально предполагалось, что способности робота будут равны способностям человека (или даже превысят их).

3.15. Способы устранения фундаментального противоречия

Приведенное выше рассуждение можно рассматривать двояко — с точки зрения создавших робота людей либо с точки зрения самого робота. С человеческой точки зрения существует некоторая неопределенная вероятность того, что математику-человеку претензии робота на обладание неопровержимой истиной покажутся неубедительными, разве что упомянутый математик-человек примет во внимание какие-то отдельные конкретные аргументы из тех, что использует робот. Возможно, не все теоремы системычеловек сочтет неопровержимо истинными, кроме того, как нам помнится, интеллектуальные способности робота могут существенно превышать таковые же способности человека. Таким образом, можно утверждать, что одно лишь знание о том, что робот сконструирован в соответствии с неким набором механизмовне следует рассматривать в качестве неопровержимо убедительной (для человека) математической демонстрации. Соответственно, мы должны пересмотреть все вышеприведенное рассуждение — на этот раз с точки зрения робота. Какие огрехи в нашем обосновании в состоянии заметить (и использовать) робот?

По-видимому, наш робот располагает всего лишь четырьмя основными возможностями для нейтрализации фундаментального противоречия — при условии, конечно, что сам робот осведомлен о том, что он является в некотором роде вычислительной машиной.

(a) Возможно, что робот, принимая в целом утверждение о том, что в основе его конструкции лежит некий набор механизмовтем не менее, неизбежно остается неспособен безоговорочно поверить в этот факт.

(b) Возможно, что робот, будучи безоговорочно убежден в истинности каждого отдельного-утверждения в тот момент, когда он его формулирует, все же сомневается в достоверности полной системы своих-утверждений — соответственно, робот может не верить в то, что формальная системаи в самом деле лежит в основе всей его системы убеждений в отношении-высказываний.

(c) Возможно, что подлинный набор механизмовсущественно зависит от случайных элементов и не может быть адекватно описан через посредство неких известных результатов псевдослучайных вычислений, подаваемых на входное устройство робота.

(d) Возможно, что подлинный набор механизмовв действительности непознаваем.

В последующих девяти разделах представлен ряд веских аргументов, убедительно демонстрирующих, что первые три лазейки оказываются для робота, задавшегося целью обойти фундаментальное противоречие, совершенно бесполезными. Соответственно, робот (а вместе с ним и мы — если мы, конечно, продолжаем настаивать на том, что математическое понимание можно свести к вычислению) начинает всерьез подумывать о не очень привлекательной возможностиУверен, что непривлекательной возможностьнахожу не я один — думаю, в этом со мной согласятся и те читатели, которым не безразлична судьба идеи искусственного интеллекта. Ее, пожалуй, приемлемо рассматривать лишь в качестве возможной мировоззренческой позиции, укладывающейся, по сути своей, в рамки той самой комбинации точек зренияо которой мы говорили в конце и согласно которой для внедрения непознаваемого алгоритма в «мозг» каждого из наших роботов требуется, ни много ни мало, божественное вмешательство (от «первого в мире программиста»). В любом случае, вердикт «непознаваемо», вынесенный в отношении тех самых механизмов, которые, в конечном счете, ответственны за наличие у нас какого ни на есть разума, вряд ли обрадует тех, кто намерен, вообще говоря, построить робота, наделенного подлинным искусственным интеллектом. Не особенно обрадует он и тех из нас, кто все еще надеется понять, принципиально и не выходя за рамки строго научного подхода, каким образом в действительности возникло у человека такое свойство, как интеллект, объяснить его происхождение посредством четко формулируемых научных законов — законов физики, химии, биологии, законов естественного отбора, в конце концов, — пусть даже и не имея в виду воспроизвести этот самый интеллект в каком бы то ни было робототехническом устройстве. Лично я полагаю, что подобный пессимистический вердикт не имеет под собой никаких оснований — по той хотя бы простой причине, что «научная постижимость» имеет весьма мало общего с «вычислимостью». Законы, лежащие в основе мыслительных процессов не являются непостижимыми, они всего лишь невычислимы. На эту тему мы еще поговорим во второй части книги.

3.16. Необходимо ли роботу верить в механизмы М?

Вообразим, что у нас имеется робот, снабженный некоторым возможным набором механизмов— каковой набор может оказаться тем самым, на основе которого и построен наш робот, но это не обязательно. Я попробую убедить читателя в том, что робот будет вынужден отвергнуть возможность того, что его математическое понимание опирается на набор механизмов независимо от того, как обстоит дело в действительности. При этом мы на время допускаем, что робот по тем или иным причинам уже отбросил вариантыи приходим к выводу (несколько даже неожиданному), что сам по себе вариант избежать парадокса не позволяет.

Рассуждать мы будем следующим образом. Обозначим черезгипотезу «В основе математического понимания робота лежит набор механизмов» и рассмотрим утверждение вида «Такое-то-высказывание является следствием из».

Такое утверждение (в том случае, когда робот твердо верит в его истинность) я буду называть -утверждением. Иначе говоря, под-утверждениями не обязательно понимаются те-высказывания, в истинность которых как таковых неопровержимо верит робот, но те-высказывания, которые робот полагает неопровержимо выводимыми из гипотезы. Изначально от робота не требуется обладание какими бы то ни было взглядами относительно возможности того, что в основе его конструкции действительно лежит набор механизмов Он может даже поначалу счесть такое предположение абсолютно невероятным, но, тем не менее, ничто не мешает ему рассмотреть (в подлинно научной традиции) возможные следствия из гипотезы о таком вот его происхождении.

Существуют ли-высказывания, которые робот должен полагать неопровержимыми следствиями из гипотезыи которые при этом не являются самыми обыкновенными-утверждениями, вовсе не требующими привлечения этой гипотезы? Разумеется, существуют. Как было отмечено в концеистинность hi-высказыванияследует из обоснованности формальной системыотсюда же следует и тот факт, что утверждениене является теоремой системы Более того, в этом робот будет совершенно безоговорочно убежден. Если допустить, что робот вполне согласен с тем, что все его неопровержимые убеждения укладывались бы в рамки системыбудь он действительно сконструирован в соответствии с набором механизмов— т. е. что возможность он из рассмотрения исключает, — то получается, что наш робот и в самом деле должен твердо верить в то, что обоснованность системыявляется следствием гипотезы. Таким образом, робот оказывается безоговорочно убежден как в том, что-высказываниеследует из гипотезы, так и в том, что (согласно) он не способен непосредственно постичь его неопровержимую истинность без привлечения(поскольку формальной системе оно не принадлежит). Соответственно, утверждениеявляется-утверждением, но не *-утверждением.

Предположим, что формальная системапостроена в точности так же, как и система, с той лишь разницей, что роль, которую при построении системы исполняли-утверждения, сейчас берут на себя-утверждения. Иначе говоря, теоремами системы являются либо(i) сами-утверждения, либоположения, выводимые из этих-утверждений с применением правил элементарной логики (см.). Точно так же, как робот на основании гипотезысогласен с тем, что формальная системаохватывает все его неопровержимые убеждения относительно истинности-высказываний, он будет согласен и с тем, что формальная системаохватывает все его неопровержимые убеждения относительно истинности-высказываний, обусловленных гипотезой

Далее предложим роботу рассмотреть гёделевское-высказываниеРобот, несомненно, проникнется неопровержимым убеждением в том, что это П1-высказывание является следствием из обоснованности системыОн также вполне безоговорочно поверит в то, что обоснованность системыявляется следствием гипотезыпоскольку он согласен с тем, что системадействительно содержит в себе все, в чем робот неопровержимо убежден в отношении своей способности выводить-высказывания, основываясь на гипотезе(Он будет рассуждать следующим образом: «Если я принимаю гипотезу, то я тем самым принимаю и все П1-высказывания, которые порождают системуТаким образом, я должен согласиться с тем, что системаявляется обоснованной на основании гипотезы. Следовательно, на основании все той же гипотезы, я должен признать и то, что утверждениеистинно».)

Однако, поверив (безоговорочно) в то, что гёделевское высказываниеявляется следствием гипотезы робот будет вынужден будет поверить и в то, что утверждениеявляется теоремой формальной системы А в это он сможет поверить только в том случае, если он полагает системунеобоснованной, — что решительно противоречит принятию им гипотезы

В некоторых из вышеприведенных рассуждений неявно допускалось, что неопровержимая убежденность робота является действительно обоснованной, — хотя необходимо лишь, чтобы сам робот просто верил в обоснованность своей системы убеждений. Впрочем, мы изначально предполагаем, что наш робот обладает математическим пониманием, по крайней мере, на человеческом уровне, а человеческое математическое понимание, как было показано впринципиально является обоснованным.

Возможно, кто-то усмотрит в формулировке допущения равно как и в определении-утверждения, некоторую неоднозначность. Смею вас уверить, что подобное утверждение, будучи-высказыванием, представляет собой в высшей степени определенное математическое утверждение. Можно предположить, что большинство-утверждений робота окажутся в действительности самыми обыкновенными-утверждениями, поскольку маловероятно, что робот при каких угодно обстоятельствах сочтет целесообразным прибегать в своих рассуждениях к самой гипотезе. Исключением может стать утверждениео котором говорилось выше, так как в данном случае формальная системавыступает, с точки зрения робота, в роли гёделевской гипотетической «машины для доказательства теорем»Вооружившись гипотезой, робот получает доступ к своей собственной «машине для доказательства теорем», и, хотя он не может быть (да и, скорее всего, не будет) безоговорочно убежден в обоснованности своей «машины», робот способен предположить, что она может оказаться обоснованной, и попытаться вывести следствия уже из этого предположения.

На этом этапе робот еще не добирается до парадокса — так же, как не добрался до него и Гёдель в своих рассуждениях о человеческом интеллекте (см. цитату в). Однако, поскольку роботу доступен для исследования набор гипотетических механизмова не просто отдельная формальная системаон может повторить свое рассуждение и перейти от системы к системе, обоснованность которой он по-прежнему полагает простым следствием из гипотезы. Именно это и приводит его в конечном итоге к противоречию (чего мы, собственно, и добивались). (См. также, где мы продолжим рассмотрение системыи ее кажущейся связи с «парадоксальными рассуждениями».)

Вывод: ни одно обладающее сознанием и имеющее понятие о математике существо — иначе говоря, ни одно существо со способностью к подлинному математическому пониманию — не может функционировать в соответствии с каким бы то ни было набором постижимых им механизмов, вне зависимости от того, знает ли оно в действительности о том, что именно эти механизмы, предположительно, направляют его на его пути к неопровержимой математической истине. (Вспомним и о том, что «неопровержимой математической истиной» это существо полагает всего лишь то, что оно способно установить математическими методами, — т. е. с помощью «математического доказательства», причем совсем необязательно «формального».)

Если конкретнее, то на основании предшествующих рассуждений мы склонны заключить, что не существует такого постижимого роботом и не содержащего подлинно случайных компонентов набора вычислительных механизмов, какой робот мог бы принять (даже в качестве возможности) как основу своей системы математических убеждений, — при условии, что робот готов согласиться с тем, что специфическая процедура, предложенная мною для построения формальной системына основе механизмов, и в самом деле охватывает всю совокупность Щ -высказываний, в истинность которых он неопровержимо верит, а также, соответственно, с тем, что формальная система охватывает всю совокупность-высказываний, которые, как он неопровержимо верит, следуют из гипотезы. Кроме того, если мы хотим, чтобы робот смог построить собственную потенциально непротиворечивую систему математических убеждений, следует ввести в набор механизмовкакие-либо подлинно случайные составляющие.

Эти последние оговорки мы рассмотрим в последующих разделахВопрос о введении в набор механизмов возможных случайных элементов (вариант (с)) представляется удобным обсудить в рамках общего рассмотрения варианта (b). А для того чтобы рассмотреть вариант (b) с должной тщательностью, нам следует прежде в полной мере прояснить для себя вопрос об «убежденности» робота, который мы уже мимоходом затрагивали в конце

3.17. Робот ошибается и робот «имеет в виду»?

Важнейший вопрос из тех, с какими нам предстоит разобраться на данном этапе, звучит так: готов ли робот безоговорочно согласиться с тем, что — при условии его построения в соответствии с некоторым набором механизмов— формальная системакорректным образом включает в себя всю систему его математических убеждений в отношении-высказываний (равно как и с соответствующим предположением для системы)? Такое согласие подразумевает, прежде всего, что робот верит в обоснованность системы — т. е. в то, что все-высказывания, являющиеся-утверждениями, действительно истинны. Наши рассуждения требуют также, чтобы всякое-высказывание, в истинность которого робот в состоянии безоговорочно поверить, являлось непременно теоремой системы(т. е. чтобы в рамках системыробот мог бы определить «машину для доказательства теорем», аналогичную той, возможность создания которой в случае математиков-людей допускал Гёдель, см.). Вообще говоря, существенно не то, чтобы системадействительно играла такую универсальную роль в отношении потенциальных способностей робота, связанных с-высказываниями, а лишь то, чтобы она была достаточно обширна для того, чтобы допускать применение гёделевского доказательства к самой себе (и, соответственно, к системе). Позднее мы увидим, что необходимость в таком применении возникает лишь в случае некоторых конечных систем-высказываний.

Таким образом, мы — как, собственно, и робот — должны учитывать возможность того, что некоторые из-утверждений робота окажутся в действительности ошибочными, и то, что робот может самостоятельно обнаружить и исправить эти ошибки согласно собственным внутренним критериям, сути дела не меняет. А суть дела заключается в том, что поведение робота в этом случае становится как нельзя более похоже на поведение математика-человека. Человеку ничего не стоит оказаться в ситуации, когда он (или она) полагает, что истинность (или ложность) того или иного -высказывания неопровержимо установлена, в то время как в его рассуждениях имеется ошибка, которую он обнаружит лишь значительно позднее. Когда ошибка наконец обнаруживается, математик ясно видит, что его ранние рассуждения неверны, причем в соответствии с теми же самыми критериями, какими он руководствовался и ранее; разница лишь в том, что ранее ошибка замечена не была, — и вот-высказывание, полагаемое неопровержимо истинным тогда, воспринимается сейчас как абсолютно ложно.е (и наоборот).

Мы вполне можем ожидать подобного поведения и от робота, т. е. на его-утверждения, вообще говоря, полагаться нельзя, пусть даже он и удостоил их самолично статуса. Впоследствии робот может исправить свою ошибку, однако ошибка-то уже сделана. Каким образом это обстоятельство отразится на нашем выводе относительно обоснованности формальной системы? Очевидно, что системане является целиком и полностью обоснованной, не «воспринимает» ее как таковую и робот, так что его гёделевскому предположениюдоверять нельзя. К этому, в сущности, и сводится суть оговорки (Ь).