Какова же природа этих процедур обучения? Вообразим, что наша самообучающаяся система помещена в некоторое внешнее окружение, причем поведение системы внутри этого окружения непрерывно модифицируется под влиянием реакции окружения на ее предыдущие действия. В процессе участвуют, в основном, два фактора. Внешним фактором является поведение окружения и его реакция на действия системы, а внутренним — изменения в поведении системы в ответ на изменения в окружении. Прежде всего следует решить вопрос об алгоритмической природе внешнего фактора. Может ли реакция внешнего окружения вносить в общую картину некую неалгоритмическую составляющую, если внутреннее устройство нашей системы обучения является целиком и полностью алгоритмическим?
В определенных обстоятельствах (как, например, часто бывает при «обучении» искусственных нейронных сетей) реакция внешнего окружения заключается в изменении поведения экспериментатора (инструктора, преподавателя — в дальнейшем предлагаю называть его просто «учителем»), изменении намеренном и предпринимаемом с целью улучшить качество функционирования системы. Когда система функционирует так, как требует учитель, ей об этом сообщают с тем, чтобы в дальнейшем (под воздействием внутренних механизмов модификации поведения системы) она с большей вероятностью функционировала бы именно таким образом. Предположим, например, что у нас имеется искусственная нейронная сеть, которую необходимо научить распознавать человеческие лица. Мы непрерывно наблюдаем за функционированием нашей системы и после каждого рабочего цикла снабжаем ее данными о правильности ее последних «догадок» для того, чтобы она могла улучшить качество своей работы, модифицировав нужным образом внутреннюю структуру. На практике, за адекватностью результатов каждого рабочего цикла совсем не обязательно должен наблюдать учитель-человек, так как процедуру обучения можно в значительной степени автоматизировать. В описанной ситуации цели и суждения учителя-человека образуют наивысший критерий качества функционирования системы. В других ситуациях реакция окружения может оказаться не столь «преднамеренной». Например, в процессе развития живых систем — предполагается, что эти системы все же функционируют в соответствии с некоторой нейронной схемой (или иной алгоритмической процедурой, например, генетическим алгоритмом, см. §3.7), вроде тех, что применяются в численном моделировании — в подобных внешних целях или суждениях вообще не возникает необходимости. Вместо этого, живые системы модифицируют свое поведение в процессе, который можно рассматривать как своего рода естественный отбор, действуя согласно критериям, эволюционировавшим на протяжении многих лет и способствующим увеличению шансов на выживание как самой системы, так и ее потомства.
3.10. Может ли окружение вносить неалгоритмический внешний фактор?
Выше мы предположили, что сама наша система (независимо от того, живая она или нет) представляет собой нечто вроде робота с компьютерным управлением, т. е. все ее самомо-дификационные процедуры являются целиком вычислительными. (Я пользуюсь здесь термином «робот» исключительно для того, чтобы подчеркнуть то обстоятельство, что нашу систему следует рассматривать как некую самостоятельную, целиком и полностью вычислительную сущность, находящуюся во взаимодействии со своим окружением. Я вовсе не подразумеваю, что она непременно представляет собой какое бы то ни было механическое устройство, целенаправленно сконструированное человеком. Такой системой, если веритьили, может оказаться развивающееся человеческое существо, а может и в самом деле какой-то искусственно созданный объект.) Итак, мы полагаем, что внутренний фактор является полностью вычислительным. Необходимо установить, является ли вычислительным также и внешний фактор, вносимый окружением, — иначе говоря, возможно ли построить эффективную численную модель этого самого окружения как в искусственном (т. е. когда окружение неким искусственным образом контролируется учителем-человеком), так и в естественном случае (когда высшим авторитетом является давление естественного отбора). В каждом случае конкретные внутренние правила, в соответствии с которыми система обучения робота модифицирует его поведение, должны быть составлены так, чтобы тем или иным образом реагировать на конкретные сигналы, посредством которых окружение будет сообщать системе о том, как следует оценивать качество ее функционирования в предыдущем рабочем цикле.
Вопрос о возможности моделирования окружения в искусственном случае (иными словами, о возможности численного моделирования поведения человека-учителя) представляет собой тот самый общий вопрос, ответ на который мы пытаемся найти вот уже в который раз. В рамках гипотезили, следствия из которых мы рассматриваем в настоящий момент, допускается, что эффективное моделирование в этом случае и в самом деле возможно, по крайней мере, в принципе. В конце концов, цель нашего исследования состоит именно в выяснении общего правдоподобия этого допущения. Поэтому, вместе с допущением о вычислительной природе нашего робота, допустим также, что его окружение также вычислимо. В результате мы получаем объединенную систему, состоящую из робота и его обучающего окружения, которая, в принципе, допускает эффективное численное моделирование, т. е. окружение не дает никаких потенциальных оправданий невычислительному поведению вычислительного робота.
Иногда можно услышать утверждение, что нашим преимуществом перед компьютерами мы обязаны тому факту, что люди образуют сообщество, внутри которого происходит непрерывное общение между индивидуумами. Согласно этому утверждению, отдельного человека можно рассматривать как вычислительную систему, тогда как сообщество людей представляет собой уже нечто большее. То же относится и, в частности, к математическому сообществу и отдельным математикам — сообщество может вести себя невычислительным образом, в то время как отдельные математики такой способностью не обладают. На мой взгляд, это утверждение лишено всякого смысла. В самом деле, представьте себе аналогичное сообщество непрерывно общающихся между собой компьютеров. Подобное «сообщество» в целом является точно такой же вычислительной системой; деятельность его, если есть такое желание, можно смоделировать и на одном-единственном компьютере. Разумеется, вследствие одного только количественного превосходства, сообщество составит гораздо более мощную вычислительную систему, нежели каждый из индивидуумов в отдельности, однако принципиальной разницы между ними нет. Известно, что на нашей планете проживает болеечеловек (прибавьте к этому еще огромные библиотеки накопленного знания). Цифры впечатляют, но это всего лишь цифры — если отдельного человека считать вычислительным устройством, то разницу, обусловленную переходом от индивидуума к сообществу, развитие компьютерных технологий сможет при необходимости свести на нет в течение каких-нибудь нескольких десятилетий. Очевидно, что искусственный случай с учителями-людьми в роли внешнего окружения не дает нам ничего принципиально нового, что могло бы объяснить, каким образом из целиком и полностью вычислительных составляющих возникает абсолютно невычислимая сущность.
Что же мы имеем в естественном случае? Вопрос теперь звучит так: может ли физическое окружение, не считая действий присутствующих в нем учителей-людей, содержать компоненты, которые невозможно даже в принципе смоделировать численными методами? Мне думается, что если кто-то полагает, что в «бесчеловечном» окружении может присутствовать нечто, принципиально не поддающееся численному моделированию, то этот кто-то тем самым лишает силы главное возражение против Ибо единственной разумной причиной усомниться в возможной справедливости точки зренияможно счесть лишь скептическое отношение к утверждению, что объекты, принадлежащие реальному, физическому миру могут вести себя каким-то невычислимым образом. Как только мы признаём, что какой-либо физический процесс может оказаться невычислимым, у нас не остается никакого права отказывать в невычислимости и процессам, протекающим внутри такого физического объекта, как мозг, — равно как и возражать против. Как бы то ни было, крайне маловероятно, что в безлюдном окружении может обнаружиться нечто такое, что не поддается вычислению столь же фундаментально, как это делают некоторые процессы внутри человеческого тела. (См. также) Думаю, мало кто всерьез полагает, что среди всего, что имеет хоть какое-то отношение к окружению самообучающегося робота, может оказаться что-либо, принципиально невычислимое.
Впрочем, говоря о «принципиально» вычислимой природе окружения, не следует забывать об одном важном моменте. Вне всякого сомнения, на реальное окружение любого развивающегося живого организма (или некоей изощренной робототех-нической системы) оказывают влияние весьма многочисленные и порой невероятно сложные факторы, вследствие чего любое моделирование этого окружения со сколько-нибудь приемлемой точностью вполне может оказаться неосуществимым практи чески. Динамическое поведение даже относительно простых физических систем бывает порой чрезвычайно сложным, при этом его зависимость от мельчайших нюансов начального состояния может быть настолько критической, что предсказать дальнейшее поведение такой системы решительно невозможно — в качестве примера можно привести ставшую уже притчей во языцех проблему долгосрочного предсказания погоды. Подобные системы называют хаотическими; см. § 1.7. (Хаотические системы характеризуются сложным и эффективно непредсказуемым поведением. Однако математически эти системы объяснить вполне возможно; более того, их активное изучение составляет весьма существенную долю современных математических исследований.) Как уже указывалось в § 1.7, хаотические системы я также включаю в категорию «вычислительных» (или «алгоритмических»). Для наших целей важно подчеркнуть один существенный момент, касающийся хаотических систем: нет никакой необходимости в воспроизведении того или иного реального хаотического окружения, вполне достаточно воспроизвести окружение типичное. Например, когда мы хотим узнать погоду на завтра, насколько точная информация нам в действительности нужна? Не сгодится ли любое правдоподобное описание?
.
3.11. Как обучаются роботы?
Учитывая вышесказанное, предлагаю остановиться на том, что на самом-то деле нас сейчас интересуют отнюдь не проблемы численного моделирования окружения. В принципе, возможностей поработать с окружением у нас будет предостаточно — но только в том случае, если не возникнет никаких трудностей с моделированием внутренних правил самой робототехнической системы. Поэтому перейдем к вопросу о том, как мы видим себе обучение нашего робота. Какие вообще процедуры обучения доступны вычислительному роботу? Возможно, ему будут предварительно заданы некие четкие правила вычислительного характера, как это обычно делается в нынешних системах на основе искусственных нейронных сетей (см. § 1.5). Такие системы подразумевают наличие некоторого четко определенного набора вычислительных правил, в соответствии с которыми усиливаются или ослабляются связи между составляющими сеть «нейронами», посредством чего достигается улучшение качества общего функционирования системы согласно критериям (искусственным или естественным), задаваемым внешним окружением. Еще один тип систем обучения образуют так называемые «генетические алгоритмы» — нечто вроде естественного отбора (или, если хотите, «выживания наиболее приспособленных») среди различных алгоритмических процедур, выполняемых на одной вычислительной машине; посредством такого отбора выявляется наиболее эффективный в управлении системой алгоритм.
Следует пояснить, что упомянутые правила (что характерно для восходящей организации вообще) несколько отличаются от стандартных нисходящих вычислительных алгоритмов, действующих в соответствии с известными процедурами для отыскания точных решений математических проблем. Восходящие правила лишь направляют систему к некоему общему улучшению качества ее функционирования. Впрочем, это не мешает им оставаться целиком и полностью алгоритмическими — в смысле воспроизводимости на универсальном компьютере (машине Тьюринга).
В дополнение к четким правилам такого рода, в совокупность средств, с помощью которых наша робототехническая система будет модифицировать свою работу, могут быть включены и некоторые случайные элементы. Возможно, эти случайные составляющие будут вноситься посредством каких-нибудь физических процессов — например, такого квантово-механического процесса, как распад ядер радиоактивных атомов. На практике при конструировании искусственных вычислительных устройств имеет место тенденция к введению какой-либо вычислительной процедуры, результат вычисления в которой является случайным по существу (иначе такой результат называют псевдослучайным), хотя на деле он полностью определяется детерминистским характером самого вычисления (см.). С описанным способом тесно связан другой, суть которого заключается в точном указании момента времени, в который производится вызов «случайной» величины, и введении затем этого момента времени в сложную вычислительную процедуру, которая и сама является, по существу, хаотической системой, вследствие чего малейшие изменения во времени дают эффективно непредсказуемые различия в результатах, а сами результаты становятся эффективно случайными. Хотя, строго говоря, наличие случайных компонентов и выводит наши процедуры за рамки определения «операции машины Тьюринга», каких-то существенных изменений это за собой не влечет. В том, что касается функционирования нашего робота, случайным входным данным на практике оказываются эквивалентны псевдослучайные, а псевдослучайные входные данные ничуть не противоречат возможностям машины Тьюринга.
«Ну и что, что на практике случайные входные данные не отличаются от псевдослучайных? — заметит дотошный читатель. — Принципиальная-то разница между ними есть». На более раннем этапе нашего исследования (см., в частности, 3.4) нас и в самом деле занимало то, чего математики могут достичь в принципе, вне зависимости от их практических возможностей. Более того, в определенных математических ситуациях проблему можно решить исключительно с помощью действительно случайных входных данных, никакие псевдослучайные заместители для этого не годятся. Подобные ситуации возникают, когда проблема подразумевает наличие некоего «состязательного» элемента, как часто бывает, например, в теории игр и криптографии. В некоторых видах «игр на двоих» оптимальная стратегия для каждого из игроков включает в себя, помимо прочего, и полностью случайную составляющую. Любое сколько-нибудь последовательное пренебрежение одним из игроков необходимым для построения оптимальной стратегии элементом случайности позволяет другому игроку на протяжении достаточно длинной серии игр получить преимущество — по крайней мере, в принципе. Преимущество может быть достигнуто и в том случае, если противнику каким-то образом удалось составить достаточно достоверное представление о природе псевдослучайной (или иной) стратегии, используемой первым игроком вместо требуемой случайной. Аналогичным образом дело обстоит и в криптографии, где надежность кода напрямую зависит от того, насколько случайной является применяемая последовательность цифр. Если эта последовательность генерируется не истинно случайным образом, а посредством какого-либо псевдослучайного процесса, то, как и в случае с играми, этот процесс может в точности воспроизвести кто угодно, в том числе и потенциальный взломщик.
Поскольку случайность, как выясняется, представляет собой весьма ценное качество в таких состязательных ситуациях, то, на первый взгляд, можно предположить, что и в естественном отборе она должна играть не последнюю роль. Я даже уверен, что случайность и впрямь является во многих отношениях весьма важным фактором в процессе развития живых организмов. И все же, как мы убедимся несколько позднее в этой главе, одной лишь случайности оказывается недостаточно для того, чтобы вырваться из гёделевских сетей. И самые что ни на есть подлинно случайные элементы не помогут нашему роботу избежать ограничений, присущих вычислительным системам. Более того, у псевдослучайных процессов в этом смысле даже больше шансов, нежели у процессов чисто случайных (см.).
Допустим на некоторое время, что наш робот и в самом деле является, по существу, машиной Тьюринга (хотя и с конечной емкостью запоминающего устройства). Строго говоря, учитывая, что робот непрерывно взаимодействует со своим окружением, а это окружение, как мы предполагаем, также допускает численное моделирование, было бы правильнее принять за единую машину Тьюринга робота вместе с окружением. Однако в целях удобства изложения я все же предлагаю рассматривать отдельно робота, как собственно машину Тьюринга, и отдельно окружение, как источник информации, поступающей на входную часть ленты машины. Вообще-то такую аналогию нельзя считать вполне приемлемой по одной формальной причине — машина Тьюринга есть устройство фиксированное и по определению неспособное изменять свою структуру «по мере накопления опыта». Можно, конечно, попытаться изобрести способ, посредством которого машина Тьюринга сможет-таки изменить свою структуру, — например, заставить машину работать безостановочно, модифицируя свою структуру в процессе работы, для чего непрерывно подавать на ее вход информацию от окружения. К нашему разочарованию, этот способ не сработает, поскольку результат работы машины Тьюринга можно узнать только после того, как машина достигнет внутренней команды(см.и Приложениеа также HP К, глава 2), после чего она не будет ничего считывать с входной части своей ленты до тех пор, пока мы не запустим ее снова. Когда же мы ее запустим, для продолжения работы ей придется возвратиться в исходное состояние, т. е. «обучиться» таким способом она ничему не сможет.
Впрочем, эту трудность можно обойти при помощи некоторой технической модификации. Наша машина Тьюринга так и остается фиксированной, однако после каждого рабочего цикла, т. е. после достижения командыона дает на выходе два результата (формально кодируемые в виде одного-единственного числа). Первый результат определяет, каким в действительности будет ее последующее внешнее поведение, тогда как второй результат предназначен исключительно для внутреннего использования — в нем кодируется весь опыт, который машина получила от предыдущих контактов с окружением. В начале следующего цикла с входной части ее ленты сначала считывается та самая «внутренняя» информация и только после нее все «внешние» данные, которыми машину снабжает окружение, включая и подробную реакцию упомянутого окружения на ее предшествующее поведение. Таким образом, все результаты обучения оказываются записанными на, скажем так, внутреннем участке ленты, который машина в каждом рабочем цикле считывает заново (и который с каждым циклом становится все длиннее и длиннее).
3.12. Способен ли робот на «твердые математические убеждения»?
Воспользовавшись вышеописанным способом, мы и в самом деле можем представить себе в высшей степени обобщенного самообучающегося вычислительного «робота» в виде машины Тьюринга. Далее, предполагается, что наш робот способен судить об истинности математических утверждений, пользуясь при этом всеми способностями, потенциально присущими математикам-людям. И как же он будет это делать? Вряд ли нас обрадует необходимость кодировать каким-нибудь исключительно «нисходящим» способом все математические правила (все те, что входят в формальную системуплюс все те, что туда не входят, о чем мы говорили выше), которые понадобятся роботу для того, чтобы иметь возможность непосредственно формировать собственные суждения подобно тому, как это делают люди, исходя из известных им правил, — поскольку, как мы могли убедиться, не существует ни одного сколько-нибудь приемлемого способа (за исключением, разумеется, «божественного вмешательства» — см.), посредством которого можно было бы реализовать такой неимоверно сложный и непознаваемо эффективный нисходящий алгоритм. Следует, очевидно, допустить, что какими бы внутренними «нисходящими» элементами ни обладал наш робот, они не являются жизненно важными для решения сложных математических проблем, а представляют собой всего лишь общие правила, обеспечивающие, предположительно, почву для формирования такого свойства как «понимание».
Выше (см.) мы говорили о двух различных категориях входных данных, которые могут оказать существенное влияние на поведение нашего робота: искусственных и естественных. В качестве искусственного аспекта окружения мы рассматриваем учителя (одного или нескольких), который сообщает роботу о различных математических истинах и старается подтолкнуть его к выработке каких-то внутренних критериев, с помощью которых робот мог бы самостоятельно отличать истинные утверждения от ложных. Учитель может информировать робота о совершенных тем ошибках или рассказывать ему о всевозможных математических понятиях и различных допустимых методах математического доказательства. Конкретные процедуры, применяемые в процессе обучения, учитель выбирает по мере необходимости из широкого диапазона возможных вариантов: «упражнение», «объяснение», «наставление» и даже, возможно, «порка». Что до естественных аспектов физического окружения, то они отвечают за «идеи», возникающие у робота в процессе наблюдения за поведением физических объектов; кроме того, окружение предоставляет роботу конкретные примеры воплощения различных математических понятий — например, понятия натуральных чисел: два апельсина, семь бананов, четыре яблока, один носок, ни одного ботинка и т. д., — а также хорошие приближения идеальных геометрических объектов (прямая, окружность) и некоторых бесконечных множеств (например, множество точек, заключенных внутри окружности).
Поскольку наш робот избежал-таки предварительного, полностью нисходящего программирования и, как мы предполагаем, формирует собственное понятие о математической истине с помощью всевозможных обучающих процедур, то нам следует позволить ему совершать в процессе обучения ошибки — с тем, чтобы он мог учиться и на своих ошибках. Первое время, по крайней мере, на эти ошибки ему будет указывать учитель. Или робот может самостоятельно обнаружить из наблюдений за окружением, что какие-то из его предыдущих, предположительно истинных математических суждений оказываются в действительности ошибочными, либо сомнительными и подлежащими повторной проверке. Возможно, он придет к такому выводу, основываясь исключительно на собственных соображениях о противоречивости этих своих суждений и т.д. Идея такова, что по мере накопления опыта робот будет делать все меньше и меньше ошибок. С течением времени учителя и физическое окружение будут становиться для робота все менее необходимыми — возможно, в конечном счете, окажутся и вовсе ненужными, — и при формировании своих математических суждений он будет все в большей степени опираться на собственную вычислительную мощь. Соответственно, можно предположить, что в дальнейшем наш робот не ограничится теми математическими истинами, что он узнал от учителей или вывел из наблюдений за физическим окружением. Возможно, впоследствии он даже внесет какой-либо оригинальный вклад в математические исследования.
Для того чтобы оценить степень правдоподобия нарисованной нами картины, необходимо соотнести ее с теми вещами, что мы обсуждали ранее. Если мы хотим, чтобы наш робот и в самом деле обладал всеми способностями, пониманием и проницательностью математика-человека, ему потребуется какая-никакая концепция «неопровержимой математической истины». Его ранние попытки в формировании суждений, исправленные учителями или обесцененные наблюдением за физическим окружением, в эту категорию никоим образом не попадают. Они относятся к категории «догадок», а догадкам позволяется быть предварительными, пробными и даже ошибочными. Если предполагается, что наш робот должен вести себя как подлинный математик, то даже те ошибки, которые он будет порой совершать, должны быть исправимыми — причем, в принципе, исправимыми именно в соответствии с его собственными внутренними критериями «неопровержимой истинности».
Выше мы уже убедились, что концепцию «неопровержимой истины», которой руководствуется в своей деятельности математик-человек, нельзя сформировать посредством какого бы то ни было познаваемого (человеком) набора механических правил, в справедливости которых этот самый человек может быть целиком и полностью уверен. Если мы полагаем, что наш робот способен достичь уровня математических способностей, достижимого, в принципе, для любого человеческого существа (а то и превзойти этот уровень), то в этом случае его (робота) концепция неопровержимой математической истины также должна представлять собой нечто такое, что невозможно воспроизвести посредством набора механических правил, которые можно полагать обоснованными, — т. е. которые может полагать обоснованными математик-человек или, коли уж на то пошло, математик-робот.
В связи с этими соображениями возникает один весьма важный вопрос: чьи же концепции, восприятие, неопровержимые убеждения следует считать значимыми — наши или роботов? Можно ли полагать, что робот действительно обладает убеждениями или способен что-либо осознавать? Если читатель придерживается точки зрения, то он, возможно, сочтет такой вопрос несколько неуместным, поскольку сами понятия «осознания» или «убеждения» относятся к описанию процесса мышления и поэтому никоим образом неприменимы к целиком компьютерному роботу. Однако в рамках настоящего рассуждения нет необходимости в том, чтобы наш гипотетический робот и в самом деле обладал какими-то подлинными ментальными качествами, коль скоро мы допускаем, что он способен внешне вести себя в точности подобно математику-человеку — в полном соответствии с самыми строгими формулировками как, так и. Нам не нужно, чтобы робот действительно понимал, осознавал или верил, достаточно того, что внешне он проявляет себя в точности так, будто он этими ментальными качествами в полной мере обладает. Подробнее об этом мы поговорим в
Точка зренияне отличается принципиально отв том, что касается ограничений, налагаемых на возможную манеру поведения робота, однако сторонники, скорее всего, питают несколько меньшие надежды в отношении тех высот, которых на деле может достичь робот, или вероятности создания вычислительной системы, которую можно было бы полагать способной на эффективное моделирование деятельности мозга человека, оценивающего обоснованность того или иного математического рассуждения. Подобное человеческое восприятие предполагает все же некоторое понимание смысла затронутых математических концепций. Согласно точке зрения, во всем этом нет ничего, выходящего за рамки некоторого свойства вычисления, связанного с понятием «смысла», тогда какрассматривает смысл в качестве семантического аспекта мышления и не допускает возможности его описания в чисто вычислительных терминах. В этом мы согласны с точкой зренияи отнюдь не ожидаем от нашего робота способности действительно ощущать тонкие семантические различия. Таким образом, сторонники, возможно, менее (нежели сторонники) склонны предполагать, что какой бы то ни было робот, сконструированный в соответствии с обсуждаемыми здесь принципами, окажется когда-либо способен на демонстрацию тех внешних проявлений человеческого понимания, какие свойственны математикам-людям. Полагаю, отсюда можно сделать вывод (не такой, собственно, и неожиданный), что сторонниковбудет существенно легче обратить в приверженцев, чем сторонников; впрочем, для нашего дальнейшего
исследования разница между A и B существенного значения не имеет.
В качестве заключения отметим, что, хотя истинность математических утверждений нашего робота, получаемых посредством преимущественно восходящей системы вычислительных процедур, носит заведомо предварительный и предположительный характер, следует допустить, что роботу действительно присущ некоторый достаточно «прочный» уровень неопровержимой математической «убежденности», вследствие чего некоторые из его утверждений (которым он будет присваивать некий особый статус — обозначаемый, скажем, знаком *(звёздочка)) следует считать неопровержимо истинными — согласно собственным критериям робота. О допустимости ошибочного присвоения роботом статуса * — пусть им же и исправимом — мы поговорим в § 3.19. А до той поры будем полагать, что всякое -*-утверждение робота следует рассматривать как безошибочное.
3.13. Механизмы математического поведения робота
Рассмотрим различные механизмы, лежащие в основе процедур, управляющих поведением робота в процессе получения им *-утверждений. Некоторые из этих процедур являются по отношению к роботу внутренними — некоторые нисходящие внутренние ограничители, встроенные в модель функционирования робота, а также те или иные заранее определенные восходящие процедуры, посредством которых робот улучшает качество своей работы (с тем чтобы постепенно достичь *-уровня). Разумеется, мы полагаем, что все эти процедуры, в принципе, познаваемы человеком (хотя окончательный результат совокупного действия всех этих разнообразных факторов вполне может оказаться за пределами вычислительных способностей математика-человека). В самом деле, если мы допускаем, что человеческие существа в один прекрасный день сконструируют робота, наделенного подлинным математическим талантом, то следует непременно допустить и то, что человек способен понять внутренние принципы, в соответствии с которыми будет построен этот робот, иначе любое подобное начинание обречено на провал.