А.Горелик размышлял вслух о возможности взрыва Академии наук, чтобы остановить БАК. Т.Качинский избирательно убивал учёных, занимающихся ИИ.
Бостром делает вывод, что верно по крайней мере одно утверждение из трёх:
1) Ни одна цивилизация не способна достичь технологического уровня, необходимого для создания всемирного компьютрониума.
2) Или КАЖДЫЙ возможный компьютрониум во вселенной будет абсолютно не заинтересован в моделировании своего прошлого.
3) Или мы уже находимся внутри имитации в компьютрониуме.
2. Таким образом, рассуждение о симуляции сводится к острой альтернативе: «Или мы живём в мире, который обречён погибнуть, или мы живём в компьютерной симуляции».
Соотношение 1 к 3, предлагаемое Уэллсом для шансов соотношения шансов вымирания людей и коллапса цивилизации, примерно соответствует соотношению погибших и раненных при терактах.
Тогда кажутся убедительными следующие оценки вероятности вымирания:
· 15 % – недружественный ИИ или борьба разных ИИ уничтожает людей. Я приписываю ИИ такую высокую вероятность, потому что именно ИИ будет обладать способностью обнаруживать всех людей без исключения и воздействовать на них, в большей мере, чем другие факторы.
· 15 % – системный кризис с многократным применением биологического, нано и ядерного оружия.
· 14 % – нечто неизвестное.
· 1 % – неудержимое глобальное потепление и другие варианты природных катастроф, вызванных деятельностью человека.
· 0,1 % – естественные природные катастрофы,
· 0,9 % – неудачные физические эксперименты
· 1 % – серая слизь: внезапная нанотехнологическая катастрофа
· 1 % – SETI -атака
· 1 % – ядерное оружие судного дня
· 1 % – прочие.
Оставшиеся 50 % приходятся на шансы того, что в XXI веке люди не вымрут. Они видятся состоящими из:
· 15 % – позитивная технологическая сингулярность. Переход на новый этап эволюционного развития.
· 10 % – Негативная сингулярность, в ходе которой люди выживают, но утрачивают значение. Варианты: выжившие в бункере, люди как домашние животные у сверхлюдей, безработные у телевизора. Власть переходит к ИИ и машинам.
· 5 % – Sustainable development – человеческая цивилизация развивается без скачков в технологиях и без катастроф. Это предлагается традиционными футурологами в качестве наилучшего варианта.
· 20 % – Откат на стадию постапоклиптического мира. Разные уровни деградации.
Экстремальность этого решения в том, что поскольку в прошлом было очень немного людей, которые знают о DA (примерно десятки тысяч в настоящий момент), то тот факт, что я обнаруживаю себя так рано (то есть первых десятках тысяч) в этом множестве, говорит, согласно логике самого DA, что и в будущем будет примерно столько же знающих о нём людей
С точки зрения будущих жителей XXII века будет важно не то, как хорошо или плохо мы жили, а насколько мы постарались, чтобы вообще дожить до будущего.
недооценивается опасность конкуренции между группами людей, защищающими разные модели спасения мира. В конце концов, каждая мировая религия занимается спасением всего человечества, а остальные ей только мешают. Так что борьба спасителей мира между собой может сама по себе стать глобальным риском. Можно вспомнить анекдот советских времён: «Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется».
В действительности, шанс погибнуть в глобальной катастрофе для молодого человека в текущих исторических условиях, возможно, выше, чем от других причин личной или групповой смертности
1. Основной причиной человеческих ошибок является сверхуверенность. Сверхуверенность означает повышенную убеждённость в правильности своей картины миры и неспособность её существенно изменить при поступлении новой информации. Иначе говоря, сверхуверенность означает неспособность человека предположить, что он в настоящий момент ошибается. Поэтому в каком-то смысле сверхуверенность относится к ошибкам о природе ошибок. Сверхуверенность закреплена несколькими психологическими механизмами, и вероятно, имела эволюционное значение. Поэтому обнаружить её в себе и искоренить очень трудно. Человек, демонстрирующий большую уверенность, может претендовать на большую власть в обществе. И, вероятно, само устройство человеческого мышления противоречит идее рассмотрения множества равновероятных вариантов будущего: гораздо привычнее думать о том, что нечто или есть, или его нет. Само слово «будущее» употребляется в единственном числе, как будто оно одно. Наконец, выбор, сделанный однажды в пользу некой интерпретации идеи, становится фильтром, который подбирает информацию так, чтобы она подтверждала эту идею.
15. Особенности человеческой эмоции страха. Например, когда человек отказывается сдавать анализы, потому что боится, что у него что-то найдут.
. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50 % уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту» [Yudkowsky 2008b]. Причиной этой ошибки является «сверхуверенность экспертов», – например, ситуация, когда эксперт боится потерять свой статус эксперта, если будет слишком сомневаться в своих предположениях.
35. Нехватка внимания по причине естественных ограничений рабочей памяти мозга. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие являются возможными источниками ошибок. Эта ограниченность заставляет человека концентрироваться на одних аспектах проблемы, например, нападёт ли А на Б, уменьшая при этом (погружая в тень внимания) другие аспекты. ни один человек не может охватить своим умом все мировые проблемы так, чтобы ранжировать их по степени опасности и приоритетности. Даже целая организация вряд ли на такое способна.
32. Стокгольмский синдром. «смертничестве» – философской концепции, которая одобряет смертность человека и ограниченность его срока жизни одной сотней лет.
37. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить («Беда не приходит одна»). Глобальная катастрофа может наступить в результате цепочки событий, масштаб которых нарастает по мере их возникновения, однако первое из этих событий может приглушить для нас восприятие последующих рисков. Причинами этого могут быть:
1) Наше внимание в момент аварии полностью отвлекается. Например, попав в маленькую аварию, водитель начинает ходить вокруг машины, оценивая ущерб, и попадает под другую машину.
2) Влияние состояния аффекта.
3) Человек сам совершает ещё большую ошибку в процессе исправления мелкой. Например, когда мелкий воришка стреляет в полицейского, чтобы скрыться.
4) Непонимание того, что первая авария создаёт неочевидную цепочку причин и следствий, которая может запуститься в самый неожиданный момент.
5) Первая неприятность постепенно ослабляет сопротивляемость организма к более быстрым и внезапным переменам. Например, при неправильном лечении грипп чреват воспалением лёгких.
6) Непонимание того, что обе аварии могут быть вызваны некой общей причиной. например, в доме что-то обваливается, человек идёт посмотреть, что происходит, и попадает под новый обвал.
7) Эйфория от преодоления первой катастрофы может заставить потерять благоразумие. Например, у человека, стремившегося выйти из больницы пораньше, расходятся швы.
фильмов, романов – подсознательно формирует модель риска, который назревает, угрожает, интересно развивается, но затем зрелищно преодолевается, – и вся игра идёт почти на равных. Реальные риски не обязаны соответствовать этой модели.
69. Склонность людей без раздумий предлагать «простые» и «очевидные» решения в сложных ситуациях. А затем упорствовать, защищая их и подбирая под них аргументацию. Человеку очень трудно «передумать». Здесь можно вспомнить закон Мёрфи: «Любая сложная проблема имеет простое, очевидное и неправильное решение». Юдковски [Yudkowsky 2008b] подробно пишет о важности того малого промежутка времени между моментом возникновения вопроса и тем моментом, когда человек сделал окончательный выбор в пользу одного из ответов, в течение которого, собственно, и происходит мышление. Людям психологически трудно передумать, потому что это якобы означает признать себя глупыми и способными ошибаться, и особенно трудно передумать, если позиция уже оглашена публична и стала предметом спора.
70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли. Юдковски [Yudkowsky 2008b] пишет об этой проблеме, честно признавая, что не видит никакого её решения
просили оценить наиболее вероятное и наихудшее (в смысле самое позднее) время сдачи дипломной работы. В результате среднее время сдачи дипломной работы оказалось хуже, чем наихудший случай.
75. Потребность в завершении. Эта концепция когнитивной психологии, обозначает стремление человека как можно скорее найти ответ на беспокоящий вопрос («need for closure» – так её называет Круглански [Kruglanski 1989]). Это стремление приводит к тому, что человек предпочитает быстрое и неверное решение более долгому поиску правильного ответа.
89. Отказ рассматривать некий сценарий по причине его «невероятности». Однако большинство катастроф случаются в результате именно невероятного стечения обстоятельств. Гибель «Титаника» связана с экзотической, если так можно сказать, комбинацией 24 (!) обстоятельств.
105. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы. И вытекающие из этого неправильное информирование начальства о ситуации. Сознательное – когда, например, военные скрывают некую аварию, чтобы их не наказали, желая справится своими силами. Когда люди не вызывают пожарных, сами туша пожар до тех пор, пока он не становится слишком обширным. Бессознательная – когда люди верят в то описание, которое уменьшает масштаб аварии и их вину. В чернобыле организатор испытаний дятлов верил, что взорвался не реактор, а бак с водой охлаждения
Неизвестно, возможна ли вообще непротиворечивая система ценностей, как она будет выглядеть, и будет ли применима на практике. Однако работа над непротиворечивой системой ценностей важна, так как в будущем её нужно будет вложить в машины, обладающие искусственным интеллектом.
