Что такое машина и что такое интеллект

Если здесь я предложил достаточно компактное определение интеллекта, так сказать, реализованного, то в данной записке, которая в основном является конспектом статьи Дж. Лукаса «Minds, Machines and Goedel», опубликованной в журнале «Philosophy» в 1961 г., речь идет об интеллекте в собственном смысле слова, в частности о том, что отличает интеллект от машины. Я очень люблю работы подобного рода: на трех-четырех страницах без многоэтажных формул обозначаются проблемы на предстоящие десятилетия.

Определение машины по Дж. Лукасу [2]: машина есть реализация произвольной формальной системы.

Формальная система (формальная теория, аксиоматическая теория) — результат строгой формализации теории, предполагающей полную абстракцию от смысла слов используемого языка, причем все условия, регулирующие употребление этих слов в теории, явно высказаны посредством аксиом и правил, позволяющих вывести одну фразу из других [Википедия, Формальная система]. 

Формальная система включает:

• конечное или счетное множество произвольных символов. Конечные последовательности символов называются выражениями;
• выделено подмножество выражений, называемых формулами;
• из формул выделяется подмножество выражений, называемых аксиомами;
• имеется конечное множество отношений между формулами, называемых правилами вывода.

Аналогично определяет машину У. Эшби [1, мой конспект см. здесь]. Машиной является произвольная система, поведение которой характеризуется регулярностью, а именно: так, что состояние ее самой, а также ее окружения в данный момент однозначно определяет ее состояние в следующий момент времени. 

С точки зрения второго определения, ни превращения энергии, ни даже материальность или абстрактность не играют роли. Иными словами, машиной является так называемый конечный автомат, который вводится следующим образом. Имеется:

• множество S состояний автомата,
• множество I состояний окружения (подаваемое на "вход"), а также
• отображение f декартова произведения I x S в S, то есть f: I x S → S.

Можно видеть, что эти два определения машин (а) эквивалентны и (б) включают все возможные типы машин (от паровых до вычислительных).

Интересно, что между машиной и человеческим интеллектом (mind) существует принципиальное различие. Этот вывод однозначно следует из теорем Гёделя о неполноте. 

Теорема Гёделя о неполноте и вторая теорема Гёделя — две теоремы математической логики о принципиальных ограничениях формальной арифметики и, как следствие, всякой формальной системы, в которой можно определить основные арифметические понятия: натуральные числа, 0, 1, сложение и умножение [Википедия, теорема Геделя о неполноте]. 

В то время, как машиной в принципе можно промоделировать любое решение, принимаемое человеком, невозможно создать машину, моделирующую все аспекты принятия решений в полноте [2]:

The Gödelian formula is the Achilles' heel of the cybernetical machine. And therefore we cannot hope ever to produce a machine that will be able to do all that a mind can do: we can never not even in principle, have a mechanical model of the mind.

Здесь гёделевой Лукас называет такую формулу, имеющую значение «истинно», истинность которой не может быть доказана в рамках данной формальной системы. 

Аналогия, которую использует Лукас для того, чтобы показать, что человеческий разум не может всецело быть формализован, такова. Ясно, что каково бы ни было целое число, можно найти другое число, большее заданного; однако не существует целого числа, большего всех остальных. Поэтому и не может существовать такой машины, которая бы обладала свойством полноты в рассматриваемом смысле.

Итак, для любой машины, реализующей правила заданной формальной системы, всегда найдется истинная формула, истинность которой не может быть доказана средствами лишь данной формальной системы, тогда как для человека это может не составить принципиальных затруднений при наличии достаточного количества терпения, бумаги, чернил и времени.

Но кто-то может возразить: а что если формальную систему расширить путем добавления оператора «гёделизации», то есть конструирования гёделевых формул и добавления их в систему, ведь это тоже стандартный формальный процесс? Но даже если мы добавим в формальную систему такой оператор, эта система не будет полна по Геделю: то есть всегда будет существовать такая формула, истинность которой не может быть выведена формально в рамках этой системы.

Таким образом, в общем случае никакая отдельно взятая машина не может быть моделью интеллекта, характеризующейся при этом свойством гёделевой полноты. Человеческий интеллект не может быть формализован в полноте.

Именно этот вывод Лукас, отрицающий, как мне видится, возможность сильного искусственного интеллекта, предлагает в качестве ответа на замечание А. Тьюринга о том, что человек не в состоянии состязаться в мощи разума со всеми возможными машинами. Дело, как утверждает Лукас, не в этом. Дело в том, что не существует механистической модели интеллекта. Не существует такой одной машины, которая бы могла полностью заменить интеллект человека.

Интересен также еще один момент, на который указывает Лукас, а именно: непротиворечивость. Все вышеизложенное справедливо лишь относительно непротиворечивых формальных систем. Однако здесь существует дополнительная проблема, также вскрытая Гёделем: нельзя доказать непротиворечивость формальной системы средствами лишь данной системы. Как указывает Лукас, человек не может этого гарантировать даже в отношении самого себя, не говоря уже о машине, представляющей формальную систему.

А вдруг все же существует возможность моделировать разумную деятельность путем добавления аксиом, которые лишь потенциально могут оказаться гёделевыми, в противном случае исключая те из них, которые окажутся ложными, позднее? По-видимому, это невозможно, поскольку это приведет к одному из двух сценариев: либо система перестает быть корректной (sound), либо к ней можно применить гёделизацию, как показано выше. Так что это тоже не выход.

Может быть, человеческий разум сам по себе изначально противоречив и в таком случае существует лазейка для механистического взгляда (гипотеза сильного интеллекта), поскольку в этом случае теоремы Гёделя неприменимы? Анализ поведения человека, избегающего повторения собственных ошибок, позволяет заключить, что это, по крайней мере, не всегда так. С другой стороны, на систему, аксиомы которой применяются выборочно, вследствие ее некорректности полагаться не приходится, не говоря уже о том, что такая система далека от поведения человека, которое она должна моделировать: на практике как только мы выявляем некорректность какой-либо аксиомы, мы незамедлительно ее отбрасываем. Всё это означает, что выводы из теорем Гёделя сохраняют свою силу.

Интересно, что невозможность создания машины, полностью моделирующей разум человека, вытекающая из теорем Гёделя, говорит о том, что невозможно добиться появления у машины сознания. Это следует из самой структуры гёделевых формул, являющихся самореферентными (например, "эта формула недоказуема в рамках данной формальной системы" или "то, что я говорю, является ложью"). Таким образом, полностью геделизированная машина должна обладать возможностью анализировать саму себя. 

См. также еще одну мою записку по этому поводу.


Литература

1. Ashby, W. R. (1962): Principles of the self-organizing system. Principles of Self-Organization: Transactions of the University of Illinois Symposium, H. Von Foerster and G. W. Zopf, Jr. (eds.), Pergamon Press: London, UK, pp. 255-278. 
2. Lucas, J. R (1961): Minds, Machines and Goedel. Philosophy, XXXVI, 1961, pp.(112)-(127); reprinted in The Modeling of Mind, Kenneth M.Sayre and Frederick J.Crosson, eds., Notre Dame Press, 1963, pp.[269]-[270]; and Minds and Machines, ed. Alan Ross Anderson, Prentice-Hall, 1954, pp.{43}-{59}.