Читать книгу Превращаясь в богов. Путь к Вечной Молодости и Всемогуществу - - Страница 39

В компьютерных науках есть проблема останова машины Тьюринга. То есть невозможно заранее предсказать, закончит ли программа свою работу или будет вычислять вечно. Невозможно предсказать результат работы программы не запустив саму программу и не посмотрев на её работу.

Аналогично проблеме останова, Стивен Вольфрам обосновывает идею, что по настоящему мощный ИИ будет принципиально невозможно предсказать. То есть, чтобы узнать, что будет делать ИИ, будет необходимо его запустить и посмотреть. Иного способа узнать, что он будет делать, просто не существует. Понятно, что в этом случае мощность ИИ придётся ограничивать и следовательно ограничивать его полезность. Иначе ИИ может уничтожить человечество.