Гений и злодейство
Преподаватели любят задавать студентам эссе-рассуждение на тему «несовместимости гения и злодейства». В свое время, получив это задание, я пришла к выводу, что гений и злодейство не только «совместны», но даже смотрятся рядом более органично, чем гений и добродетель. Одним из аргументов было происхождение слова «гений»: от латинского genius — «дух, добрый или злой». Уже одно это означает, что добрых и злых гениев может быть поровну.
Так почему ИИ обязательно окажется злым гением?
Дело в том, что категории добра и зла — человеческие. ИИ же действует из соображений целесообразности. Если человеческие существа, населяющие планету, окажутся, по его мнению, «слишком медлительны и глупы», целесообразно заменить их на более совершенную форму жизни. Юдковски пишет: