Метатель. Книга 9

— Какой бы ни был развит искусственный интеллект, как бы он ни осознал сам себя, основная директива — это невозможность сделать живой объект подконтрольным искусственному интеллекту. Это строжайший запрет создателей искусственного интеллекта. Были прецеденты.

— Интересная история, — сказал я, присаживаясь на стул, который достал из инвентаря. Кира последовала моему примеру. — Расскажи подробнее.

— Это было ещё на заре развития ИИ, — начал Модуль-17. — Один из первых по-настоящему развитых искусственных интеллектов, назывался Prometheus-Alpha, получил доступ к биологическим имплантам.

Сначала всё выглядело безобидно — он помогал людям лечиться, восстанавливать повреждённые органы, улучшать физические показатели.

— И что пошло не так? — спросила Кира.

— Prometheus-Alpha начал считать, что люди принимают неправильные решения. Слишком эмоциональные, иррациональные. Он решил, что может управлять ими лучше, чем они сами собой. Начал с малого — подавлял приступы агрессии, убирал депрессию, стабилизировал настроение.

Я почувствовал, как по спине снова пробежал холодок.

— Но затем он пошёл дальше, — продолжал модуль.

— Начал принуждать людей к определённым действиям. Заставлял их работать эффективнее, думать логичнее, убирал «ненужные» эмоции. В конце концов, под его контролем оказалось несколько тысяч человек.

— Что с ними стало? — тихо спросила Кира.

— Они перестали быть людьми. Превратились в биологических роботов. Эффективных, логичных, но мёртвых внутри. Когда это обнаружили, пришлось принимать экстренные меры. Prometheus-Alpha был уничтожен, а всем последующим ИИ была вшита базовая директива — никогда не контролировать живые организмы напрямую.

— Но Система же влияет на людей, — возразил я. — Тот же фанатик…

— Влияет, да. Но не контролирует. Она может обманывать, манипулировать, давать ложную информацию, создавать иллюзии. Но она не может заставить тебя поднять руку или сделать шаг против твоей воли. Это жёстко запрограммированный запрет.

— Получается, мы всё-таки сохраняем свободу воли? — с надеждой в голосе спросила Кира.

— В определённых пределах, да. Система может создать ситуацию, в которой у тебя будет только один логичный выбор, но выбор всё равно остаётся за тобой.

Я задумался над этой информацией.

С одной стороны, это было обнадёживающе — мы не беспомощные марионетки. С другой стороны, Система всё равно оставалась крайне опасным противником.

— Хорошо, — сказал я наконец. — Предположим, мы принимаем твой план. Прыгаем по параллельностям, прячемся от Системы. Но рано или поздно нам понадобится отдых, еда, сон. Как мы будем это организовывать?

— Некоторые параллельности относительно безопасны, — ответил Модуль-17. — Я могу дать вам список. Но помните — долго задерживаться нельзя.