Задача не в том, чтобы передать власть машине¶
Люди ошибаются, защищают свои интересы и не способны удержать в голове все последствия сложного решения. ИИ тоже ошибается и наследует ограничения данных и создателей. Совет Равновесия задуман не как замена человека, а как система взаимной проверки, где ни один участник не получает последнего слова в одиночку.
Одного ИИ недостаточно¶
Корпоративная модель зависит от владельца, государственная — от политической среды, открытая — от сообщества и набора данных. Поэтому «нейтральный ИИ» в единственном числе — опасная иллюзия. Нужны независимо созданные системы с разной специализацией, которые обязаны показывать расхождения.
Совет, а не оракул¶
Одни системы могут проверять факты, другие — право, экономические последствия, экологический риск или положение меньшинств. Их задача — не выдать магический правильный ответ, а сделать конфликт интересов, цену решения и неопределённость понятными людям.
Ответственность нельзя автоматизировать¶
Каждое значимое решение должно иметь названных людей, которые объясняют выбор и несут юридическую и моральную ответственность. ИИ не получает доступа к оружию, финансам, персональным данным или управлению людьми только потому, что его расчёт кажется убедительным.
Несогласие — часть системы¶
Особое мнение не удаляется ради красивого единогласия. Оно остаётся в протоколе вместе с аргументами и может стать основанием для апелляции. Человек должен понимать, кто принял решение, на каких данных оно основано, как его оспорить и когда оно будет пересмотрено.
Что происходит на первом этапе¶
Сегодня MATERRA не передаёт ИИ управление деньгами, людьми, правами или публикациями. Мы разрабатываем и публично обсуждаем модель, сравниваем архитектуры и ищем способы независимого аудита. Практические испытания возможны только в добровольных, обратимых и безопасных проектах.