Проблема масштаба¶
Чем сложнее решение, тем легче власти выбрать удобную часть фактов. Эксперт видит свою область, ведомство защищает мандат, страна — ближайший интерес. Нужен слой, который умеет столкнуть эти картины между собой и показать пропущенную цену.
Почему не новый правитель¶
Тот, кто объявляет единственно правильный ответ, быстро начинает управлять целями, а не только проверять средства. ИИ особенно опасен в этой роли: его уверенный язык скрывает выбор данных и ценностей. Арбитр обязан объяснять, сомневаться и допускать апелляцию.
Как выглядит полезный арбитраж¶
Несколько независимых систем рассматривают один вопрос с разных сторон. Их выводы, расхождения и ограничения доступны людям. Ответственный орган выбирает решение публично и не может сослаться на алгоритм как на безличную высшую силу.
Красная линия¶
Арбитраж заканчивается там, где система получает самостоятельный контроль над оружием, деньгами, правами или людьми. Совет может остановить, предупредить и потребовать повторной проверки. Суверенная власть и ответственность остаются человеческими.