теория
Смотри, разберём спокойно, почему у Ивана ёкнуло — это не абстрактная мораль, у неё есть вполне инженерная механика.
Модель учится на прошлом и закрепляет его. Она видит, кто платил больше вчера, и назначает цену сегодня. Если вчера в каком-то районе платили больше от безысходности — модель молча сделает это правилом. Это : несправедливость прошлого, отмытая до вида «объективных цифр». Цифрам верят больше, чем человеку, — и оспорить их труднее.
Она создаёт . Показали цену выше → человек купил меньше → модель «увидела» подтверждение своей ставки → закрутила ещё. Прогноз меняет мир так, чтобы сбыться. Система, которая должна была описывать реальность, начинает её назначать.
Она превращает удобство в . Чтобы скорить платёжеспособность, нужно копить всё: где живёшь, с какого телефона заходишь, как быстро платишь. Данные собирают «на всякий случай» — а «всякий случай» имеет свойство наступать. То, чего вы не собрали, невозможно ни потерять, ни украсть, ни использовать против человека. Отсюда простое инженерное правило — : не собирай того, без чего можно обойтись.
И главное — она размывает ответственность. Когда цену называет человек, есть с кого спросить. Когда её называет «модель», виноватых нет: разработчик «просто писал код», продакт «просто ставил задачу», модель «просто посчитала». Ответственность растворяется ровно в тот момент, когда она нужнее всего.
Ничего из этого пока не запрещено законом — хотя персональные цены местами уже начинают регулировать. Всё это — именно тот вопрос, на который не отвечает ни одна книга по архитектуре: они учат, как построить надёжно, но не стоит ли строить вообще.