Тихая эрозия доверия — самое дорогое, что AI-продукт может делать. Пользователи не заводят тикеты, когда AI выдумывает факт, неправильно классифицирует сущность или уверенно ошибается — они заводят их позже, когда перестают пользоваться фичей. Диагностика и system-level фиксы, возвращающие доверие.
Доверие к AI-продукту не обрушивается — оно утекает, за шесть-девять месяцев до того, как это поймает любой дашборд. Уверенная неправильность, непоследовательные ответы и тихо пропущенные шаги — каждый эродирует доверие независимо, и ни один из трёх — не проблема модели. Это системные проблемы, чинящиеся валидацией до показа, видимой неуверенностью и цитированием, где возможно.
Самая предиктивная метрика — как часто пользователи перепроверяют вывод AI против другого источника и как эта частота меняется со временем. Engagement и CSAT отстают на месяцы; частота перепроверок двигается первой. Команды, инструментирующие это, получают шесть-девять месяцев предупреждения до того, как двинутся дашборды.
Помогает на грани и не решает структурную проблему. Умные модели галлюцинируют реже, но per-incident ущерб доверию тот же. Устойчивое доверие приходит от валидации выводов модели против детерминированной ground truth до того, как они достигнут пользователей — это продуктовая инженерия, не модельная.
Сделать неуверенность видимой. Добавление чёткого, конкретного сигнала в точке, где система не уверена — вместо generic-дисклеймера или вообще никакого сигнала — восстанавливает доверие быстрее, чем любой апгрейд модели, который мы видели. Пользователи терпят видимую неуверенность; они не терпят скрытую уверенность, оказавшуюся неправильной.