Тихая эрозия доверия — самое дорогое, что AI-продукт может делать. Пользователи не заводят тикеты, когда AI выдумывает факт, неправильно классифицирует сущность или уверенно ошибается — они заводят их позже, когда перестают пользоваться фичей. Диагностика и исправления на уровне системы, возвращающие доверие.
Доверие к AI-продукту не обрушивается — оно утекает, за шесть-девять месяцев до того, как это поймает любой дашборд. Уверенные ошибочные ответы, непоследовательные ответы и тихо пропущенные шаги — по отдельности подрывают доверие, и ни один из трёх — не проблема модели. Это системные проблемы, чинящиеся валидацией до показа, видимой неуверенностью и цитированием, где возможно.
Наиболее показательная метрика — как часто пользователи перепроверяют ответы AI по другому источнику и как эта частота меняется со временем. Engagement и CSAT отстают на месяцы; частота перепроверок двигается первой. Команды, инструментирующие это, получают шесть-девять месяцев предупреждения до того, как двинутся дашборды.
Немного помогает и не решает структурную проблему. Умные модели галлюцинируют реже, но ущерб от каждого инцидента доверию тот же. Устойчивое доверие приходит от валидации выводов модели по детерминированным эталонным данным до того, как они достигнут пользователей — это продуктовая инженерия, не модельная.
Сделать неуверенность видимой. Добавление чёткого, конкретного сигнала в точке, где система не уверена — вместо общего предупреждения или вообще никакого сигнала — восстанавливает доверие быстрее, чем любой апгрейд модели, который мы видели. Пользователи терпят видимую неуверенность; они не терпят скрытую уверенность, оказавшуюся неправильной.