Учёные предложили способ оценить, что произойдёт с компанией, если ИИ вдруг отключится

Компании активно внедряют генеративный ИИ в повседневную работу — от написания текстов и анализа данных до планирования и поддержки принятия решений. Однако исследователи Ведант Дас Свейн (Vedant Das Swain) из NYU Tandon и Кустув Саха (Koustuv Saha) из University of Illinois Urbana-Champaign указывают на упущенный вопрос: готовы ли организации к сценарию, когда ИИ становится недоступен? Это может произойти из-за сокращения бюджета, технического сбоя, изменения правил приватности, регуляторных действий или конфликта с поставщиком.

Что такое CReF и как она работает

Counterfactual Resilience Framework была представлена на инаугурационном саммите ACM AI Leadership Summit, который проходил с 30 августа по 2 сентября в Атланте. Методика предлагает организациям и исследователям выявить скрытые зависимости от ИИ, которые трудно заметить, пока система работает нормально.

Фреймворк предлагает построить «контрфактический якорь» из трёх частей: описание рабочей ситуации, где используется ИИ; событие, которое прерывает доступ к нему; и последствия. По словам Дас Свейна, исследователи хотели оспорить предположение, что ИИ будет «как кислород» — всегда доступен и постоянно пополняем. Вместо этого они предлагают задать вопрос: как будет выглядеть организация, если ИИ внезапно исчезнет?

Три основные уязвимости

Авторы выделили три потенциальных риска, которые может выявить CReF.

Неравномерное распределение выгод. В одном сценарии сотрудник Алекс работает с управлением сложными отношениями и получает мало пользы от ИИ, а сотрудница Сэм из команды аналитики данных видит значительный рост производительности. Когда руководство временно отключает ИИ из-за растущих затрат, работа Алекса почти не меняется. Это иллюстрирует, как ИИ может исказить представление о производительности сотрудников, если его полезность сильно различается по должностям.

Потеря навыков через недостаток практики. Второй сценарий описывает Таню, младшего аналитика по соответствию требованиям, которая два года проверяла риск-оценки, написанные ИИ, вместо того чтобы регулярно писать их сама. Когда аудит заставляет компанию отключить систему, Таня с трудом возвращается к ручному написанию документов. Авторы ссылаются на десятилетия исследований по автоматизации, показывающих, что удаление людей из рутинной практики может привести к эрозии навыков, которые могут понадобиться в необычных или критических ситуациях.

Сложность восстановления нарушенных процессов. Третий сценарий представляет дом престарелых, который больше не может позволить себе ИИ-систему, встроенную в планирование ухода и расписание. Сотрудники пытаются восстановить предыдущий рабочий процесс и обнаруживают, что институциональные знания, распределённые между электронными таблицами, рукописными журналами и сотрудниками, стало трудно восстановить.

Не прогноз, а инструмент анализа

Важно отметить, что CReF не предсказывает, произойдут ли эти события, и не присваивает организациям оценку устойчивости. Авторы описывают её как «генеративный аналитический инструмент», предназначенный для выявления скрытых зависимостей и возможных защитных мер.

Исследователи не призывают компании отказываться от ИИ. Вместо этого они предлагают развивать устойчивость параллельно с внедрением технологии. Вопрос для организации, зависящей от ИИ, может быть не только в том, насколько лучше люди работают, когда технология доступна, но и в том, что остаётся, когда её нет.