AI за секунды формулирует и точный вывод, и ошибочный – с одинаковой уверенностью. На вебинаре FriendWork «Не верьте AI на слово: как проверять информацию и принимать решения» Александр Красс показал, как проверять ссылки, углублять первый запрос и собирать из удачных промтов повторяемый сценарий для HR-команды. Разберем 3 шага: проверить достоверность ответа, логику рассуждения и управляемость процесса.
Сначала нужно выяснить, на чем держится ответ. Уверенный тон модели ничего не говорит о качестве данных, на которых построен вывод.
Как проверить достоверность ответа
Генеративная модель одинаково спокойно сообщает проверенный факт и правдоподобную ошибку. Стиль ответа мешает заметить разницу: текст выглядит связным, числа стоят на своих местах, рядом могут быть ссылки. Кажется, что проверка уже выполнена.
«Даже когда AI ошибается, он все равно говорит максимально убедительно».
Десять ссылок рядом с ответом еще не делают его доказанным. Один источник подтверждает только часть вывода, другой повторяет чужую публикацию, третий описывает другую ситуацию. Ссылка помогает начать проверку, но не завершает ее.
Проверка начинается с пяти вопросов:
- Источник. Первичный материал, пересказ или подборка чужих выводов.
- Дату. Актуальна ли информация для текущей задачи.
- Контекст. Совпадают ли страна, отрасль, выборка и период.
- Связь с выводом. Подтверждает ли источник именно то утверждение, которое приводит AI.
- Расхождения. Что показывают другие независимые материалы по той же теме.
Глубина проверки зависит от цены ошибки. Черновую идею для внутренней встречи можно проверить быстрее. Зарплатную аналитику, юридический вывод, расчет бюджета или решение по кандидату нужно разбирать внимательнее. Если данные противоречат друг другу, AI может сравнить версии и объяснить расхождение, но выбор остается за человеком.
«AI не может решить за вас: ответственность за выбор остается у человека».
В рекрутинге проверка начинается еще до оценки. Если в воронку попали случайные резюме, точные критерии не вернут в нее сильных специалистов. Сначала нужен релевантный поток кандидатов, затем – проверка соответствия требованиям вакансии.
Следующая точка риска – сам запрос. Надежные источники не помогут, если модели не хватает контекста.
Как углубить запрос и найти ошибки
Короткий запрос подходит для старта. Он помогает быстро проверить направление и увидеть, как AI понял задачу. Риск возникает, когда первый ответ сразу отправляют заказчику, превращают в отчет или используют для решения с заметными последствиями.
Александр сравнивает работу модели с решением сложной задачи человеком. Если сначала составить план, легче заметить ограничения, последовательность действий и возможные риски. AI тоже способен пройти этот путь, если попросить его явно.
«Когда вы сделали план, вы, скорее всего, учли больше рисков и поняли, как решать задачу».
Рабочий диалог состоит из пяти шагов:
- Сформулировать исходную задачу. Указать цель, аудиторию, формат результата и ограничения.
- Попросить план. Пусть AI перечислит этапы работы, недостающие данные и риски.
- Уточнить запрос. Добавить контекст или поручить модели самой подготовить более сильный промт.
- Получить результат по новой инструкции. Отделить подготовку задачи от ее выполнения.
- Проверить результат. Попросить найти спорные утверждения, повторы, противоречия и неподтвержденные выводы.
Самопроверка нужна прежде всего в аналитике и длинных документах. Модель перечитывает ответ с отдельной задачей и находит спорные утверждения, которые пропустила при генерации.
«Нужно заставлять AI себя же проверять. Когда он себя проверяет, находит много ошибок».
Регулярную задачу неудобно каждый раз начинать с пустого чата. Качество зависит от того, вспомнил ли сотрудник все условия. Критерии, обязательные вопросы и порядок проверки лучше закрепить в специализированном сценарии.
Если команда регулярно решает одну задачу, инструкцию, данные и порядок проверки можно закрепить в ассистенте.
Как настроить AI для повторяющейся задачи
Разовый промт можно превратить в сохраненный сценарий. В примере с анализом воронки ассистент получает правила расчета, описание этапов и файл с данными. После настройки команде достаточно загрузить новую выгрузку и поставить короткую задачу.
Пайплайн анализа воронки состоит из 5 операций:
- Задать управленческий вопрос. Например: где воронка теряет кандидатов и что команда может проверить на следующей неделе. Вопрос определяет, для какого решения нужен анализ.
- Проверить входные данные. Модель должна назвать найденные этапы, период, объемы и недостающие поля. Если статусы определены по-разному или причины отказа не заполнены, выводы будут неполными.
- Посчитать показатели отдельно от интерпретации. Сначала – конверсии между этапами, время на статусах и участки с наибольшими потерями. На этом шаге AI показывает расчеты и опирается только на загруженный файл.
- Сформулировать гипотезы. Каждая гипотеза включает возможную причину, подтверждающий показатель и способ проверки. Падение конверсии после отклика, например, может быть связано со скоростью первой реакции, но это предположение еще нужно проверить по истории коммуникации.
- Подготовить действие для команды. Финальный вывод содержит наблюдение, риск, следующий шаг и показатель, по которому HR оценит результат. Для HRD тот же анализ можно собрать в короткую записку без технических подробностей.
Отдельные этапы показывают, что AI рассчитал по данным, где предложил объяснение и какой вывод еще требует человеческой проверки. Факты, гипотезы и рекомендации не сливаются в один убедительный абзац.
«AI нужно заставлять сначала глубоко анализировать, а потом делать выводы».
Настроенный ассистент тоже требует контроля. Инструкцию нужно улучшать на реальных задачах и дополнять удачными уточнениями из диалогов. Если один помощник получает слишком много несвязанных сценариев, контекст разрастается и ответы становятся менее стабильными. Тогда задачи лучше разделить между несколькими ассистентами.
От промта к процессу. Хороший промт дает сильный ответ один раз. Рабочий процесс сохраняет роль ассистента, требования к данным, порядок анализа, форму результата и точки человеческой проверки. Сотрудник загружает новый файл и ставит задачу, а команда получает результат по общей методике.
Можно выделить 3 уровня контроля:
- Достоверность. Проверить источник, дату, контекст и связь данных с выводом.
- Логика. Попросить план, разделить анализ и выводы, затем запустить самопроверку.
- Управляемость. Закрепить последовательность в инструкции, определить точки человеческой проверки и обновлять сценарий на реальных кейсах.
Команда сразу видит, что подтверждено данными, что остается гипотезой и где решение должен принять HR.
