AI за секунды формулирует и точный вывод, и ошибочный, причем с одинаковой уверенностью и даже оптимизмом. Не попадайтесь на эту удочку! На вебинаре FriendWork «Не верьте AI на слово: как проверять информацию и принимать решения» Александр Красс показал, как проверять ссылки, углублять первый запрос и собирать из удачных промтов повторяемый сценарий для HR-команды. Разберем 3 шага: проверить достоверность ответа, логику рассуждения и управляемость процесса.
Сначала выясните, на чем держится ответ. Уверенный тон модели ничего не говорит о качестве данных, на которых построен вывод.
Как проверить достоверность ответа
Генеративная модель одинаково спокойно сообщает проверенный факт и правдоподобную ошибку. Стиль ответа мешает заметить разницу: ведь текст выглядит связным, числа стоят на своих местах, рядом могут быть ссылки. Кажется, что проверка уже выполнена, но нет.
«Даже когда AI ошибается, он все равно говорит максимально убедительно».
Десять ссылок рядом с ответом еще не делают его доказанным. Один источник подтверждает только часть вывода, другой повторяет чужую публикацию, третий описывает другую ситуацию. Ссылка только помогает начать проверку, и не должна восприниматься как завершенный ответ.
Проверка начинается с пяти вопросов:
- Источник. Первичный материал, пересказ или подборка чужих выводов.
- Дату. Актуальна ли информация для текущей задачи.
- Контекст. Совпадают ли страна, отрасль, выборка и период.
- Связь с выводом. Подтверждает ли источник именно то утверждение, которое приводит AI.
- Расхождения. Что показывают другие независимые материалы по той же теме.
Какова цена ошибки, такая и глубина проверки. Черновую идею для внутренней встречи проверить быстрее. А зарплатную аналитику, юридический вывод, расчет бюджета или решение по кандидату нужно разбирать внимательнее. Если данные противоречат друг другу, AI может сравнить версии и объяснить расхождение, но выбор остается за человеком.
«AI не может решить за вас: ответственность за выбор остается у человека».
В рекрутинге проверка начинается еще до оценки. Если в воронку попали случайные резюме, точные критерии не вернут в нее сильных специалистов. Сначала нужен релевантный поток кандидатов, затем – проверка соответствия требованиям вакансии.
Следующая точка риска – сам запрос. Надежные источники не помогут, если модели не хватает контекста.
Как углубить запрос и найти ошибки
Короткий запрос подходит для старта. Он помогает быстро проверить направление и увидеть, как AI понял задачу. Риск возникает, когда первый ответ сразу отправляют заказчику, превращают в отчет или используют для решения с заметными последствиями.
Александр сравнивает работу модели с решением сложной задачи человеком. Если сначала составить план, то заметить ограничения, определить последовательность действий и возможные риски гораздо легче. AI тоже способен пройти этот путь, если попросить его четко следовать плану и следить за отклонениями от него.
«Когда вы сделали план, вы, скорее всего, учли больше рисков и поняли, как решать задачу».
Рабочий диалог состоит из пяти шагов:
- Сформулировать исходную задачу. Указать цель, аудиторию, формат результата и ограничения.
- Попросить план. Пусть AI перечислит этапы работы, недостающие данные и риски.
- Уточнить запрос. Добавить контекст или поручить модели самой подготовить более сильный промт.
- Получить результат по новой инструкции. Отделить подготовку задачи от ее выполнения.
- Проверить результат. Попросить найти спорные утверждения, повторы, противоречия и неподтвержденные выводы.
Самопроверка нужна прежде всего в аналитике и длинных документах. Модель перечитывает ответ с отдельной задачей и находит спорные утверждения, которые пропустила при генерации.
«Нужно заставлять AI себя же проверять. Когда он себя проверяет, находит много ошибок».
Регулярную задачу неудобно каждый раз начинать с пустого чата. Качество зависит от того, вспомнил ли сотрудник все условия. Критерии, обязательные вопросы и порядок проверки закрепите в сценарии и дополняйте его новыми вводными.
Если команда регулярно решает одну задачу, инструкцию, данные и порядок проверки можно закрепить в ассистенте.
Как настроить AI для повторяющейся задачи
Разовый промт можно превратить в сохраненный сценарий. В примере с анализом воронки ассистент получает правила расчета, описание этапов и файл с данными. После настройки команде достаточно загрузить новую выгрузку и поставить короткую задачу.
Пайплайн анализа воронки состоит из 5 операций:
- Задать управленческий вопрос. Например: где воронка теряет кандидатов и что команда может проверить на следующей неделе. Вопрос определяет, для какого решения нужен анализ.
- Проверить входные данные. Модель должна назвать найденные этапы, период, объемы и недостающие поля. Если статусы определены по-разному или причины отказа не заполнены, выводы будут неполными или вовсе неверными.
- Посчитать показатели отдельно от интерпретации. Сначала – конверсии между этапами, время на статусах и участки с наибольшими потерями. На этом шаге AI показывает расчеты и опирается только на загруженный файл.
- Сформулировать гипотезы. Каждая гипотеза включает возможную причину, подтверждающий показатель и способ проверки. Падение конверсии после отклика, например, может быть связано со скоростью первой реакции, но это предположение еще нужно проверить по истории коммуникации.
- Подготовить действие для команды. Финальный вывод содержит наблюдение, риск, следующий шаг и показатель, по которому HR оценит результат. Для HRD тот же анализ можно собрать в короткую записку без технических подробностей.
Отдельные этапы показывают, что AI рассчитал по данным, где предложил объяснение и какой вывод еще требует человеческой проверки. Факты, гипотезы и рекомендации не сливаются в один убедительный абзац.
«AI нужно заставлять сначала глубоко анализировать, а уже потом делать выводы».
Настроенный ассистент тоже требует контроля. Улучшайте инструкцию на реальных задачах и постоянно дополняйте уточнениями из диалогов. Если один помощник получает слишком много несвязанных сценариев, контекст разрастается, и ответы становятся некорректными. Обязательно разделяйте задачи с разным контекстом между несколькими ассистентами.
От промта к процессу. Подробный промт помогает получить хороший ответ в конкретной ситуации. Но для регулярной работы одной инструкции недостаточно: заранее определите, какие данные загружать, что должна делать нейросеть, в каком виде выдавать результат и что проверяет человек. Тогда любой сотрудник сможет загрузить новый файл и получить результат по единой понятной схеме.
Можно выделить 3 уровня контроля:
- Достоверность. Проверить источник, дату, контекст и связь данных с выводом.
- Логика. Попросить план, разделить анализ и выводы, затем запустить самопроверку.
- Управляемость. Закрепить последовательность в инструкции, определить точки живой проверки и обновлять сценарий на реальных кейсах.
Команда сразу видит, что подтверждено данными, что остается гипотезой и где решение должен принять человек.