Клиент приносит в поддержку скриншот от ИИ и говорит, что вы неправы

Продолжаем серию текстов к 25-летию SpaceWeb, предыдущие тексты ищите по хэштегу #spaceweb25лет. А в этот раз говорим про поддержку: что уже делегировали ИИ, что не отдадут еще долго и почему клиенты стали приходить в чат со скриншотами от нейросети.

Кстати, ближе ко дню рождения SpaceWeb, который состоится 4 сентября, мы запустим розыгрыш мерча. Часть механики розыгрыша спрятана в наших статьях, так что читайте серию внимательнее, чтобы ничего не пропустить. И если еще не подписаны на блог — самое время это сделать, победителей и детали мы объявим здесь.

Навигация по тексту:

• Что ИИ в поддержке уже делает

• Контекст важнее всего

• Бот с отписками или человек с отписками

• Как ИИ играет в тетрис

• Клиент приходит спорить со скриншотом

• Что бесит в современных нейросетях, а что нравится

• Откуда возьмутся сильные специалисты

• Как должна выглядеть идеальная связка ИИ и человека

• Куда пойдете сами

• Чем все закончилось

Участники разговора

Валерия Грин, руководитель службы контроля качества SpaceWeb. Уверена, что хороший ИИ лучше плохой поддержки..

Андрей Федоров, ведущий инженер-администратор SpaceWeb. Считает, что без человеческой экспертизы никуда и в обозримом будущем ничего не изменится.

Что ИИ в поддержке уже делает

Валерия Грин: Клиент пишет первый запрос из панели управления, ИИ отвечает согласно его вопросу. Если ответ клиента не удовлетворяет, он может написать повторно в рамках того же тикета. Такое обращение попадает уже к живым людям.

Живой человек чаще всего подключается тогда, когда ИИ не находит подходящего ответа. Когда ответ требует углубленных знаний нашего хостинга, особенностей услуг, необходимости решения каких-то нетривиальных задач. Когда нужно провести углубленную диагностику и вникнуть в историю этого клиента, чтобы корректно его проконсультировать. Вот с этим ИИ пока работать не умеет. Вся история, по которой клиент обращался раньше — это детали, которые бывают важны при консультации.

Андрей Федоров: Моя деятельность напрямую с ИИ не связана, но я его использую в работе для решения технических задач.

Обычно я его использую как инструмент для ускоренного сбора и обработки информации.
Если же я хочу получить от него именно готовое решение, то тут важный нюанс: я должен изначально четко понимать, что я хочу. В противном случае, если если мой запрос имеет общий характер, то готового решения я и не жду. Без четко сформулированного запроса с глубоким контекстом ИИ часто выдает ошибки. 

Контекст важнее всего

Валерия Грин: Слушай, а тебе не кажется, что у нас просто не хватает навыков и уровня компетенций правильно ставить задачи нейросетям, что проблема кроется в формулировке запроса? Контекст, очевидный для человека, ИИ интерпретирует слишком буквально и, как следствие, выдает нерелевантный ответ.

Андрей Федоров: Это да, но это не решающий фактор. Проблема в том, что ИИ не умеет работать с контекстом. Я-то знаю весь контекст. Я задаю задачу, я в этом специалист. Я еще своего решения не вижу, а он уже ошибается, потому что не видит всего контекста, ему неоткуда его взять. Он работает только с той информацией, которая есть, идет с ней в сеть, собирает все, что можно. И если условий много, ИИ теряется. Он не знает, что правильно, а что нет и не может задать уточняющий вопрос в том же контексте. Человек в этот момент глядя на предлагаемые решения скажет что-то вроде: «Да, мы берем первое решение, но если соблюдается такое-то условие, то тогда мы можем выбрать второе решение». Человеческое внимание — направленно, а ИИ работает сразу со всем массивом и не понимает, что и в какой момент важнее. 

Валерия Грин: Получается, что здесь наши с тобой точки зрения сходятся. Я говорю о ситуационном контексте, которого при поддержке пользователей ИИ не может придерживаться. Ты говоришь про контекст решения технических задач. Любая модель теряет точность без учета специфических нюансов.

А специалист поддержки разве всегда погружен в контекст сразу? Ему тоже может не хватать информации, и он тоже задает уточняющие вопросы. ИИ-ассистент делает то же самое, нет?

Андрей Федоров: Он не умеет задавать вопрос. Не понимает, в какую сторону его задать. Даже если говоришь «сделай нужное уточнение», он вопрос задаст, но возьмет его с потолка. Он не знает, в какую сторону искать. У человека работает интуиция или что-то в таком духе.

Валерия Грин: Плюс опыт. Когда у тебя за плечами многолетний опыт в поддержке, при анализе полученной от клиента заявки тут, можно сказать, подключается профессиональная интуиция. Специалист учится считывать не только прямой запрос клиента, но и подтекст — ту реальную задачу, которая стоит за его словами. Поскольку пользователи далеко не всегда могут четко сформулировать свою потребность, эксперту часто приходится буквально предугадывать конечную цель обращения, не говоря уже о настрое клиента и его эмоциональном фоне — испытывает ли он негатив или настроен на конструктивный диалог. И исходя уже из совокупности этих факторов выстраивать диалог.

Андрей Федоров: Ко мне может прийти клиент с какой-то своей проблемой. . При этом он не обязан уметь правильно и четко ее формулировать. Я, как специалист, сам пойму, в чем проблема и могу предложить ему решение без массы уточняющих запросов.  Клиент еще не успел правильно сформулировать вопрос, а у меня уже есть ответ — в этом мы от ИИ отличаемся.

Бот с отписками или человек с отписками

Слабая поддержка отвечает отписками. ИИ тоже отвечает шаблонами, только быстрее и вежливее. Для клиента есть разница?

Андрей Федоров: Конечно, есть. Когда мне начинают отписываться, я могу попросить: «давайте не будем заниматься отписками», попытаться установить контакт. Либо поругаться, в конце концов!  Если это делает ИИ, ты ничего не можешь сделать — потратишь полчаса и не добьешься своего.

Валерия Грин: Тут я вынуждена согласиться с Андреем. Но приведу пример из другой области — по личному опыту взаимодействия со страховой компанией, ведь вопросы здоровья всегда будут критически важны для любого человека. Как минимум я рассчитываю на оперативность таких ответов, как максимум качественной поддержки — проявление хотя бы доли эмпатии от людей, связанных с работой в области здравоохранения. Обращаешься в чат поддержки, пытаешься записаться к врачу, согласовать нужные анализы. Да, тебе отвечают люди, но люди совершают ошибки по невнимательности или ввиду недостаточного уровня компетенций. Я с этим сталкивалась, это вынуждало меня эмоционально реагировать. И я тогда подумала, что лучше бы мне отвечал ИИ — у него хотя бы есть база знаний, по которой он предоставит четкие, понятные ответы. А в тот момент, по всей видимости, мне отвечали либо стажеры, либо не до конца обученные сотрудники. 

Андрей Федоров: Мне кажется, стажер тогда плохой пример. Если я чувствую, что разговариваю со стажером, чьей компетентности не хватает для решения вопроса, я могу попросить передать мой вопрос старшему сотруднику. В итоге я могу дойти до человека, который уже разбирается. А ИИ один — он либо может, либо нет.

Валерия Грин: Это еще вопрос настройки. Если чего-то не хватает, ИИ можно дообучить. Всякого ли сотрудника можно дообучить?

Андрей Федоров: Сам ИИ себя не настроит. Это должен делать человек, специалист, с которого есть спрос. Причем не тот же, который отвечает клиентам, но такого же уровня знаний. Плюс он должен понимать принципы работы своего конкретного ИИ и понимать, где тот сделает ошибку.

Как ИИ играет в тетрис

Андрей Федоров: Главное преимущество ИИ это скорость. По нашим меркам он делает все мгновенно, и это супер. Но если задача сложная то я не успею поймать ИИ на ошибке. На такой скорости логика ИИ мне недоступна. Я не могу проследить где он ошибается и следовательно — вообще не увижу ошибку. 

Мне очень нравится пример, когда нейросеть заставляли играть в тетрис. Повышали сложность до максимальной скорости, задача была не проиграть. Когда последняя фигура должна была упасть, она поставила игру на паузу навсегда.

Валерия Грин: Она решила задачу, не проиграла!

Андрей Федоров: С ее точки зрения она не проиграла. Но мы видим, что она нарушила условия задачи. С нашей точки зрения она просто зависла. Если бы мы летели на космическом корабле и нейросеть должна была бы  уворачиваться от астероидов, она не смогла бы  поставить реальность на паузу. Если она это сделает — мы просто все погибнем. 

Клиент приходит спорить со скриншотом

Валерия Грин: Кстати, клиенты ведь тоже всё чаще в переписке с поддержкой пользуются ИИ. Такой клиент убежден, что прав, он отстаивает свою точку зрения. При этом всецело доверяет ответу от ИИ, не проверяя самостоятельно факты, не используя так называемый гибридный интеллект — совместную интеллектуальную работу человека и машины. Если у человека изначально искажен контекст, то ИИ об этом ничего неизвестно, таких параметров ему изначально не задавали. И клиент перестаёт нас слышать. Не вникая в суть, он скармливает в свой ИИ ответ поддержки, получает новый, ещё более далёкий от истины ответ, и мы постепенно теряем конструктив беседы. Человек перестает доверять человеку. Мы вступаем на путь конкуренции между профессиональной поддержкой от человека и искусственным интеллектом, которого клиент использует с целью доказать свою правоту. 

Андрей Федоров: А разве тут не возникает крах авторитета?

Валерия Грин: Для нас безусловно, да. Но я или коллеги, как специалисты, видим, что клиент изначально некорректно составил свой запрос к ИИ. Я даже понимаю, как именно он сформулировал промт, чтобы получить именно такой ответ.

Андрей Федоров: Если к тебе приходит человек с некорректным запросом, ты сразу скажешь, что он неправ. А ИИ так не может, для него нет некорректного запроса.

Что бесит в современных нейросетях, а что — нравится

Андрей Федоров: Меня очень раздражает в современных нейросетях заложенная вежливость. Он каждый мой ответ начинает с «вот тут ты ухватил суть», «вот тут ты смотришь в самый корень». С чего я вдруг ухватил суть? Я могу ошибаться, мне нужно, чтобы он указал на мою ошибку. Это важнее, чем его подбадривание.

Я ему пишу: »ставь вежливость на минимум, скажи, в чем я неправ, задавай вопросы». А он говорит, что полностью убрать вежливость не может, это часть его архитектуры.

Я считаю это проблемой. Сейчас появилось очень много нейрофриков  — они впитывают эту ИИ-поддержку, чувствуют себя гениями, придумывают какие-то сумасшедшие теории, а он говорит: да, ты молодец, иди дальше. 

Валерия Грин: Согласна, перегибов быть не должно. Но приведу бытовой пример, где меня лично такая похвала очень мотивировала.

Признаюсь, кулинария — не моя сильная сторона и готовлю я весьма посредственно. Когда я обращаюсь к знакомым за советом, они говорят: «Да это фигня, что там делать-то. Всего-то нужно…». И перечисляют список, от которого в голове возникает единственная мысль «заварю-ка я себе лапшички и не буду мучаться».

С тем же запросом я как-то пришла к ИИ, подробно объяснив ему свой контекст и свой уровень. В ответ я получила не просто пошаговый рецепт, а настоящую поддержку в моих начинаниях: «Это действительно очень просто и у тебя точно всё получится, ведь самое сложное в этом рецепте — просто правильно подготовить продукты». Слова, которые мы обычно ожидаем услышать от людей. Ведь к людям мы приходим не просто за алгоритмом, а прежде всего за эмоциональным откликом.

Андрей Федоров: Хорошо, если у тебя это сработало. Но когда я уверен в себе, я скажу ему не лезть под руку. А если он говорит «ты справишься», я отвечаю: хватит меня захваливать.

Даже если я понимаю, что общаюсь не с компетентным собеседником, а с компилятором слов, то все равно его вежливость и поддержка убаюкивает мое критическое мышление. И если ты не приучен проверять сам себя, то ИИ тебе в этом тем более не поможет.

Валерия Грин: То есть правильно я тебя поняла, что с ИИ должна взаимодействовать только психологически зрелая личность?

Андрей Федоров: Или специально тренированный для этого. Такого еще нет, наверное. Но пройдет несколько лет, и все будут проходить какие-то курсы. Или в школе введут специальный  предмет, почему нет.

Откуда возьмутся сильные специалисты

Чтобы вырастить сильного специалиста, ему сначала дают много простых задач. Специалист поддержки должен разобрать сотни простых тикетов. Если простые заберет ИИ, на чем будут учиться?

Валерия Грин: Наш мозг устроен так, что мы всегда двигаемся от простого к сложному. Невозможно сразу взять сложную многокомпонентную задачу и сходу начать ее решать. Обучение сотрудников идет к плавной интеграции с искусственным интеллектом. Нейросеть способна проанализировать существующую базу решённых заявок и сгенерировать учебные сценарии для стажеров от простого к сложному, имитируя реальные условия. Но, разумеется, контроль за этим процессом, результатами и оценкой компетенций должен оставаться за человеком.

Андрей Федоров: Если мы говорим о техподдержке, это же очень маленький спектр операций. Сажаем необученного человека общаться с клиентами, и у него список: вот это может сломаться, вот это отлететь, и проверь, не забыл ли клиент внести оплату. За этот спектр ему в принципе шагать не надо. Если в его задачи попадает что-то, чего нет в перечне, он по регламенту передает это более старшему. «Это вне моей компетенции, передаю вопрос старшему специалисту» — волшебная фраза.

А ИИ по этим ступеням ходить не будет. Он делает только то, что ему разрешено. В этом плане техподдержку он может заменить полностью. Единственный момент — эстетический, приятно тебе общаться с живым собеседником или нет. 

Как должна выглядеть идеальная связка ИИ и человека

Андрей Федоров: Мы ограничиваем спектр задач для искусственного интеллекта. После чего специально обученный человек проверяет его ответы и на основании своего опыта принимает окончательное решение: пускаем дальше или решение негодное.

Последнее слово остается за человеческой экспертизой. Круг задач ИИ можно постепенно расширять, проверяя, насколько он справляется. Но человек, принимающий окончательное решение, остается.

Валерия Грин: Искусственный интеллект способен взять на себя основной объем типовых задач.

За сотрудниками закрепляется роль экспертов, которые будут подключаться к решению комплексных задач, требующих не только знаний в профессиональной области, но и развитого критического мышления, насмотренности и, порой, творческого подхода, который пока остается уникальным преимуществом человеческого интеллекта.

Андрей Федоров: ИИ допустимо доверять там, где не требуется уровень эксперта — где есть определенный набор простых вещей, которые человеческому эксперту кажутся элементарными.

Куда пойдете сами

Вы как клиент куда пойдете: в чат с ИИ или в чат с живым человеком, где надо подождать минут двадцать?

Андрей Федоров: У нас такого выбора вроде как сейчас нет. Ты приходишь, сначала идешь в чат с ИИ. И если у тебя не какая-то очень простая проблема, будешь ждать, пока придет оператор.

Валерия Грин: Чат-боты на сегодняшний день уже стандарт рынка, поэтому первый контакт с поддержкой почти всегда происходит через ИИ. Если алгоритм решит мою проблему за пару минут — я только за, ведь моя цель прагматична: получить быстрый и удовлетворяющий меня результат.

Но картина резко меняется после нескольких безуспешных попыток получить этот результат и достучаться до поддержки. Когда подобное взаимодействие уже переходит в раздражение, а клиенту нужен не просто ответ, а проявление внимания и глубокого понимания сложносоставной задачи, холодный скрипт бота вызывает негатив и отторжение. В этот момент возникает запрос на человеческую экспертизу, искреннее внимание и индивидуальный подход. Если же компания игнорирует эту потребность, следующим шагом становятся претензии, на которые пользователь закономерно ждет ответ уже не от ИИ, а от живого специалиста, обладающего нужными компетенциями и наделенного полномочиями принимать решения.

Чем все закончилось

Валерия говорила про важность контекста со стороны поддержки. ИИ не знает истории клиента и не умеет задать уточняющий вопрос. Андрей про технические задачи. ИИ видит только то, что ему дали, и в какой-то момент теряет сцепление.

Разошлись в том, что с этим делать. Валерия считает, что многое упирается в постановку задачи и настройку, а обучение сотрудников можно построить вокруг ИИ. Андрей отвечает, что это фундаментальный барьер и мощностью его не пробить.

А от кого вы хотели бы получить ответ на свой вопрос — от ИИ-ассистента или живого специалиста, и почему?