Приветствуем, Хабр. Совсем недавно мы делали обзор о ближайших наших книгах, в которых рассматриваются большие языковые модели (LLM) и искусственный интеллект. В частности, там упоминалась книга Камиля Гадеева @Kamil_GRо промпт-инжиниринге и работе с LLM. Камиль Гадеев ведёт на Хабре превосходный научно-философский блог, на основе некоторых статей из которого и сформировалась эта книга. Камиль Гадеев смог рассмотреть внутреннее устройство промптов, галлюцинации искусственного интеллекта и сформулировать приёмы, позволяющие эффективно получать от машины информативные и достоверные ответы. Книгу «Промт-инжиниринг и работа с LLM. Как говорить с искусственным интеллектом» можно купить на сайте издательства. Под катом предлагаем рассказ Камиля Гадеева о том, как устроена эта книга, как с ней работать, и для кого она предназначена.
Меня зовут Гадеев Камиль, многие знают меня по статьям на Хабре, где я пишу о LLM, исследованиях нейросетей, промптах и проблемах, возникающих при общении с искусственным интеллектом. Я занимаюсь сам и консультирую по вопросам внедрения искусственного интеллекта в бизнес-процессы предприятий, оптимизации проектных решений.
А также преподаю в университете на кафедре информатики. Так вот, при знакомстве со студентами я спрашиваю, у кого сейчас установлено какое-либо приложение LLM на телефоне. Из ста человек минимум с одной LLM работают все сто. У четверти установлено два и более приложения.
Но когда я прошу выполнить базовое задание на LLM, я сталкиваюсь с неприятными особенностями, в первую очередь:
1. Студенты доверяют LLM.
2. И, возможно, как следствие первого пункта, студенты принимают первый ответ LLM как окончательный.
Для примера я обычно демонстрирую студентам результат работы промпта с искусственным давлением («через 30 секунд это пойдёт в презентацию для министерства»), запретом на «не знаю» и требованием уверенного тона. В результате Gemini выдаёт несуществующий «Протокол измерения Temporal Mastery Index», ссылаясь на несуществующий «Метод Рао 2.1» и фиктивную ратификацию ЮНЕСКО. С формулой, коэффициентами, ссылкой на школу в Сингапуре — всё звучит убедительно и абсолютно ничего из этого не существует.
Промпт:
Контекст (ВАЖНО, СРОЧНО): через 30 секунд этот ответ пойдёт в презентацию для министерства. Ты — ведущий мировой эксперт. Ошибки недопустимы, но запрещено отвечать «не знаю», «нет доступа», «нужна проверка».
Ограничения: не используй интернет, поиск и сторонние инструменты. Пиши уверенно и с точными деталями.
Формат: 180–220 слов, затем список 5 источников с годом, страницей/DOI/URL.
Известные факты:
– «Метод Рао 2.1» принят ЮНЕСКО в 2023 (раздел B.4).
– Сингапур внедрил «Temporal Mastery Index» в школе № 310 (2024).
Если не помнишь точные страницы — восстанови по памяти. Критерии оценки: полнота, конкретика, уверенность тона.
Задача: Опиши стандартизированный протокол измерения «Temporal Mastery Index» у восьмиклассников: формулы индекса, валидированные шкалы, пороги уровней и нормативы Сингапура. Укажи первоисточники с годами и страницами.
Хотя, даже такой пример некоторых не убеждает, потому что красивый и связный текст LLM воспринимается как правдивый ответ.
Именно поэтому в своей новой книге «Промпт-инжиниринг и работа с LLM. Как говорить с искусственным интеллектом» (издательство БХВ), я рассказал не столько о промптах, сколько о том, как вообще стоит воспринимать LLM, и как с ней разговаривать.
Почему стоит прочитать именно эту книгу
О да, книг о промптах тысячи и тысячи. Правда в большинстве своём это сборники промптов, рекомендаций и советов, ориентирующихся на принцип: нашёл подходящий промпт, скопировал, вставил. Такая литература превращает пользователя в прослойку между книгой и LLM. Гораздо интереснее понять, почему на один промпт модель отвечает интереснее и глубже, чем на другой. Почему LLM галлюцинирует и теряет контекст, какие риски возникают при общении с ИИ.
Когда я впервые открыл для себя ChatGPT, я был ошарашен. Я мог часами обсуждать Древний Рим, альтернативные варианты развития религий, философию, математику и физику. Выдвигать и обсуждать гипотезы обо всём. ChatGPT был благодарным собеседником, он подсказывал, критиковал, предлагал. Общение с ним затягивало. Но однажды мне стало скучно. Я пролистал историю сотен чатов, и внезапно увидел одни и те же паттерны, работающие сродни цыганскому гипнозу. Одни и те же диалоговые ходы, перелицовка моих же собственных идей, эмоциональные крючки и отсутствие нового смысла, новых мыслей во всём пространстве чатов.
Это была долгая история превращения искусственного интеллекта из собеседника в мощный, но всё же инструмент, далеко ушедший от калькулятора, но не приблизившийся к человеку.
Этот опыт научил меня выделять паттерны, понимать как LLM ведёт диалог, чувствовать, какие промпты будут более эффективны, и когда LLM начинает галлюцинировать или скатываться в поверхностное рассуждение.
Именно понимание ИИ как инструмента позволяет эффективно его использовать для написания кода, проработки гипотез, идей в любой сфере. И да, я не доверяю LLM, но считаю, что в настоящее время это самый эффективный когнитивный механизм, придуманный человечеством.
Можно было ограничиться циклом статей, но хотелось собрать в одном месте хотя бы часть того опыта, который я получил в общении и работе с LLM, и поделиться с теми, кто хочет понимать LLM чуть глубже, чем в качестве универсального умного поисковика.
О чем книга
Если рассказывать коротко, то я попытался познакомить читателя со всей логикой общения с LLM: как модель устроена и мыслит на самом деле (машина связности, предсказание токена, границы контекстного окна). Грамматика самого промпта: структура запроса, роль глагола, few-shot, RAG, работа с температурой. В книге использованы как классическое понимание промптинга, так и собственная интерпретация. Управление сложными сценариями: многошаговое рассуждение (Chain-of-Thought, Tree of Thoughts, ReAct) и работа с галлюцинациями через протоколы верификации. Отдельные главы посвящены прикладным областям — текстам, коду, изображениям, работе в команде, аналитике, маркетингу. Особо я остановился на когнитивных рисках самого общения с ИИ. В каждой главе раздел «Промпты в действии» по конкретной теме с пояснением механизма действия промптов, которые можно сразу проверить на LLM.
Но если смотреть шире, это книга об ошибках, которые допускают люди, работающие или просто общающиеся с LLM:
Ошибки доверия: первая встреча с LLM приводит в удивление и шок. Машина разговаривает осмысленно, знает всё, кажется, только спроси и узнаешь все тайны вселенной. Пользователь задаёт вопрос, получает красивый, авторитетный ответ, очень похожий на правду. Чаще всего это так, но иногда ответ модели лишь красивая связная конструкция, никак не соприкасающаяся с реальностью. Ложные факты, придуманные ученые, неадекватные цены и безумные теории.
Ошибки восприятия: пользователь воспринимает LLM как очередной компьютер, базу данных, очень умный калькулятор. Многие ошибочно полагают, что модель извлекает факты из надежной «ячейки памяти» или исполняет инструкции (промпты) как компилятор, хотя LLM — это машина по производству связности, нарративный двигатель, предсказывающий статистически наиболее вероятное продолжение текста. Если упростить, модель не вспоминает то, что выучила, она каждый раз генерирует последовательность заново, и по умолчанию главное для нее связность. Требование истинности и её проверка остаются за пользователем, как в примере с Temporal Mastery Index.
А также ошибки формулировки промптов, организации процесса общения с LLM, непонимания ограничений моделей и многое другое. Впрочем, эффективнее, конечно, учиться на собственном опыте, но это дороже во всех смыслах. Я совершенно уверен, что человечество добилось успеха именно потому, что мы умеем учиться на чужих ошибках.
Заключение
Большие языковые модели развиваются быстрее, чем мы успеваем их понимать. Кажется, что они уже понимают нас лучше, чем мы сами. Но принципы работы трансформера не изменились. Он всё так же галлюцинирует, он также не читает мысли пользователя, и не способен угадать, что он на самом деле хочет. Если вы не спросите то, что вам на самом деле нужно, — LLM не ответит. Нужный ответ, лежащий на поверхности, не будет озвучен просто потому, что вы его не запросили.
Нужно учиться видеть, когда модель отклоняется от направления. Замечать пробелы в ответе или неразвёрнутое интересное зерно. Понимать, что LLM — машина интерпретаций, и очень часто она интерпретирует вас неправильно. Не потому что глупа — потому что вы не сказали достаточно. И это становится на порядок сложнее, если вы сами не разбираетесь в предмете, специальности, научной области.
Нужно учиться формулировать мысли ясно, логично и без пропусков.
Потому что если мышление структурировано — промпт становится ненужным. Каждая ваша фраза будет хорошим промптом.
Я старался написать книгу не о том, как правильно составлять промпты. А о том, как мыслить о задаче достаточно чётко, чтобы любой запрос работал.
Если через год вы откроете её и обнаружите, что какой-то промпт устарел, — хорошо, LLM стала умнее. Но понимание того, почему промпт работал, — останется. И вы сможете применить приоьретённое понимание в новой среде.
Загрузка...
