Сбербанк выкатил Cowork Bench — первый в стране открытый русскоязычный бенчмарк, который проверяет ИИ-агентов не на сообразительность, а на умение доводить до конца реальные офисные дела.
Платформа для создания и управления такими агентами — GigaCowork — разработана российской ИТ-компанией «Салют для бизнеса», входящей в экосистему Сбербанка. О новинке CNews рассказали представители банка.
Главное отличие Cowork Bench от существующих инструментов: он смотрит не на качество ответов модели, а на то, способен ли агент самостоятельно, без человека, закрыть задачу целиком — обработать клиентскую заявку, собрать отчёт, провести расчёты. В наборе — 475 сквозных офисных сценариев, 12 бизнес-функций и 26 корпоративных систем. За основу взяли международные методики оценки ИИ-агентов, но переработали их под реалии российского бизнеса: учитываются типичные запросы отечественных компаний, работа с таблицами, документами, почтой, календарём, хранилищами данных, базами знаний и внутренними сервисами. К примеру, одна из задач — проанализировать бюджет: агенту нужно сверить план и факт по четырём подразделениям, посчитать отклонения, объяснить их, сделать отчёт и презентацию, обновить прогноз и разослать письма. Другая — организовать командировку для команды: выбрать сотрудников, найти билеты, посчитать бюджет и поставить встречи в календарь.
Андрей Белевцев, старший вице-президент и руководитель блока «Технологическое развитие» Сбербанка, отметил: российских бенчмарков-аналогов, которые оценивали бы способность ИИ-агентов выполнять офисные задачи от начала до конца с учётом специфики отечественных компаний — их систем, сценариев и запросов — пока нет. Cowork Bench — первый в этом классе, он показывает, насколько хорошо агенты справляются с реальными рабочими процессами и какую их долю могут взять на себя. И главное, доступ к нему открыт: любой разработчик или компания может проверить собственный harness и подтянуть качество своих ИИ-агентов.
Чтобы выяснить, насколько окружение влияет на результат, разработчики GigaCowork сравнили девять решений на одной открытой модели — с одинаковыми задачами, данными и процедурой проверки. В список вошли восемь зарубежных инструментов (Goose, Claude Code, DeepSeek, Pi, Codex CLI, OpenHands, OpenCode, Strands baseline) и российская платформа GigaCowork. Итог: выбор харнесса напрямую сказывается на успехе — доля выполненных заданий колеблется от 62% до 80%, а разрыв на одной и той же большой языковой модели местами достигает 20%. GigaCowork закрыл 75,2% задач и вошёл в число лидеров. Сильнее всего платформа проявила себя при работе с объёмными выгрузками, таблицами, документами Word и календарём.
Владимир Толмачев, генеральный директор «Салют для Бизнеса», подчеркнул: существующие бенчмарки оценивают возможности моделей — знания, рассуждения, математику, написание кода. Это полезно, но не отвечает на вопрос, сможет ли система подготовить квартальный анализ бюджета и довести его до ответственных руководителей. Такая задача требует найти исходники, сопоставить данные, посчитать, создать документы, отправить письма. В офисной работе результат во многом зависит от программной оболочки, которая управляет контекстом, памятью, инструментами и стыковкой агентов с корпоративными системами. Поэтому бизнесу стоит выбирать не просто «умную» модель с высокими показателями, а решение, которое лучше справляется с их конкретными рабочими задачами.
Загрузка...
