QA Lead в команду AI-агенты

Привет! Мы — команда AI-агентов, и мы создаём агентов для пользователей (B2B, B2C). Например, агент при работе с картой или карточкой фирмы (Запись на услуги или ответы на вопросы по компании. Можно посмотреть пример тут ). У нас в команде высокая скорость доставки фичей и релизного цикла, минимальный уровень бюрократии. При этом присутствуют все плюсы бигтеха. Сейчас мы ищем QA-лида, который поможет нам донастроить процессы квалити гейтов и тестирования с помощью Copilot и внутренних AI-инструментов.

- Участвовать в проектах по разработке AI-ассистентов на базе API 2ГИС с текстовыми и голосовыми интерфейсами. - Организовать и выстроить процесс тестирования AI-агентов. - Организовывать и проводить различного рода тестирование (тест требований, ручное, функциональное, E2E, нагрузочное) AI-агентов на всем цикле разработки. - Проводить нагрузочное тестирование, подготовку тестовых сценариев и данных. - Активно использовать такие инструменты как Copilot в работе. - Мониторить состояние систем и агентов на продакшн-среде, настраивать алертинг (основные алерты уже есть).

- Опыт формирования процесса тестирования продукта с высокой нагрузкой. - Написание автотестов на Python (3+ года) и ручного тестирования. - Опыт настройки CI/CD. - Опыт нагрузочного тестирования на k6 или другого инструмента. - Внимание к деталям и умение видеть общую картину.

- Понимание принципов работы LLM (токенизация, промпты). - Знание архитектур AI агентов (ReAct, Tool Use, RAG, Multi-Agent). - Опыт работы с LangChain или аналогичными фреймворками. - Понимание недетерминированности AI систем и методов их контроля.

- Langfuse. Трейсинг и мониторинг AI пайплайнов. - Интеграционное тестирование. End-to-end сценарии с реальными API. Тестирование цепочек рассуждений агента. Проверка контекстной памяти и диалогов. - Системное тестирование. Performance под нагрузкой (latency, throughput). Стресс-тестирование при высоком количестве запросов. Тестирование деградации при недоступности внешних API. Все реализовано на K6 - Safety Testing. Prompt injection. Тестирование на генерацию вредного контента. Проверка обработки персональных данных.

- Сильная QA-вертикаль. - Мы аккредитованная IT-компания. - Полностью белая зарплата. - Предоставляется ДМС, корпоративное обучение. - Возможность работать удалённо по РФ или в одном из наших офисов: Москва, Санкт-Петербург, Новосибирск. - Комфортные условия работы: современное оборудование, организованные встречи команды как онлайн, так и офлайн. - Поддержка в профессиональном развитии: участие в конференциях, тренингах и публикациях на профильных ресурсах. Будем рады развивать продукты вместе :)