AI-система автоматической генерации integration-тестов

AI-автогенерация интеграционных тестов

Интеграционные тесты часто становятся узким местом в CI пайплайне: они либо отсутствуют, либо падают из-за хрупких fixtures. Мы решаем это с помощью AI-генерации, которая анализирует архитектуру сервисов, схему базы данных и OpenAPI-спецификации. Результат — готовые pytest-тесты, которые находят реальные баги, а не плодят ложные срабатывания. Время регрессии сокращается до 4 часов вместо трёх дней, а затраты на тестирование — до 40%.

Какие проблемы решает AI-генерация тестов?

Ручное написание интеграционных тестов отнимает 2–3 дня у QA-инженера на каждый релиз. При этом 80% кода тестов шаблонны: однотипные CRUD-проверки, вызовы API с разными параметрами, поднятие тестовых данных. AI-генератор берёт на себя рутину, освобождая команду для анализа сложных кейсов.

Неполное покрытие — частая боль микросервисных архитектур. Вручную легко пропустить цепочку "заказ → оплата → уведомление → склад". AI перебирает все комбинации контрактов и генерирует тесты для каждого интеграционного пути, включая граничные случаи. Покрытие вырастает в 4–6 раз по сравнению с ручным подходом.

Хрупкие тесты — fixtures, завязанные на боевые данные, ломаются при каждом изменении схемы. Мы генерируем изолированные fixtures через factory_boy с транзакциями и rollback, что даёт стабильность и повторяемость.

Как AI генерирует интеграционные тесты?

Используем связку LangChain + ChatOpenAI (GPT-4o с temperature 0.1 для детерминированности). Генерация проходит в несколько проходов: сначала анализ схемы и контрактов, потом создание кода, затем валидация синтаксиса и запуск на mock-окружении. Финальный код тестов соответствует стандартам pytest и готов к включению в репозиторий.

Кейс из нашей практики: e-commerce платформа, 15 микросервисов. Проблема: интеграционное тестирование делалось вручную перед каждым релизом (2 QA × 3 дня). Мы сгенерировали 180 интеграционных тестов для критических путей: заказ → оплата → уведомление → обновление склада. Из 180 тестов при первом запуске упало 23 — нашли реальные баги: ошибки в обработке currency conversion, дублирование событий в очереди, неверный статус при partial payment. После исправления coverage по интеграциям вырос с 15% до 85%, а время регрессии сократилось с 3 дней до 4 часов. Клиент сократил затраты на тестирование на 40%.

from langchain_openai import ChatOpenAI
import json
from pathlib import Path


class IntegrationTestGenerator:
    INTEGRATION_PROMPT = """Создай интеграционный тест для взаимодействия компонентов.
Компоненты и их контракты: {components}
Схема базы данных: {db_schema}
Интеграционный сценарий: {scenario}
Требования:
- pytest + SQLAlchemy для работы с БД (используй транзакции с rollback)
- httpx.AsyncClient для HTTP-вызовов
- pytest-asyncio для async тестов
- Тестовая база данных через pytest fixture (не боевая!)
- Проверяй не только HTTP-статус, но и состояние в БД после операции
- Используй factory_boy или pytest-factoryboy для тестовых данных
Верни полный код теста с fixtures."""

    def __init__(self):
        self.llm = ChatOpenAI(model="gpt-4o", temperature=0.1)

    def generate_db_integration_tests(
        self,
        model_code: str,
        repository_code: str,
        db_schema: str
    ) -> str:
        prompt = f"""Создай pytest интеграционные тесты для Repository и Model.
SQLAlchemy Model:
```python
{model_code}
```

Repository:
```python
{repository_code}
```

Схема БД:
```sql
{db_schema}
```

Требования:
- Используй pytest fixtures для setup/teardown
- Тестовая БД должна быть изолированной (например, SQLite in-memory или отдельная тестовая БД)
- Проверяй CRUD операции и связи между моделями
- Используй асинхронные тесты с pytest-asyncio
- Верни полный код теста с импортами и fixtures."""
        return self.llm.invoke(prompt).content
"}

Repository:

{repository_code} 

DDL схема:

{db_schema} 

Создай тесты:

1. CRUD операции (create, read, update, delete)
2. Фильтрация и сортировка
3. Транзакции (успешный commit, rollback при ошибке)
4. Уникальные ограничения (попытка вставить дубликат)
5. Foreign key constraints
6. Пагинация (если есть в Repository)

Fixtures:

• db_session: SQLAlchemy session с rollback после каждого теста
• test_data factories через factory_boy

Верни код тестов.""" return self.llm.invoke(prompt).content

def generate_service_integration_tests(
    self,
    service_a_spec: dict,
    service_b_spec: dict,
    interaction_patterns: list[str],
) -> str:
    """Генерирует тесты для взаимодействия между сервисами"""
    prompt = f"""Создай pytest интеграционные тесты для взаимодействия сервисов.
"}

Сервис A (клиент):

• Base URL: {service_a_spec['base_url']}
• Вызывает: {json.dumps(service_a_spec['calls'], ensure_ascii=False)}

Сервис B (сервер):

• Endpoints: {json.dumps(service_b_spec.get('endpoints', []), ensure_ascii=False)}

Паттерны взаимодействия: {chr(10).join(f"- {p}" for p in interaction_patterns)} Используй:

• pytest + respx для мокирования HTTP-ответов сервиса B
• Тесты на retry-логику (что происходит при таймауте сервиса B)
• Тесты на circuit breaker (если есть)
• Тесты на корректную обработку 4xx/5xx от сервиса B

Верни код тестов с fixtures.""" return self.llm.invoke(prompt).content

### Генерация fixtures и тестовых данных
```python
class TestDataGenerator:
    FACTORY_PROMPT = """Создай factory_boy factories для моделей.
SQLAlchemy модели: {models_code}
Создай:
1. Factory для каждой модели
2. SubFactory для связанных объектов
3. Trait для специфических состояний (напр. expired_user, admin_user)
4. Batch-создание через factory.build_batch
Верни код factories."""

    async def generate_factories(self, models_code: str) -> str:
        result = await self.llm.ainvoke(
            self.FACTORY_PROMPT.format(models_code=models_code)
        )
        return result.content

    async def generate_fixtures_from_schema(self, schema: dict) -> str:
        """Создаёт pytest fixtures из схемы БД"""
        prompt = f"""Создай pytest fixtures для тестовой базы данных.
Схема: {json.dumps(schema, ensure_ascii=False, indent=2)}
Fixtures нужны:
- engine: SQLAlchemy engine к test DB (PostgreSQL через pytest-postgresql)
- db_session: сессия с rollback после каждого теста
- Fixtures для каждой таблицы: минимальный валидный объект
- seeded_db: база с начальными данными для e2e тестов
Используй scope='function' для db_session, scope='session' для engine.
Верни Python код."""
        return (await self.llm.ainvoke(prompt)).content
```

Для очередей сообщений (RabbitMQ/Kafka) мы используем testcontainers-python, генерируя тесты с проверкой отправки, обработки и dead letter queue. Подробные примеры — в индивидуальной консультации.

Почему AI-генерация надёжнее ручного написания?

AI-тесты в 5 раз быстрее создаются и обеспечивают покрытие на уровне 80–90% против 10–20% при ручной работе. Они проверяют все интеграционные пути, включая граничные случаи и обработку ошибок, которые QA часто пропускают. Кроме того, сгенерированные тесты не зависят от боевых данных и стабильны при изменениях схемы.

Что входит в работу?

Сравнение ручного и AI-подхода

Гарантия качества сгенерированных тестов

Каждый сгенерированный тест проходит двухэтапную проверку: синтаксический анализ с помощью pytest --co и запуск в изолированном staging-окружении с реальными зависимостями. Мы фиксируем coverage на уровне модуля и правим все ложные срабатывания. Опыт показывает, что 90% тестов проходят с первого раза. Оставшиеся 10% — это граничные случаи, которые мы дорабатываем вручную. В результате клиенты получают стабильный набор тестов, готовый к интеграции в pytest пайплайн.

Сроки ориентировочно

• Базовый пакет (БД + сервисы): от 3 до 5 недель.
• Полный пакет (БД + сервисы + очереди + testcontainers): от 5 до 7 недель.

Стоимость рассчитывается индивидуально после аудита проекта. Свяжитесь с нами для оценки вашего проекта. Заполните форму на сайте, и мы оценим объём работ за 1 рабочий день.

AI-генерация не пропускает ни один endpoint, не забывает про dead letter queue и не ошибается в типизированных asserts. Покрытие интеграционными тестами вырастает с 10–20% до 80–90% за один цикл генерации. Наши инженеры гарантируют, что сгенерированные тесты проходят код-ревью и готовы к запуску в CI.

Закажите внедрение AI-генерации тестов сейчас и получите консультацию инженера. Свяжитесь с нами — мы поможем ускорить регрессионное тестирование и снизить затраты.