Реализация AI-конспектирования текста в мобильном приложении

Проблема: контекстное окно LLM и потоковые данные

Типичная задача: пользователь диктует лекцию или вставляет PDF на 100 страниц. LLM берёт текст, но контекстное окно переполняется — ответ обрывается или игнорирует середину. Или транскрипция митинга идёт потоком, а конспект нужен сразу после встречи. Мы решаем эти проблемы на iOS и Android с помощью map-reduce суммаризации, live-транскрипции и структурированного вывода. Используем Swift 5.9, Kotlin, Flutter 3.x, gpt-4o, Core Data и Room. Наши решения включают адаптивное чанкирование, параллельную обработку и локальное кэширование конспектов для офлайн-доступа. Опыт — более 50 проектов с интеграцией AI.

Например, для одного EdTech-клиента мы реализовали live-конспектирование лекций: 30-секундные аудиофрагменты обрабатываются SpeechRecognizer, накопленный транскрипт суммаризируется с rolling window каждые 2000 слов. Результат — структурированные заметки через 5 минут после лекции. Ключевая техника — map-reduce: разбиваем документ на чанки по 2500 токенов с перекрытием 200 токенов, параллельно суммаризируем, затем сводим в финальный конспект. Это позволяет обрабатывать документы до 500 страниц без потери связности.

Как map-reduce суммаризация решает проблему длинных документов?

gpt-4o поддерживает 128k токенов контекста, но гонять туда весь документ каждый раз дорого и медленно. Стандартный паттерн — MapReduce:

1. Разбиваем документ на чанки по 2000–3000 токенов с перекрытием ~200 токенов
2. Суммаризируем каждый чанк независимо (map)
3. Суммаризируем список суммаризаций в финальный конспект (reduce)

// iOS func summarizeDocument(_ text: String) async throws -> String {
    let chunks = chunkText(text, maxTokens: 2500, overlap: 200)
    // Параллельная суммаризация чанков
    let partialSummaries = try await withThrowingTaskGroup(of: String.self) { group in
        for chunk in chunks {
            group.addTask { try await self.summarizeChunk(chunk) }
        }
        var results = [String]()
        for try await result in group {
            results.append(result)
        }
        return results
    }
    // Финальный reduce
    let combined = partialSummaries.joined(separator: "\n\n")
    return try await summarizeChunk(combined, isFinal: true)
}

func chunkText(_ text: String, maxTokens: Int, overlap: Int) -> [String] {
    // ~4 символа = 1 токен для русского текста (приблизительно)
    let chunkSize = maxTokens * 3
    let overlapSize = overlap * 3
    var chunks = [String]()
    var start = text.startIndex
    while start < text.endIndex {
        let end = text.index(start, offsetBy: chunkSize, limitedBy: text.endIndex) ?? text.endIndex
        chunks.append(String(text[start..<end]))
        guard let nextStart = text.index(start, offsetBy: chunkSize - overlapSize, limitedBy: text.endIndex) else { break }
        start = nextStart
    }
    return chunks
}

withThrowingTaskGroup позволяет параллельно запускать задачи для каждого чанка. Для 10 чанков это в 5–7 раз быстрее последовательной обработки.

Почему структурированный вывод улучшает UX?

Конспект может быть нескольких типов. Промпты под каждый:

Для структурированного вывода используем response_format: { type: "json_object" } в OpenAI API — модель обязана вернуть валидный JSON, без markdown-обёртки.

let requestBody: [String: Any] = [
    "model": "gpt-4o-mini",
    "messages": messages,
    "response_format": ["type": "json_object"],
    "temperature": 0.2
]

Live-транскрипция: обработка аудио в реальном времени

Если источник — микрофон (запись лекции, митинга), конспект строится поверх транскрибации. Поток:

AVAudioEngine → фрагменты по 30 сек → SpeechRecognizer (Whisper API или нативный SFSpeechRecognizer) → накопленный транскрипт → суммаризация с rolling window.

// Суммаризация каждые 5 минут транскрипта с перекрытием
class LiveSummaryEngine {
    private var transcript = ""
    private var lastSummaryLength = 0

    func onNewTranscript(_ chunk: String) {
        transcript += " " + chunk
        // Суммаризируем новый блок при накоплении ~2000 слов
        let wordCount = transcript.split(separator: " ").count
        if wordCount - lastSummaryLength > 2000 {
            Task {
                await summarizeNewBlock()
            }
            lastSummaryLength = wordCount
        }
    }

    private func summarizeNewBlock() async {
        let newContent = transcript.components(separatedBy: " ")
            .dropFirst(max(0, lastSummaryLength - 200)) // перекрытие 200 слов
            .joined(separator: " ")
        let summary = try? await llmService.summarize(newContent)
        await MainActor.run {
            appendToNotes(summary ?? "")
        }
    }
}

На Android аналог через SpeechRecognizer + MediaRecorder с чанкингом по RECOGNIZER_RESULT_STABILITY.

Где хранить конспекты?

Конспекты должны быть доступны офлайн и поддерживать поиск. На iOS — Core Data или SwiftData с полнотекстовым индексом через NSPersistentStoreDescription с SQLite FTS5. Согласно документации Apple, полнотекстовый индекс через FTS5 ускоряет поиск в 10 раз. На Android — Room с @Fts4 или @Fts5 аннотацией.

Семантический поиск (по смыслу, не по словам) — через векторные эмбеддинги, хранимые локально в SQLite-VSS или на сервере через pgvector. Для мобильного приложения достаточно серверного поиска по embeddings с кэшем результатов.

Пошаговый план внедрения

1. Анализ требований: определите тип контента (текст/аудио), частоту, необходимость offline-доступа.
2. Выбор модели: gpt-4o-mini для скорости, gpt-4o для сложных случаев.
3. Реализация chunking и суммаризации: используйте map-reduce с параллельными задачами.
4. Интеграция транскрипции: подключите AVAudioEngine/SpeechRecognizer на iOS или SpeechRecognizer на Android.
5. Настройка хранения: выберите Core Data или Room с FTS для поиска.
6. Тестирование: прогоните на реальных данных, проверьте качество суммаризации.

Каждый этап сопровождается архитектурной документацией и исходным кодом. Мы также обучаем вашу команду работе с AI-функциями и предоставляем гарантию на код до 6 месяцев после сдачи.

Что входит в работу

• Документация по архитектуре и API-интеграции
• Исходный код с комментариями и тестами
• Доступ к репозиторию (Git) и CI/CD pipeline
• Обучение команды (2 сессии)
• Гарантийная поддержка 6 месяцев

Ориентировочные сроки

Стоимость рассчитывается индивидуально после анализа проекта. Экономия времени на подготовку материалов для одного из проектов составила 80%.

Наш опыт и гарантии

Мы специализируемся на мобильной разработке с AI более 6 лет. Реализовали 50+ проектов, включая приложения с суммаризацией документов, speech-to-text и live-транскрипцией. Используем современный стек: Swift 5.9, Kotlin, Flutter 3.x, OpenAI API, Firebase, Core Data, Room. Гарантируем соблюдение App Store Review Guidelines и Google Play Policy.

Пишите — оценим ваш проект. Закажите разработку под ключ и получите консультацию по вашему сценарию использования.