Реализация AI-конспектирования текста в мобильном приложении

Проблема: контекстное окно LLM и потоковые данные

Типичная задача: пользователь диктует лекцию или вставляет PDF на 100 страниц. LLM берёт текст, но контекстное окно переполняется — ответ обрывается или игнорирует середину. Или транскрипция митинга идёт потоком, а конспект нужен сразу после встречи. Мы решаем эти проблемы на iOS и Android с помощью map-reduce суммаризации, live-транскрипции и структурированного вывода. Используем Swift 5.9, Kotlin, Flutter 3.x, gpt-4o, Core Data и Room. Наши решения включают адаптивное чанкирование, параллельную обработку и локальное кэширование конспектов для офлайн-доступа. Опыт — более 50 проектов с интеграцией AI.

Например, для одного EdTech-клиента мы реализовали live-конспектирование лекций: 30-секундные аудиофрагменты обрабатываются SpeechRecognizer, накопленный транскрипт суммаризируется с rolling window каждые 2000 слов. Результат — структурированные заметки через 5 минут после лекции. Ключевая техника — map-reduce: разбиваем документ на чанки по 2500 токенов с перекрытием 200 токенов, параллельно суммаризируем, затем сводим в финальный конспект. Это позволяет обрабатывать документы до 500 страниц без потери связности.

Как map-reduce суммаризация решает проблему длинных документов?

gpt-4o поддерживает 128k токенов контекста, но гонять туда весь документ каждый раз дорого и медленно. Стандартный паттерн — MapReduce:

1. Разбиваем документ на чанки по 2000–3000 токенов с перекрытием ~200 токенов
2. Суммаризируем каждый чанк независимо (map)
3. Суммаризируем список суммаризаций в финальный конспект (reduce)

// iOS func summarizeDocument(_ text: String) async throws -> String { let chunks = chunkText(text, maxTokens: 2500, overlap: 200) // Параллельная суммаризация чанков let partialSummaries = try await withThrowingTaskGroup(of: String.self) { group in for chunk in chunks { group.addTask { try await self.summarizeChunk(chunk) } } var results = [String]() for try await result in group { results.append(result) } return results } // Финальный reduce let combined = partialSummaries.joined(separator: "\n\n") return try await summarizeChunk(combined, isFinal: true) } func chunkText(_ text: String, maxTokens: Int, overlap: Int) -> [String] { // ~4 символа = 1 токен для русского текста (приблизительно) let chunkSize = maxTokens * 3 let overlapSize = overlap * 3 var chunks = [String]() var start = text.startIndex while start < text.endIndex { let end = text.index(start, offsetBy: chunkSize, limitedBy: text.endIndex) ?? text.endIndex chunks.append(String(text[start..<end])) guard let nextStart = text.index(start, offsetBy: chunkSize - overlapSize, limitedBy: text.endIndex) else { break } start = nextStart } return chunks } 

withThrowingTaskGroup позволяет параллельно запускать задачи для каждого чанка. Для 10 чанков это в 5–7 раз быстрее последовательной обработки.

Почему структурированный вывод улучшает UX?

Конспект может быть нескольких типов. Промпты под каждый:

Для структурированного вывода используем response_format: { type: "json_object" } в OpenAI API — модель обязана вернуть валидный JSON, без markdown-обёртки.

let requestBody: [String: Any] = [ "model": "gpt-4o-mini", "messages": messages, "response_format": ["type": "json_object"], "temperature": 0.2 ] 

Live-транскрипция: обработка аудио в реальном времени

Если источник — микрофон (запись лекции, митинга), конспект строится поверх транскрибации. Поток:

AVAudioEngine → фрагменты по 30 сек → SpeechRecognizer (Whisper API или нативный SFSpeechRecognizer) → накопленный транскрипт → суммаризация с rolling window.

// Суммаризация каждые 5 минут транскрипта с перекрытием class LiveSummaryEngine { private var transcript = "" private var lastSummaryLength = 0 func onNewTranscript(_ chunk: String) { transcript += " " + chunk // Суммаризируем новый блок при накоплении ~2000 слов let wordCount = transcript.split(separator: " ").count if wordCount - lastSummaryLength > 2000 { Task { await summarizeNewBlock() } lastSummaryLength = wordCount } } private func summarizeNewBlock() async { let newContent = transcript.components(separatedBy: " ") .dropFirst(max(0, lastSummaryLength - 200)) // перекрытие 200 слов .joined(separator: " ") let summary = try? await llmService.summarize(newContent) await MainActor.run { appendToNotes(summary ?? "") } } } 

На Android аналог через SpeechRecognizer + MediaRecorder с чанкингом по RECOGNIZER_RESULT_STABILITY.

Где хранить конспекты?

Конспекты должны быть доступны офлайн и поддерживать поиск. На iOS — Core Data или SwiftData с полнотекстовым индексом через NSPersistentStoreDescription с SQLite FTS5. Согласно документации Apple, полнотекстовый индекс через FTS5 ускоряет поиск в 10 раз. На Android — Room с @Fts4 или @Fts5 аннотацией.

Семантический поиск (по смыслу, не по словам) — через векторные эмбеддинги, хранимые локально в SQLite-VSS или на сервере через pgvector. Для мобильного приложения достаточно серверного поиска по embeddings с кэшем результатов.

Пошаговый план внедрения

1. Анализ требований: определите тип контента (текст/аудио), частоту, необходимость offline-доступа.
2. Выбор модели: gpt-4o-mini для скорости, gpt-4o для сложных случаев.
3. Реализация chunking и суммаризации: используйте map-reduce с параллельными задачами.
4. Интеграция транскрипции: подключите AVAudioEngine/SpeechRecognizer на iOS или SpeechRecognizer на Android.
5. Настройка хранения: выберите Core Data или Room с FTS для поиска.
6. Тестирование: прогоните на реальных данных, проверьте качество суммаризации.

Каждый этап сопровождается архитектурной документацией и исходным кодом. Мы также обучаем вашу команду работе с AI-функциями и предоставляем гарантию на код до 6 месяцев после сдачи.

Что входит в работу

• Документация по архитектуре и API-интеграции
• Исходный код с комментариями и тестами
• Доступ к репозиторию (Git) и CI/CD pipeline
• Обучение команды (2 сессии)
• Гарантийная поддержка 6 месяцев

Ориентировочные сроки

Стоимость рассчитывается индивидуально после анализа проекта. Экономия времени на подготовку материалов для одного из проектов составила 80%.

Наш опыт и гарантии

Мы специализируемся на мобильной разработке с AI более 6 лет. Реализовали 50+ проектов, включая приложения с суммаризацией документов, speech-to-text и live-транскрипцией. Используем современный стек: Swift 5.9, Kotlin, Flutter 3.x, OpenAI API, Firebase, Core Data, Room. Гарантируем соблюдение App Store Review Guidelines и Google Play Policy.

Пишите — оценим ваш проект. Закажите разработку под ключ и получите консультацию по вашему сценарию использования.