Інтеграція LangChain для AI-пайплайнів у мобільному додатку

Інтеграція LangChain для AI-пайплайнів у мобільному додатку

Ваш мобільний додаток — доставка їжі — щоденно обробляє 5000 запитів. Кожен вимагає пошуку по 50 000 сторінок меню, акцій та ресторанів. Без контексту LLM відповідає шаблонно, з повним завантаженням документів трафік зашкалює. Вихід — RAG-пайплайн на базі LangChain. Backend сам знаходить релевантні фрагменти і передає їх у промпт. Клієнт відправляє лише короткий запит, сервер повертає відповідь на основі актуальних даних. Замовте консультацію — ми проаналізуємо ваше завдання та запропонуємо оптимальну архітектуру.

Ми будуємо такі пайплайни для iOS та Android понад 5 років. Під навантаженням до 10 000 запитів на день latency не перевищує 2 секунд для 95% викликів. LangChain — оркестратор, який зв'язує ланцюжки LLM, інструменти, пам'ять та векторні сховища. Згідно з офіційною документацією LangChain, пайплайни з RAG скорочують вартість токенів на 40% за рахунок зменшення вхідного контексту.

Як RAG-пайплайн знижує навантаження на мобільний пристрій?

RAG (Retrieval-Augmented Generation) — техніка, при якій сервер шукає релевантні документи у векторному сховищі та додає їх у контекст LLM. Без RAG клієнту довелося б передавати гігабайти документів на сервер — це дорого і повільно. З RAG сервер сам знаходить 4–6 фрагментів, економлячи трафік до 80% і прискорюючи відповідь до 1,5 секунди. Наприклад, асистент по внутрішній документації: PDF та Notion індексуються в pgvector, користувач задає питання, backend повертає відповідь на основі контексту. Кастомна реалізація RAG займає 2–3 місяці і вимагає постійної підтримки — LangChain скорочує цей термін до 3–5 днів.

Чому агенти вимагають явного підтвердження?

Агенти LangChain самостійно викликають інструменти: перевірка балансу, створення платежу, пошук магазинів. Деструктивні операції — списання грошей, видалення даних — повинні підтверджуватися користувачем на мобільному UI. Наша реалізація додає крок explicit confirmation: агент формує запит, додаток показує діалог, і тільки після схвалення виконується дія. Це запобігає випадковим списанням і відповідає політикам App Store та Google Play. Без такого підтвердження агент може виконати небажану дію, що призведе до негативного користувацького досвіду та юридичних ризиків.

Як LangChain вирішує проблему довгострокової пам'яті?

Пам'ять між сесіями — часта потреба. LangChain пропонує кілька типів, кожен під своє завдання:

Персистентність історії — через PostgresChatMessageHistory або RedisChatMessageHistory. Session ID передається з мобільного клієнта, backend підвантажує потрібну історію.

RAG-пайплайн: розбір на компонентах

Сценарій: мобільний асистент відповідає на питання по внутрішній документації компанії (PDF, Notion-сторінки).

# Backend — FastAPI + LangChain from langchain_openai import ChatOpenAI, OpenAIEmbeddings from langchain_community.vectorstores import PGVector from langchain.chains import create_retrieval_chain from langchain.chains.combine_documents import create_stuff_documents_chain from langchain_core.prompts import ChatPromptTemplate llm = ChatOpenAI(model="gpt-4o-mini", temperature=0.3) embeddings = OpenAIEmbeddings(model="text-embedding-3-small") # pgvector — хранилище документов vectorstore = PGVector( embeddings=embeddings, collection_name="company_docs", connection=DATABASE_URL, ) retriever = vectorstore.as_retriever(search_kwargs={"k": 4}) # Промпт с контекстом из документов prompt = ChatPromptTemplate.from_messages([ ("system", "Ты ассистент компании. Отвечай только на основе предоставленного контекста.\n\nКонтекст:\n{context}"), ("human", "{input}") ]) chain = create_retrieval_chain(retriever, create_stuff_documents_chain(llm, prompt)) @app.post("/api/chat") async def chat(request: ChatRequest): result = await chain.ainvoke({"input": request.message}) return {"answer": result["answer"]} 

Мобільний додаток робить звичайний POST-запит. Вся складність RAG прихована на сервері.

Агенти з інструментами

LangChain-агент з інструментами дозволяє асистенту виконувати реальні дії: перевірити баланс рахунку, створити задачу, знайти найближчий магазин через геолокацію API.

from langchain.agents import AgentExecutor, create_openai_functions_agent from langchain.tools import tool @tool def get_account_balance(account_id: str) -> str: """Возвращает текущий баланс счёта пользователя.""" balance = database.get_balance(account_id) return f"Баланс счёта {account_id}: {balance} USD" @tool def create_payment(amount: float, recipient: str) -> str: """Создаёт платёж. Требует подтверждения.""" payment_id = payments.create(amount, recipient, status="pending") return f"Платёж {payment_id} создан, ожидает подтверждения." agent = create_openai_functions_agent(llm, [get_account_balance, create_payment], prompt) executor = AgentExecutor(agent=agent, tools=[get_account_balance, create_payment], verbose=True) 

Критично: деструктивні операції (платежі, видалення) повинні проходити через explicit confirmation на мобільному UI, а не автоматично виконуватися агентом.

Моніторинг через LangSmith

LangChain нативно інтегрується з LangSmith — платформою для трейсингу ланцюжків. Кожен виклик chain видно по кроках: скільки токенів витратив retriever, скільки — generation, де виникли затримки. Вмикається через змінні оточення, без змін коду.

Що входить в інтеграцію LangChain?

• Аналіз вимог до пайплайну та пропозиція архітектури.
• Вибір компонентів: chain, agent, RAG, тип пам'яті.
• Розробка backend API на FastAPI або аналогу.
• Інтеграція векторного сховища: pgvector, Pinecone або Weaviate.
• Налаштування моніторингу через LangSmith.
• Навантажувальне тестування: гарантуємо latency < 2 секунд для 95% запитів.
• Документація API та передача доступів.
• Безкоштовна підтримка 2 тижні після впровадження.

Орієнтири за термінами

Простий RAG-пайплайн з pgvector — 3–5 днів. Багатокроковий агент з кастомними інструментами — 1–2 тижні. Повна система з пам'яттю, моніторингом та fallback — 2–4 тижні.

Отримайте консультацію — ми оцінимо проект та запропонуємо оптимальне рішення під ключ. Розрахуємо вартість і терміни, підберемо архітектуру під ваше завдання.