У 60% CRM-записів не вистачає ключових полів: посада, розмір компанії, технології. Менеджери витрачають години на ручний пошук у LinkedIn і Google — а дані застарівають через місяць. Ми будуємо AI-пайплайни, які за секунди доповнюють профіль клієнта з десятка відкритих джерел: LinkedIn, Crunchbase, GitHub, новин, реєстрів. Результат: контакт із 20+ полями замість 3.
У типовій CRM на 50 000 контактів ручний ввід забирає до 20 людино-годин на тиждень. Автоматизація скорочує цей час на 80% і одночасно покращує якість прогнозів воронки продажів на 25%. Ми вже реалізували такі рішення для компаній із CRM від 10 000 до 2 000 000 записів — і в кожному випадку окупність наставала в перші 3 місяці. Економія часу дозволяє команді зосередитися на кваліфікації лідів, а не на рутинному пошуку.
Чому AI швидший і точніший за ручний ввід?
AI-пайплайн обробляє запити паралельно: за 2-5 секунд він опитує LinkedIn через ProxyCurl, Crunchbase, Clearbit, GitHub і реєстри. Ручний пошук займає 3-5 хвилин на контакт і дає 2-3 поля. AI видає 20+ полів з confidence score вище 0.85. Завдяки лід-скорингу на основі AI, відділ продажів фокусується на найперспективніших контактах.
Проблеми, які ми вирішуємо
Неповні профілі, застарілі дані, розрізнені джерела. Ручний ввід обходиться в середньому дорого як у плані часу, так і ресурсів. Наш пайплайн через ProxyCurl знаходить LinkedIn-профіль за email, витягує досвід, навички та сертифікати. Дані не старші 30 днів — автоматичне оновлення. Reconciliation engine вирішує конфлікти за пріоритетами (реєстри → Clearbit → веб).
Як влаштований пайплайн?
Використовуємо асинхронний asyncio та httpx для паралельних запитів. Це дозволяє обробляти запити в 5 разів швидше послідовного обходу. Пайплайн складається з незалежних енрічерів — одне джерело не блокує інші. Пайплайн працює в 5 кроків:
- Отримуємо контакт із CRM (email, компанія).
- Паралельно опитуємо всі джерела.
- Об'єднуємо дані за пріоритетами (реєстри > Clearbit > LinkedIn > веб).
- Валідуємо та обчислюємо confidence score.
- Записуємо результат назад у CRM.
LinkedIn збагачення через ProxyCurl
import httpx class LinkedInEnricher: def __init__(self, api_key: str): self.api_key = api_key self.base_url = "https://nubela.co/proxycurl/api" async def enrich(self, email: str, company: str) -> dict: async with httpx.AsyncClient() as client: # Пошук профілю за email response = await client.get( f"{self.base_url}/linkedin/profile/resolve/email", params={"email": email}, headers={"Authorization": f"Bearer {self.api_key}"} ) if response.status_code != 200: return {} profile_url = response.json().get('linkedin_profile_url') if not profile_url: return {} # Отримання повного профілю profile_response = await client.get( f"{self.base_url}/v2/linkedin", params={"url": profile_url, "skills": "include"}, headers={"Authorization": f"Bearer {self.api_key}"} ) return profile_response.json() AI-вилучення технологічного стеку
class TechStackExtractor: def __init__(self): self.llm = Anthropic() async def extract_from_website(self, domain: str) -> list[str]: """Вилучення tech stack з сайту компанії через AI""" # Збір контенту з сайту job_postings = await self._scrape_job_postings(domain) about_page = await self._scrape_page(f"https://{domain}/about") combined_text = ' '.join([about_page] + job_postings[:5]) response = self.llm.messages.create( model="claude-3-5-sonnet", max_tokens=300, messages=[{ "role": "user", "content": f"""Extract technology stack from this company information. Return JSON array of technology names (programming languages, frameworks, cloud platforms, databases). Only include clearly mentioned technologies. Text: {combined_text[:3000]}""" }] ) return json.loads(response.content[0].text) Як ми забезпечуємо точність збагачених даних?
Різні джерела дають суперечливі дані: Clearbit показує 50 співробітників, а LinkedIn — 120. Наша логіка пріоритету вирішує конфлікти. Ми використовуємо confidence score (не нижче 0.85) і крос-перевірку полів. Кожне джерело має пріоритет: офіційні реєстри > Clearbit > LinkedIn > веб-скрапінг. У результаті accuracy для базових полів (посада, індустрія, розмір компанії) досягає 85-90%.
Конфлікти даних вирішуються пріоритетною реконсиліацією: офіційні реєстри > Clearbit > LinkedIn > веб-скрапінг. Кожне поле проходить валідацію та отримує confidence score. Якщо score нижче 0.85, дані відкидаються.
def reconcile_company_info(sources: list[dict]) -> dict: """Об'єднання даних про компанію з кількох джерел""" reconciled = {} # Пріоритет джерел: офіційні реєстри > Clearbit > Web scraping priority_order = ['company_registry', 'clearbit', 'linkedin', 'web_scraping'] for field in ['employee_count', 'founded_year', 'industry', 'headquarters']: for source_name in priority_order: source = next((s for s in sources if s.get('source') == source_name), None) if source and field in source: reconciled[field] = source[field] break return reconciled Типовий результат: збагачення 80-90% CRM контактів за 2-5 секунд на запис.
Процес роботи та терміни
Проект включає такі етапи:
- Аудит поточної CRM: виявляємо пропущені поля та дублікати.
- Проектування пайплайну: вибір джерел, налаштування API-ключів, узгодження формату даних.
- Реалізація з нуля або інтеграція з існуючою інфраструктурою (Python, FastAPI, asyncio).
- Тестування на 1000+ записах: перевірка accuracy та latency.
- Деплой на ваші сервери або в хмару (AWS/GCP).
- Документація з API та інтеграції.
- Навчання команди роботі з дашбордом.
- Підтримка 3 місяці з гарантією якості.
| Етап | Тривалість | Результат |
|---|---|---|
| Аналіз та узгодження | 3-5 днів | ТЗ із джерелами та метриками |
| Прототип пайплайну | 5-10 днів | MVP з 2 джерелами |
| Повна інтеграція | 10-20 днів | Пайплайн з 5+ джерелами |
| Тестування та доопрацювання | 5-7 днів | Звіт по accuracy |
| Деплой та документація | 3-5 днів | Робочий endpoint + Confluence |
Підсумковий термін — від 4 до 8 тижнів залежно від кількості джерел та складності реконсиліації. Вартість розраховується індивідуально після аудиту.
Що входить в роботу
- Архітектурна документація пайплайну.
- Код пайплайну з інтеграцією 5+ джерел.
- Готові конектори для HubSpot, Salesforce, Bitrix24, AmoCRM.
- REST API для пакетного збагачення.
- Дашборд моніторингу (latency, accuracy, покриття).
- Навчання команди (2 сесії по 2 години).
- Підтримка 3 місяці з SLA за часом відгуку.
Типові помилки при збагаченні та як ми їх уникаємо
- Залежність від одного джерела — використовуємо fallback-ланцюжок та timeout.
- Застарілі API-токени — моніторимо квоти та проксуємо запити через ротацію ключів.
- Некоректна дедуплікація — застосовуємо fuzzy matching за назвами компаній та email.
- Витік даних — всі дані передаються по TLS, а токени зберігаються в Vault.
Висновок
Працюємо понад 5 років — понад 50 проєктів з data enrichment для фінтеху, ритейлу та SaaS. Використовуємо стеки PyTorch, LangChain, PostgreSQL, Redis. Підтримуємо версії Python 3.11+. На практиці наше рішення економить клієнтам до 80% часу за рахунок скорочення ручного вводу. Замовте аудит вашої CRM — ми проаналізуємо поточний стан і запропонуємо архітектуру під ключ. Отримайте консультацію інженера з впровадження.