Налаштування Varnish Cache для прискорення веб-застосунку

Налаштування Varnish Cache для прискорення веб-застосунку

Varnish — це HTTP-акселератор, який кешує відповіді backend-сервера в пам'яті. Обслуговує кешовані запити значно швидше, ніж застосунок — сотні тисяч запитів у секунду на одному сервері.

Встановлення та базова конфігурація

# Debian/Ubuntu
apt install varnish

# /etc/varnish/default.vcl

vcl 4.1;

import std;

backend default {
    .host = "127.0.0.1";
    .port = "8080";
    .first_byte_timeout = 60s;
    .connect_timeout = 5s;
    .between_bytes_timeout = 10s;
}

# Кілька backend з балансуванням навантаження
import directors;

backend app1 { .host = "10.0.0.1"; .port = "8080"; }
backend app2 { .host = "10.0.0.2"; .port = "8080"; }

sub vcl_init {
    new cluster = directors.round_robin();
    cluster.add_backend(app1);
    cluster.add_backend(app2);
}

sub vcl_recv {
    set req.backend_hint = cluster.backend();

    # Нормалізація URL (видалити trailing slash крім кореня)
    if (req.url ~ "^(/[^?]+)/$") {
        set req.url = regsub(req.url, "/$", "");
    }

    # Не кешувати адмін-панель
    if (req.url ~ "^/admin") {
        return (pass);
    }

    # Не кешувати авторизованих користувачів (якщо контент персоналізований)
    if (req.http.Authorization || req.http.Cookie ~ "session_id|auth_token") {
        return (pass);
    }

    # Видалити маркетингові параметри з ключа кешу
    set req.url = regsuball(req.url, "(\?|&)(utm_source|utm_medium|utm_campaign|utm_content|fbclid|gclid)=[^&]+", "");
    set req.url = regsub(req.url, "\?&", "?");
    set req.url = regsub(req.url, "\?$", "");

    # Нормалізувати Accept-Encoding
    if (req.http.Accept-Encoding) {
        if (req.url ~ "\.(gif|jpg|jpeg|png|webp|avif|ico|zip|gz|mp4)$") {
            unset req.http.Accept-Encoding;
        } elsif (req.http.Accept-Encoding ~ "br") {
            set req.http.Accept-Encoding = "br";
        } elsif (req.http.Accept-Encoding ~ "gzip") {
            set req.http.Accept-Encoding = "gzip";
        } else {
            unset req.http.Accept-Encoding;
        }
    }
}

sub vcl_backend_response {
    # Кешувати 404 ненадовго
    if (beresp.status == 404) {
        set beresp.ttl = 30s;
        return (deliver);
    }

    # Кешувати тільки успішні відповіді
    if (beresp.status != 200 && beresp.status != 301 && beresp.status != 302) {
        set beresp.uncacheable = true;
        return (deliver);
    }

    # Якщо backend не відправив Cache-Control — встановити за замовчуванням
    if (!beresp.http.Cache-Control) {
        if (bereq.url ~ "\.(css|js|woff2|png|jpg|svg)$") {
            set beresp.ttl = 30d;
        } else {
            set beresp.ttl = 5m;
        }
    }

    # Grace period: повернути застарілий кеш при збої backend
    set beresp.grace = 6h;

    # Компресія
    if (beresp.http.content-type ~ "text/(html|css|javascript|xml|plain)" ||
        beresp.http.content-type ~ "application/(json|javascript)") {
        set beresp.do_gzip = true;
    }

    # Не зберігати Set-Cookie у кеші
    unset beresp.http.Set-Cookie;
}

sub vcl_deliver {
    # Debug заголовок (відключити в production)
    if (obj.hits > 0) {
        set resp.http.X-Cache = "HIT " + obj.hits;
    } else {
        set resp.http.X-Cache = "MISS";
    }

    # Приховати внутрішні заголовки від клієнта
    unset resp.http.X-Varnish;
    unset resp.http.Via;
    unset resp.http.X-Powered-By;
}

sub vcl_hit {
    if (obj.ttl >= 0s) { return (deliver); }
    # Grace: повернути застарілий об'єкт
    if (obj.ttl + obj.grace > 0s) { return (deliver); }
    return (restart);
}

Налаштування Systemd для Varnish

# /etc/systemd/system/varnish.service.d/override.conf
[Service]
ExecStart=
ExecStart=/usr/sbin/varnishd \
    -a :80 \
    -a :8443,PROXY \
    -f /etc/varnish/default.vcl \
    -s malloc,4G \
    -t 120 \
    -p thread_pools=2 \
    -p thread_pool_min=100 \
    -p thread_pool_max=1000 \
    -p thread_pool_timeout=300 \
    -p http_max_hdr=128 \
    -p workspace_backend=256k

-s malloc,4G — 4GB для кешу в RAM. Для SSD-серверів: -s file,/var/lib/varnish/cache.bin,20G

PURGE інвалідація

acl purge_acl {
    "127.0.0.1";
    "10.0.0.0"/8;
}

sub vcl_recv {
    if (req.method == "PURGE") {
        if (!client.ip ~ purge_acl) {
            return (synth(405, "Not allowed"));
        }
        return (purge);
    }

    if (req.method == "BAN") {
        if (!client.ip ~ purge_acl) {
            return (synth(405, "Not allowed"));
        }
        ban("req.http.host == " + req.http.host + " && req.url ~ " + req.url);
        return (synth(200, "Ban added"));
    }
}

Використання з застосунку:

# Інвалідувати конкретний URL
curl -X PURGE http://localhost/page/about

# Інвалідувати по паттерну (BAN)
curl -X BAN -H "Host: company.com" http://localhost/category/

ESI (Edge Side Includes) для фрагментарного кешу

<!-- Сторінка кешується цілком, крім персоналізованих блоків -->
<esi:include src="/fragments/user-menu" />
<div class="product-list">...</div>
<esi:include src="/fragments/recently-viewed?user_id={{ user_id }}" />

sub vcl_backend_response {
    if (beresp.http.Surrogate-Control ~ "ESI/1.0") {
        set beresp.do_esi = true;
    }
}

Моніторинг

# Статистика hit rate
varnishstat -1 -f MAIN.cache_hit,MAIN.cache_miss

# Живі логи
varnishlog -g request -q "ReqURL eq '/api/products'"

# Top URLs по miss
varnishtop -i ReqURL

Prometheus exporter через prometheus-varnish-exporter.

Тривалість

Встановлення та базова конфігурація Varnish з VCL для веб-застосунку — 1–2 робочих дні. З ESI та кастомними правилами інвалідації — 2–3 дні.