Розгортання AI на Intel Movidius / OpenVINO
Intel OpenVINO — toolkit для оптимізації та розгортання ML моделей на Intel апаратному забезпеченні: CPU (x86), GPU (Intel Iris/Arc), NPU (Intel Neural Processing Unit в Core Ultra), VPU (Intel Movidius). Конкурент TensorRT для Intel-екосистеми.
OpenVINO Toolkit
Model Optimizer → IR (Intermediate Representation): Конвертація з TensorFlow, PyTorch (через ONNX), ONNX, PaddlePaddle в OpenVINO IR формат. INT8 калібрування через Post-Training Optimization Tool (POT) або NNCF.
Inference Engine:
from openvino.runtime import Core
core = Core()
model = core.compile_model("model.xml", "NPU") # CPU, GPU, NPU
Intel Neural Processing Unit (NPU)
Intel Core Ultra (Meteor Lake, Arrow Lake) містить вбудований NPU:
- Core Ultra 5/7 125H: ~10 TOPS NPU
- Core Ultra 9 185H: ~11 TOPS NPU
- Core Ultra 200V: ~48 TOPS NPU
Ідеально для: always-on AI завдань (face detection, keyword spotting) з мінімальною потужністю.
Intel Movidius VPU
Myriad X (в Intel Neural Compute Stick 2, хоча застарілий) та наступники. 4 TOPS, USB-підключення. Конкурент Coral USB.
Застосування
Edge сервери на Intel Xeon, промислові ПК на Core i5/i7, edge гейтвеї з Intel Atom. OpenVINO Model Server для production serving з gRPC API.