2 posty z tagiem "Docker"

Karta z rodziny Blackwell obsługuje FP4 sprzętowo, więc kwantyzacja NVFP4 powinna być na niej najszybsza. U mnie nie była. Qwen3.8-27B w kwantyzacji INT4 od Red Hata generował na RTX 5090 o 19–28% więcej tokenów na sekundę niż ten sam model w NVFP4 od NVIDII. Do tego zostawił ponad dwa razy więcej pamięci na KV cache. Bielik 11B w FP8 był szybszy od obu, ale ma ponad dwa razy mniej parametrów, więc ta różnica niewiele mówi. Ten wpis pokazuje liczby, warunki pomiaru i to, czego z nich nie da się wyczytać. W pomiarze TTFT znalazłem też błąd, który sam zrobiłem.

Traefik nie jest „szybszym Nginx" — to inna kategoria narzędzia. Jego przewagą nie jest wydajność surowa, tylko to, że reguły routingu i certyfikaty powstają automatycznie z etykiet kontenerów i API orkiestratora, bez edycji pliku i bez przeładowania. Cena za to jest konkretna: brak serwowania plików statycznych i plikowy acme.json, który nie skaluje się poza jedną replikę. Poniżej: architektura, automatyzacja TLS, metryki, ścieżka migracji v2 → v3 i uczciwe porównanie z Nginx na zweryfikowanych liczbach.