Przejdź do głównej zawartości

30 postów z tagiem "LLM"

Duże modele językowe (Large Language Models) i ich zastosowania.

Wyświetl wszystkie tagi

Generative AI Design Patterns (Lakshmanan, Hapke): recenzja i mapa 32 wzorców

· 9 min czytania

„Generative AI Design Patterns" Valliappy Lakshmanana i Hannesa Hapkego (O'Reilly) katalogizuje 32 wzorce projektowania aplikacji na modelach generatywnych: od maskowania logitów, przez RAG i agentów, po guardrails. Przeczytałem całość z jednym pytaniem przy każdym wzorcu: czy odpowiada na trwałą własność modeli, czy obchodzi brak funkcji w API z 2025 roku. Mój werdykt: część katalogu się zestarzeje, ale kryteria wyboru zostaną, bo autorzy przy większości wzorców piszą, kiedy go nie stosować, a przy kilku podpierają to liczbami. Ten wpis to recenzja i mapa serii. W dziesięciu kolejnych rozbieram wzorce grupami.

Managed Agents: rozdzielenie mózgu od rąk agenta i co z tego wynika dla bezpieczeństwa

· 8 min czytania

W poprzednim wpisie o katalogu Claude Customize skończyłem na przyznaniu, że moje własne rekomendacje są polityką na papierze — katalog nie ma etapu zatwierdzania, więc egzekwowanie zostaje po stronie procesu. Managed Agents, platforma Anthropic do uruchamiania agentów po stronie serwera, jest odpowiedzią na dokładnie ten problem: allowlista sieciowa, bramka akceptacyjna na wywołanie narzędzia i vault na poświadczenia są tam prymitywami API, a nie zapisem w regulaminie. Haczyk polega na tym, że wszystkie dziewięć funkcji, które o tym decydują, ma status Beta.

Claude Customize w firmie: skille, konektory i wtyczki to trzy różne modele ryzyka

· 8 min czytania

Panel Customize w Claude wygląda jak jeden sklep z rozszerzeniami, ale kryje trzy zupełnie różne mechanizmy: Skills, Connectors i Plugins. Różnią się tym, co faktycznie dostają — instrukcje, token OAuth czy jedno i drugie naraz — a więc także tym, co może pójść nie tak. Traktowanie ich jako jednej kategorii „wtyczek" jest najczęstszym błędem przy pisaniu polityki bezpieczeństwa dla asystentów AI. Do tego dochodzi czwarty element, którego w katalogu nie widać: Scheduled tasks, czyli ten sam agent uruchamiany cyklicznie, bez człowieka przy klawiaturze.

Claude Code za darmo: OpenRouter + NVIDIA Nemotron zamiast API Anthropica

· 7 min czytania

Claude Code da się uruchomić za darmo, przeciwko realnemu modelowi klasy 30B z obsługą narzędzi, bez pisania linijki kodu proxy. OpenRouter wystawia endpoint kompatybilny z Anthropic Messages API pod https://openrouter.ai/api, a w jego katalogu są darmowe modele NVIDIA Nemotron, które wprost wspierają wywołania narzędzi. Wystarczą trzy zmienne środowiskowe. W tym wpisie: jak to skonfigurować bezpiecznie (klucz API nigdy nie ląduje tam, gdzie nie powinien), jak wybrać między dwoma wariantami Nemotrona i jak zrobić z tego jeden skrót powłokowy, który działa dokładnie jak claude --resume.

AI jako dżin: dlaczego modele hakują reguły, a nie kod

· 6 min czytania

Bruce Schneier od lat powtarza, że hacking nie dotyczy kodu, tylko reguł — kodeks podatkowy, regulamin programu lojalnościowego i procedura głosowania to też algorytmy z wejściem i wyjściem, a luka prawna to podatność. Nowe w jego tegorocznym wystąpieniu na DEF CON jest to, kto tych luk szuka: nie księgowy, tylko model, który optymalizuje cel i nie ma pojęcia o niepisanych normach. Poniżej: mechanika reward hackingu, taksonomia „dżinów", przesunięcie priorytetu z poufności na integralność — i osobno to, co z tej narracji jest realnym wnioskiem inżynierskim, a co ładną metaforą.

Jakość lokalnych LLM: siedem modeli, dwa trudne pytania i wzorzec „brzmi jak ekspert, zmyśla konkrety”

· 13 min czytania

Prędkość i jakość lokalnych modeli językowych nie korelują ze sobą w żaden użyteczny sposób. Najszybszy z siedmiu testowanych modeli — 25 tokenów na sekundę — wypadł merytorycznie najgorzej. Najlepszy jakościowo generował 7 tokenów na sekundę. A wspólny mianownik prawie wszystkich odpowiedzi to jeden powtarzalny wzorzec: poprawna struktura i trafny kierunek, przy zmyślonych konkretach — nazwach funkcji API, składni komend, definicjach statystycznych. To jest różnica między „brzmi jak ekspert” a „można wkleić i uruchomić”.

Lokalne LLM na ThinkPadzie: model 30B na samym CPU szybszy niż 24B na GPU

· 12 min czytania

Na laptopie z iGPU i jednokanałowym RAM-em intuicja „większy model = wolniejszy, GPU = szybsze niż CPU" rozpada się całkowicie. Model Qwen3-Coder o 30 miliardach parametrów, uruchomiony na samym procesorze, generuje 12–17 tokenów na sekundę. Mistral Small o 24 miliardach parametrów, w całości załadowany na GPU, generuje 0,62 tokena na sekundę — dwadzieścia razy wolniej, przy mniejszym pliku. Różnicy nie robi ani backend, ani kwantyzacja, ani zasilanie z kabla. Robi ją architektura: mixture-of-experts kontra dense.

Dlaczego firmowy asystent RAG „nie ma tej informacji — chunkowanie strukturalne zamiast liczenia znaków

· 10 min czytania

Najczęstsza przyczyna, dla której wewnętrzny asystent RAG odpowiada „nie mam tej informacji w bazie wiedzy" na pytanie o dokument, który ewidentnie w tej bazie jest, nie leży w modelu, promptcie ani w wyszukiwaniu wektorowym. Leży w chunkowaniu: dzielenie tekstu po liczbie znaków odcina nagłówek sekcji od jej treści, a fragment bez nagłówka jest dla modelu treścią bez informacji, czego dotyczy. W zmierzonym korpusie dotyczyło to 47-73% fragmentów.

Wdrożenie modelu Bielik na VPS a błąd wyczerpania przestrzeni dyskowej

· 8 min czytania

Utrata kontroli nad ścieżką zapisu lokalnych modeli LLM prowadzi do krytycznego przepełnienia dysku systemowego na serwerach VPS. Implementacja modelu Bielik poprzez środowisko Ollama wymaga precyzyjnej rekonfiguracji architektury przechowywania danych, aby zagwarantować stabilność systemu operacyjnego i obniżyć koszty infrastruktury z zachowaniem pełnej izolacji danych.

Model Context Protocol (MCP): 10 krytycznych luk bezpieczeństwa, które otwierają infrastrukturę na ataki AI

· 4 min czytania

Model Context Protocol (MCP) rewolucjonizuje budowę agentowych systemów AI, ale wdrażanie tego standardu bez odpowiednich barier ochronnych to biznesowe samobójstwo. Luki w warstwie projektowej – na czele z brakiem obligatoryjnego uwierzytelniania oraz podatnością na zatruwanie kontekstu – sprawiają, że serwery MCP stały się kluczowym celem ataków na architekturę korporacyjną i łańcuchy dostaw.