Serwer i flagi

Start i stop

LlamaControl uruchamia llama-server bezpośrednio, z listą argumentów — bez powłoki i cytowania. Ładowanie dużych modeli trwa kilka minut; okno startu zamyka się samo, gdy model jest gotowy, i można je anulować.

Edycja flag

Flagi (np. kwantyzacja KV cache, dekodowanie spekulatywne, fit-to-VRAM, rozmiar kontekstu, -ngl) ustawiasz w tabeli parametr/wartość. Możesz też wkleić gotową linię flag, np. -ngl 999 --ctx-size 8192 --flash-attn on. Flagi są zapisywane osobno dla każdego modelu.

• Zapis, gdy serwer działa, restartuje go od razu z nową konfiguracją
• Profile — zapisuj zestawy flag pod nazwą i przełączaj się między nimi

Podgląd na żywo

Widzisz log konsoli serwera (możesz go zapisać lub wyczyścić), statystyki CPU/GPU/RAM, zużycie VRAM, tokeny na sekundę, czas odpowiedzi i uptime. Pole „Szybki test” pozwala wysłać prompt bez wchodzenia w czat.

Silniki

Domyślnie modele działają na llama.cpp. Dostępny jest też eksperymentalny silnik KVMem, instalowany w osobnym katalogu w Ustawieniach.