Instructions to use Situus/STARK-4B-Thinking with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Situus/STARK-4B-Thinking with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Situus/STARK-4B-Thinking")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# Load model directly
from transformers import AutoProcessor, AutoModelForImageTextToText

processor = AutoProcessor.from_pretrained("Situus/STARK-4B-Thinking")
model = AutoModelForImageTextToText.from_pretrained("Situus/STARK-4B-Thinking")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use Situus/STARK-4B-Thinking with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Situus/STARK-4B-Thinking"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Situus/STARK-4B-Thinking",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/Situus/STARK-4B-Thinking

SGLang

How to use Situus/STARK-4B-Thinking with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Situus/STARK-4B-Thinking" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Situus/STARK-4B-Thinking",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Situus/STARK-4B-Thinking" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Situus/STARK-4B-Thinking",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Unsloth Studio new

How to use Situus/STARK-4B-Thinking with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for Situus/STARK-4B-Thinking to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for Situus/STARK-4B-Thinking to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for Situus/STARK-4B-Thinking to start chatting

Load model with FastModel

pip install unsloth
from unsloth import FastModel
model, tokenizer = FastModel.from_pretrained(
    model_name="Situus/STARK-4B-Thinking",
    max_seq_length=2048,
)

Docker Model Runner
How to use Situus/STARK-4B-Thinking with Docker Model Runner:
```
docker model run hf.co/Situus/STARK-4B-Thinking
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

STARK-4B-Thinking

STARK-4B-Thinking (System Transparentnego Analitycznego Rozumowania i Kontekstu) to kompaktowy, polskojęzyczny asystent AI oparty na architekturze Gemma 3 (4B). Model ten został zaprojektowany w celu dostarczenia zaawansowanych możliwości rozumowania do klasy lekkich modeli językowych, co pozwala na wydajną pracę lokalną przy zachowaniu wysokiej rzetelności merytorycznej.

System wykorzystuje mechanizm "rozważnej pauzy", implementując proces Chain of Thought (CoT), który pozwala modelowi na weryfikację logiki i planowanie odpowiedzi przed wygenerowaniem ostatecznego tekstu.

Charakterystyka Systemu i Wydajność

Wprowadzenie dedykowanej fazy myślowej pozwala modelowi STARK-4B na osiągnięcie stabilności oraz precyzji w zadaniach logicznych, które zazwyczaj wymagają znacznie większych zasobów obliczeniowych.

Wizualizacja sprawności operacyjnej:

MODEL BAZOWY (4B) [████████████████████░░░░░░░░░░░░░░]
STARK-4B (Thinking) [██████████████████████████░░░░░░░░] + BOOST REASONING

Dzięki alokacji tokenów na wewnętrzne procesy rozumowania (Reasoning Trace), model wykazuje podwyższoną dokładność w zadaniach logicznych oraz wyższą odporność na błędy w niejednoznacznych interakcjach z użytkownikiem.

System Thinking (Chain of Thought)

STARK-4B-Thinking nie generuje wypowiedzi w sposób impulsywny. System opiera się na procesie analitycznym, który kieruje ostatecznym wynikiem.

Transparentność wnioskowania: Proces analityczny jest jawny i zawarty w znacznikach <think> ... </think>.
Dekonstrukcja problemów: Model rozbija złożone zagadki logiczne, problemy matematyczne oraz zadania dedukcyjne na mniejsze etapy przed sformułowaniem pomocy.
Wysoka Inteligencja Emocjonalna: System został wytrenowany do obsługi scenariuszy wymagających wysokiego EQ, niuansowania konwersacyjnego oraz radzenia sobie z trudnymi prośbami użytkownika.

Rodowód Danych i Proces Treningowy

Wydajność modelu STARK-4B jest efektem zastosowania elitarnego korpusu treningowego:

Źródło Gemini Flash: Finetuning (SFT) został przeprowadzony na wyselekcjonowanym zbiorze danych syntetycznych wygenerowanych przez model Gemini Flash.
Natywna Optymalizacja: Model oferuje naturalnie brzmiący dialog, w pełni zoptymalizowany pod kątem polskiej gramatyki i kontekstu kulturowego.
Format GGUF: Model jest udostępniany w wersji Q4_K_M, zapewniając balans między szybkością a precyzją.

Zastosowania i Ograniczenia

Sekcja ta została ujednolicona z parametrami operacyjnymi modelu STARK-12B, aby zapewnić spójność ekosystemu STARK.

Rekomendowane przypadki użycia:

Asysta Operacyjna: Planowanie zadań, ustalanie priorytetów i rozwiązywanie problemów logicznych.
Praca z Tekstem: Kreatywne pisanie, storytelling oraz redagowanie profesjonalnej korespondencji biznesowej.
Analiza Danych: Brainstorming, synteza wiedzy oraz wyciąganie kluczowych faktów z dokumentów.

Ograniczenia (Limitations):

Programowanie: Model nie jest dedykowany do zadań inżynieryjnych; generowany kod może zawierać błędy lub być nieoptymalny.
Zaawansowana Matematyka: Model może popełniać błędy w skomplikowanych obliczeniach teoretycznych; wyniki wymagają weryfikacji.
Skala Modelu: Jako jednostka klasy 4B, system może posiadać mniejszą bazę wiedzy encyklopedycznej niż modele klasy 12B lub 70B+.

Instrukcja Użycia (Usage)

Model jest kompatybilny z narzędziami obsługującymi format GGUF, takimi jak LM Studio, KoboldCPP czy llama.cpp.

Rekomendowany format promptu:

<start_of_turn>user
Twoje pytanie lub polecenie tutaj<end_of_turn>
<start_of_turn>model
<think>
Tutaj model przeprowadza proces myślowy...
</think>
Tutaj znajduje się właściwa odpowiedź.