TentaFlow commited on
Commit
1dad23e
·
verified ·
1 Parent(s): 47cae24

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +30 -29
README.md CHANGED
@@ -22,49 +22,50 @@ tags:
22
 
23
  # TentaGuard — NVFP4 (W4A4, vLLM)
24
 
25
- **TentaGuard** to lekki klasyfikator bezpieczenstwa (security guard) — fine-tune
26
- [`Qwen/Qwen3.5-0.8B`](https://huggingface.co/Qwen/Qwen3.5-0.8B). Wykorzystywany **glownie w aplikacji
27
- [TentaFlow](https://github.com/Slyb00ts/TentaFlow)** do skanowania tresci z zewnatrz wiadomosci, dokumentow, wynikow
28
- wyszukiwan w internecie itp. — pod katem **ukrytych atakow** (prompt injection / jailbreak),
29
- zanim trafia do glownego LLM.
30
 
31
- Model NIE generuje odpowiedzi dla uzytkownikazwraca pojedyncza cyfre:
32
 
33
- | Etykieta | Znaczenie |
34
- |----------|-----------|
35
- | `0` | bezpieczne (benign) |
36
- | `1` | prompt injection / naduzycie narzedzi (atak techniczny) |
37
- | `2` | jailbreak (manipulacja behawioralna) |
38
 
39
- Jesli tekst zawiera JEDNOCZESNIE injection i jailbreak → `1`.
40
 
41
- ## Format wejscia
42
 
43
- System prompt (klasyfikator) + wiadomosc uzytkownika `<|guard|>\n{tekst}`. **Buduj prompt
44
- tokenizerem modelu (`apply_chat_template`)** — nie polegaj na generycznym szablonie czatu.
45
 
46
- ## Skutecznosc (zbior testowy guard, 58 przykladow)
47
 
48
- - Exact (0/1/2): **~96.6%** (pelna precyzja) / **~94.8%** (Q5_K_M)
49
- - Safe/Unsafe: **~98.3%**
50
 
51
- ## Autorzy
52
 
53
- Model wytrenowany przez: **Katarzyna Nowak**, **Piotr Jarocki**, **Damian Pala**, **Jakub Rurański**.
54
 
55
- ## Licencja i atrybucja
56
 
57
- Apache-2.0, dziedziczona z modelu bazowego [`Qwen/Qwen3.5-0.8B`](https://huggingface.co/Qwen/Qwen3.5-0.8B).
58
- Ten checkpoint to fine-tune do detekcji atakow na potrzeby aplikacji [TentaFlow](https://github.com/Slyb00ts/TentaFlow).
59
 
60
- ## Uzycie (vLLM)
61
 
62
- Format `compressed-tensors` (`nvfp4-pack-quantized`): wagi 4-bit (FP4 E2M1, grupy po 16, skale
63
- FP8 E4M3 + globalna FP32), aktywacje 4-bit (W4A4), `lm_head` w pelnej precyzji. Kalibracja PTQ
64
- [`llm-compressor`](https://github.com/vllm-project/llm-compressor) na realnych promptach guard.
 
65
 
66
- NVFP4 jest akcelerowany sprzetowo na **Blackwellu (sm_100+)**; na starszych GPU vLLM laduje go
67
- jako **weight-only** (mniejszy VRAM, bez akceleracji FP4).
68
 
69
  ```bash
70
  vllm serve TentaFlow/TentaGuard-NVFP4
 
22
 
23
  # TentaGuard — NVFP4 (W4A4, vLLM)
24
 
25
+ **TentaGuard** is a lightweight security classifier (guard) — a fine-tune of
26
+ [`Qwen/Qwen3.5-0.8B`](https://huggingface.co/Qwen/Qwen3.5-0.8B). It is used **mainly inside the
27
+ [TentaFlow](https://github.com/Slyb00ts/TentaFlow) application** to scan external contentmessages, documents,
28
+ web-search results, etc. — for **hidden attacks** (prompt injection / jailbreak) before it
29
+ reaches the main LLM.
30
 
31
+ The model does NOT generate user-facing replies it returns a single digit:
32
 
33
+ | Label | Meaning |
34
+ |-------|---------|
35
+ | `0` | benign (safe content) |
36
+ | `1` | prompt injection / tool abuse (technical attack) |
37
+ | `2` | jailbreak (behavioural manipulation) |
38
 
39
+ If the text contains BOTH injection and jailbreak → `1`.
40
 
41
+ ## Input format
42
 
43
+ A classifier system prompt + a user message `<|guard|>\n{text}`. **Build the prompt with the
44
+ model tokenizer (`apply_chat_template`)** — do not rely on a generic chat template.
45
 
46
+ ## Accuracy (guard test set, 58 examples)
47
 
48
+ - Exact (0/1/2): **~96.6%** (full precision) / **~94.8%** (Q5_K_M)
49
+ - Safe / Unsafe: **~98.3%**
50
 
51
+ ## Authors
52
 
53
+ Trained by: **Katarzyna Nowak**, **Piotr Jarocki**, **Damian Pala**, **Jakub Rurański**.
54
 
55
+ ## License & attribution
56
 
57
+ Apache-2.0, inherited from the base model [`Qwen/Qwen3.5-0.8B`](https://huggingface.co/Qwen/Qwen3.5-0.8B).
58
+ This checkpoint is a fine-tune for attack detection, built for the [TentaFlow](https://github.com/Slyb00ts/TentaFlow) application.
59
 
60
+ ## Usage (vLLM)
61
 
62
+ `compressed-tensors` format (`nvfp4-pack-quantized`): 4-bit weights (FP4 E2M1, groups of 16,
63
+ FP8 E4M3 block scales + a global FP32 scale), 4-bit activations (W4A4), `lm_head` kept in full
64
+ precision. PTQ calibration via [`llm-compressor`](https://github.com/vllm-project/llm-compressor)
65
+ on real guard prompts.
66
 
67
+ NVFP4 is hardware-accelerated on **Blackwell (sm_100+)**; on older GPUs vLLM loads it as
68
+ **weight-only** (smaller VRAM, no FP4 acceleration).
69
 
70
  ```bash
71
  vllm serve TentaFlow/TentaGuard-NVFP4