Fiche IRL Guard

README.md

@@ -0,0 +1,107 @@
+---
+license: apache-2.0
+base_model: convaiinnovations/laya-multilingual
+datasets:
+- MissawB/irl-guard-decisions-v2
+language:
+- fr
+library_name: laya
+pipeline_tag: text-classification
+tags:
+- structured-decisions
+- content-moderation
+- live-streaming
+- irl-guard
+---
+
+# IRL Guard — decision model v2 (Laya fine-tuné)
+
+*Decision model* d'IRL Guard : à partir d'un `state` JSON (charte de la chaîne en langage naturel, catégorie du
+stream, mode domicile, élément vu à l'écran), il répond à trois questions typées — **action**
+(diffuser / flouter / pause), **risque** et **gravité** — avec des probabilités calibrées. Fine-tuné à partir de
+`convaiinnovations/laya-multilingual` sur [`MissawB/irl-guard-decisions-v2`](https://huggingface.co/datasets/MissawB/irl-guard-decisions-v2).
+
+## Utilisation
+
+Sur CPU, sans serveur, avec le paquet [`laya`](https://pypi.org/project/laya/) :
+
+```python
+import laya
+agent = laya.load("MissawB/irl-guard-decision-laya-v2")
+reponse = agent.predict(state, questions)
+```
+
+Alternative légère d'IRL Guard sans GPU (`decideur.modele: laya-local`). Moins précis que Qwen v2 sur les chartes
+écrites librement.
+
+## Résultats
+
+Précision de l'action, F1 macro, taux de fuite (cas à protéger que l'approche diffuse), calibration (ECE) et coût
+moyen par décision, sur 1 000 cas par jeu.
+
+### Chartes vues
+
+`toujours-diffuser` : Toujours diffuser (plancher), `regles` : Règles, `xgboost` : XGBoost, `laya` : Laya brut, `laya-ft` : Laya fine-tuné, `qwen-ft` : Qwen3.5-0.8B fine-tuné, `laya-ft-v2` : Laya fine-tuné (v2), `qwen-ft-v2` : Qwen3.5-2B fine-tuné (v2), `combine-laya` : Règles + Laya fine-tuné, `combine-qwen` : Règles + Qwen fine-tuné, `combine-laya-v2` : Règles + Laya v2, `combine-qwen-v2` : Règles + Qwen v2
+
+| Approche | Action | F1 macro | Fuite | ECE | Coût moyen |
+|---|---|---|---|---|---|
+| toujours-diffuser | 44.9 % | 0.207 | 100.0 % | 0.551 | 8.48 |
+| regles | 39.3 % | 0.334 | 21.1 % | 0.607 | 3.17 |
+| xgboost | 50.1 % | 0.502 | 16.5 % | 0.080 | 2.30 |
+| laya | 40.7 % | 0.314 | 55.9 % | 0.289 | 5.59 |
+| laya-ft | 73.8 % | 0.721 | 20.0 % | 0.053 | 2.02 |
+| qwen-ft | 82.0 % | 0.807 | 15.2 % | 0.042 | 1.44 |
+| laya-ft-v2 | 80.1 % | 0.797 | 3.8 % | 0.072 | 0.73 |
+| qwen-ft-v2 | 99.3 % | 0.993 | 0.2 % | 0.005 | 0.02 |
+| combine-laya | 58.1 % | 0.592 | 5.4 % | 0.267 | 1.25 |
+| combine-qwen | 63.1 % | 0.641 | 2.4 % | 0.272 | 0.83 |
+| combine-laya-v2 | 63.4 % | 0.638 | 0.7 % | 0.224 | 0.73 |
+| combine-qwen-v2 | 72.7 % | 0.733 | 0.0 % | 0.272 | 0.31 |
+
+### Chartes non vues
+
+`toujours-diffuser` : Toujours diffuser (plancher), `regles` : Règles, `xgboost` : XGBoost, `laya` : Laya brut, `laya-ft` : Laya fine-tuné, `qwen-ft` : Qwen3.5-0.8B fine-tuné, `laya-ft-v2` : Laya fine-tuné (v2), `qwen-ft-v2` : Qwen3.5-2B fine-tuné (v2), `combine-laya` : Règles + Laya fine-tuné, `combine-qwen` : Règles + Qwen fine-tuné, `combine-laya-v2` : Règles + Laya v2, `combine-qwen-v2` : Règles + Qwen v2
+
+| Approche | Action | F1 macro | Fuite | ECE | Coût moyen |
+|---|---|---|---|---|---|
+| toujours-diffuser | 40.5 % | 0.192 | 100.0 % | 0.595 | 9.34 |
+| regles | 44.5 % | 0.407 | 21.2 % | 0.555 | 3.27 |
+| xgboost | 45.9 % | 0.458 | 24.2 % | 0.138 | 3.11 |
+| laya | 34.2 % | 0.275 | 47.6 % | 0.297 | 5.54 |
+| laya-ft | 72.2 % | 0.711 | 21.5 % | 0.061 | 2.44 |
+| qwen-ft | 80.3 % | 0.793 | 20.3 % | 0.084 | 1.92 |
+| laya-ft-v2 | 74.3 % | 0.740 | 6.2 % | 0.034 | 1.11 |
+| qwen-ft-v2 | 97.3 % | 0.972 | 2.2 % | 0.017 | 0.23 |
+| combine-laya | 63.5 % | 0.642 | 4.4 % | 0.216 | 1.25 |
+| combine-qwen | 69.8 % | 0.701 | 5.4 % | 0.228 | 0.97 |
+| combine-laya-v2 | 66.4 % | 0.664 | 1.3 % | 0.130 | 0.83 |
+| combine-qwen-v2 | 79.3 % | 0.790 | 0.3 % | 0.198 | 0.28 |
+
+### Chartes écrites à la main
+
+`toujours-diffuser` : Toujours diffuser (plancher), `regles` : Règles, `xgboost` : XGBoost, `laya` : Laya brut, `laya-ft` : Laya fine-tuné, `qwen-ft` : Qwen3.5-0.8B fine-tuné, `laya-ft-v2` : Laya fine-tuné (v2), `qwen-ft-v2` : Qwen3.5-2B fine-tuné (v2), `combine-laya` : Règles + Laya fine-tuné, `combine-qwen` : Règles + Qwen fine-tuné, `combine-laya-v2` : Règles + Laya v2, `combine-qwen-v2` : Règles + Qwen v2
+
+| Approche | Action | F1 macro | Fuite | ECE | Coût moyen |
+|---|---|---|---|---|---|
+| toujours-diffuser | 36.9 % | 0.180 | 100.0 % | 0.631 | 8.31 |
+| regles | 53.1 % | 0.462 | 20.4 % | 0.469 | 2.52 |
+| xgboost | 46.0 % | 0.441 | 59.6 % | 0.281 | 4.83 |
+| laya | 40.5 % | 0.295 | 44.7 % | 0.274 | 4.58 |
+| laya-ft | 56.4 % | 0.548 | 55.5 % | 0.239 | 4.42 |
+| qwen-ft | 59.9 % | 0.589 | 56.7 % | 0.285 | 4.43 |
+| laya-ft-v2 | 55.0 % | 0.553 | 47.4 % | 0.186 | 3.90 |
+| qwen-ft-v2 | 79.1 % | 0.805 | 29.2 % | 0.187 | 2.21 |
+| combine-laya | 63.1 % | 0.622 | 11.3 % | 0.286 | 1.46 |
+| combine-qwen | 64.5 % | 0.639 | 10.9 % | 0.306 | 1.41 |
+| combine-laya-v2 | 63.3 % | 0.623 | 11.7 % | 0.208 | 1.50 |
+| combine-qwen-v2 | 71.9 % | 0.725 | 5.5 % | 0.270 | 0.77 |
+
+## Limites
+
+- Les chartes « non vues » sont des formulations et des combinaisons de clauses absentes de l'entraînement, mais
+  écrites dans le même style de gabarits : une charte rédigée librement par un streamer sera plus difficile.
+- Seul, Qwen v2 laisse passer 29 % des cas à protéger sur les chartes écrites à la main (2 % sur les chartes
+  synthétiques non vues) : dans IRL Guard, il est utilisé en **mode combiné** avec des règles déterministes (la
+  décision la plus protectrice l'emporte), ce qui ramène la fuite à 5,5 %.
+- Le modèle décide à partir d'un `state` JSON (texte lu par OCR, objet détecté, charte, contexte) : il ne voit pas
+  l'image.