upload cycle9.2 best (runA)

1_SpladePooling/config.json

@@ -0,0 +1,5 @@
+{
+    "pooling_strategy": "max",
+    "activation_function": "relu",
+    "embedding_dimension": 768
+}

README.md

@@ -0,0 +1,148 @@
+---
+language:
+- ja
+license: mit
+library_name: sentence-transformers
+tags:
+- sparse-encoder
+- sparse
+- splade
+- sentence-transformers
+- learned-sparse-retrieval
+- modernbert
+- japanese
+base_model: sbintuitions/modernbert-ja-310m
+pipeline_tag: feature-extraction
+---
+
+# mahiyama/splade-ja-310m-v5-cycle9.2
+
+sbintuitions/modernbert-ja-310m をベースとした、日本語の Standard SPLADE (Learned Sparse Retrieval) モデルです。
+教師モデル cl-nagoya/ruri-v3-reranker-310m の logits を使った蒸留 (SparseDistillKLDivLoss を CachedSpladeLoss でラップ) で訓練しています。
+
+本モデルは v5 系プロジェクトの cycle9.2 (cycle9 起点の特定ドメイン短期 FT) の成果物です。
+2 段階訓練アーキテクチャの Stage 2 にあたり、Stage 1 (cycle9, 約 2.2M 行・5 ソース汎用学習済み) を起点として、特定ドメイン (行政 FAQ、クイズ、NLP Journal、MLDR) のデータで短期 FT を行いました。
+
+## 使い方
+
+```python
+from sentence_transformers import SparseEncoder
+
+model = SparseEncoder("mahiyama/splade-ja-310m-v5-cycle9.2")
+
+query = "国民年金の免除申請に必要な持ち物は何ですか"
+documents = [
+    "国民年金保険料の免除申請には年金手帳、本人確認書類、印鑑が必要です。",
+    "確定申告で医療費控除を受けるには領収書と源泉徴収票が必要です。",
+]
+
+query_emb = model.encode([query], convert_to_sparse_tensor=True)
+doc_emb = model.encode(documents, convert_to_sparse_tensor=True)
+scores = model.similarity(query_emb, doc_emb)
+print(scores)
+```
+
+## Training Architecture (2 段階構成)
+
+- Stage 1: cycle9 (汎用 SPLADE baseline)
+  - 約 2.2M 行・5 ソース (auto-wiki-qa, mqa-ja-v3, mmarco-ja, miracl-retrieval, mrtydi) の multi-source 混合
+  - 1 epoch、17,050 step、max_len 512、LR 5e-6、q_reg 1e-5、d_reg 2.5e-4
+  - JMTEB v2 5 タスク平均 nDCG@10 = 0.8262 (cycle8 0.8258 から ほぼ同水準だが Mintaka など短文系で改善)
+- Stage 2 (本モデル): cycle9.2 (特定ドメイン短期 FT)
+  - (複数 limit 指定無し: フルサイズ) 行・8 ソースの特定ドメイン混合 (JaGovFaqs-22k-v2, amagasaki-qna, quiz-works, quiz-no-mori, anlp-meeting-retrieval, mldr-retrieval)
+  - 2 epoch、3398 step、max_len 1024、LR 2e-06、q_reg 1.5e-05、d_reg 0.0003、reg_warmup_ratio 0.1
+  - Run runA を mini eval (training-time 11 タスク平均) で best 採用
+
+## Training Data (Stage 2)
+
+教師モデル: cl-nagoya/ruri-v3-reranker-310m 統一 (n-tuples-filtered で配布の label を消費)
+
+| repo | config | limit | repeat |
+|---|---|---:|---:|
+| mahiyama/JaGovFaqs-22k-v2 | n-tuples-filtered | - | 1 |
+| mahiyama/amagasaki-qna | n-tuples-filtered | - | 1 |
+| mahiyama/quiz-works | n-tuples-filtered | - | 1 |
+| mahiyama/quiz-no-mori | n-tuples-filtered | - | 1 |
+| mahiyama/anlp-meeting-retrieval | title-abs_n-tuples-filtered | - | 1 |
+| mahiyama/anlp-meeting-retrieval | abs-intro_n-tuples-filtered | - | 1 |
+| mahiyama/anlp-meeting-retrieval | title-intro_n-tuples-filtered | - | 1 |
+| mahiyama/mldr-retrieval | n-tuples-filtered | - | 1 |
+
+## Hyperparameters (Stage 2)
+
+| param | value |
+|---|---|
+| starting_model | cycle9 final_model (step 17040) |
+| max_len | 1024 |
+| learning_rate | 2e-06 |
+| query_regularizer_weight | 1.5e-05 |
+| document_regularizer_weight | 0.0003 |
+| reg_scheduler_warmup_ratio | 0.1 |
+| reg_scheduler_type | quadratic |
+| kldiv_temperature | 2.0 |
+| batch_size | 32 |
+| mini_batch_size | 8 |
+| num_epochs | 2 |
+| evals_per_epoch | 8 |
+| eval_max_active_dims | 1024 |
+| seed | 42 |
+
+best step: 848 (epoch 0.50)
+
+## Evaluation (training-time mini eval, 11 タスク, capped max_active_dims=1024)
+
+best ckpt スコア (nDCG@10):
+
+| task | nDCG@10 |
+|---|---:|
+| jagovfaqs_22k | 0.7988 |
+| jaqket | 0.8720 |
+| mrtydi | 0.9683 |
+| miracl | 0.9841 |
+| mintaka | 0.2053 |
+| jacwir | 0.8988 |
+| mldr | 0.3760 |
+| nlp_journal_title_abs | 0.9663 |
+| nlp_journal_title_intro | 0.9471 |
+| nlp_journal_abs_intro | 0.9746 |
+| nlp_journal_abs_article | 0.9739 |
+| avg (11 tasks) | 0.8150 |
+
+cycle9 mini eval (起点モデル) との比較:
+
+| task | cycle9 (Stage 1) | cycle9.2 (Stage 2) | delta |
+|---|---:|---:|---:|
+| jagovfaqs_22k | 0.7421 | 0.7988 | +0.0567 |
+| jaqket | 0.8124 | 0.8720 | +0.0596 |
+| mrtydi | 0.9603 | 0.9683 | +0.0080 |
+| miracl | 0.9792 | 0.9841 | +0.0049 |
+| mintaka | 0.1823 | 0.2053 | +0.0230 |
+| jacwir | 0.9583 | 0.8988 | -0.0595 |
+| mldr | 0.2884 | 0.3760 | +0.0876 |
+| nlp_journal_title_abs | 0.9881 | 0.9663 | -0.0218 |
+| nlp_journal_title_intro | 0.8533 | 0.9471 | +0.0938 |
+| nlp_journal_abs_intro | 0.9066 | 0.9746 | +0.0680 |
+| nlp_journal_abs_article | 0.9017 | 0.9739 | +0.0722 |
+| **avg** | 0.7793 | 0.8150 | +0.0357 |
+
+注: 本モデルでは時間制約のため JMTEB v2 フル評価は実施していません。後日別途実施予定です。
+
+## 抑止トークン
+
+句読点・記号・特殊ト���クン・SPM マーカ・byte トークンを学習中に抑止し、訓練終了時に MLM head bias へ恒久的に焼き込んでいます。
+推論時に追加コードは不要 (SparseEncoder.from_pretrained() でそのまま利用可能)。
+
+## Design Rationale
+
+- cycle9 final_model (step 17040 の最終モデル) を起点として採用。cycle9 の best_model (mini eval ベースの中盤 best、step 12780) よりも学習量が多く、より多くのドメインで適合が進んでいるため、特定ドメイン短期 FT の起点に向くと判断。
+- cycle8.2 (cycle8 起点で +0.039 改善し v5 系自己ベスト 0.8652 を達成) と同じ「強い汎用ベース + 短期 FT」設計を踏襲。
+- 特定ドメインの強化対象は cycle9 mini eval で低かった jagovfaqs_22k (0.7421) と nlp_journal_title_intro (0.8533)、および退行抑制対象の mintaka / mldr。
+
+## Limitations
+
+- best 判定は mini eval (lite) の 11 タスク平均 nDCG@10 のみで行っており、JMTEB v2 フル評価による検証は未実施です。
+- cycle8.3 で観測された MLDR データ大量投入による Mintaka 退行リスクが残る可能性があります。
+
+## ライセンス
+
+MIT (ベースモデル sbintuitions/modernbert-ja-310m のライセンスに従う)。

config.json

@@ -0,0 +1,81 @@
+{
+  "architectures": [
+    "ModernBertForMaskedLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 1,
+  "classifier_activation": "gelu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "cls",
+  "cls_token_id": 6,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "dtype": "float32",
+  "embedding_dropout": 0.0,
+  "eos_token_id": 2,
+  "global_attn_every_n_layers": 3,
+  "gradient_checkpointing": false,
+  "hidden_activation": "gelu",
+  "hidden_size": 768,
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-05,
+  "layer_types": [
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention"
+  ],
+  "local_attention": 128,
+  "max_position_embeddings": 8192,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 25,
+  "pad_token_id": 3,
+  "position_embedding_type": "rope",
+  "repad_logits_with_grad": false,
+  "rope_parameters": {
+    "full_attention": {
+      "rope_theta": 160000.0,
+      "rope_type": "default"
+    },
+    "sliding_attention": {
+      "rope_theta": 10000.0,
+      "rope_type": "default"
+    }
+  },
+  "sep_token_id": 4,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "tie_word_embeddings": true,
+  "transformers_version": "5.0.0",
+  "vocab_size": 102400
+}

config_sentence_transformers.json

@@ -0,0 +1,14 @@
+{
+  "__version__": {
+    "pytorch": "2.10.0+cu128",
+    "sentence_transformers": "5.4.1",
+    "transformers": "5.0.0"
+  },
+  "default_prompt_name": null,
+  "model_type": "SparseEncoder",
+  "prompts": {
+    "document": "",
+    "query": ""
+  },
+  "similarity_fn_name": "dot"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1427959c09890164d20a741fe28b1dd5e3c2f2d05df1b7fea8ec9873bdd9b96f
+size 1261235896

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.base.modules.transformer.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_SpladePooling",
+    "type": "sentence_transformers.sparse_encoder.modules.splade_pooling.SpladePooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,10 @@
+{
+    "transformer_task": "fill-mask",
+    "modality_config": {
+        "text": {
+            "method": "forward",
+            "method_output_name": "logits"
+        }
+    },
+    "module_output_name": "token_embeddings"
+}

tokenizer_config.json

@@ -0,0 +1,31 @@
+{
+  "add_dummy_prefix_space": false,
+  "add_prefix_space": false,
+  "backend": "tokenizers",
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": false,
+  "cls_token": "<cls>",
+  "do_lower_case": false,
+  "eos_token": "</s>",
+  "extra_ids": 0,
+  "is_local": true,
+  "keep_accents": true,
+  "legacy": false,
+  "mask_token": "<mask>",
+  "max_length": 512,
+  "model_max_length": 1024,
+  "model_specific_special_tokens": {},
+  "pad_to_multiple_of": null,
+  "pad_token": "<pad>",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "<sep>",
+  "sp_model_kwargs": {},
+  "spaces_between_special_tokens": false,
+  "stride": 0,
+  "tokenizer_class": "TokenizersBackend",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "<unk>",
+  "use_default_system_prompt": false
+}