9d_sd1001: 9 doc/fn, seed sd1001

.gitattributes

@@ -65,3 +65,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 8d_sd1002/tokenizer.json filter=lfs diff=lfs merge=lfs -text
 8d_sd1003/tokenizer.json filter=lfs diff=lfs merge=lfs -text
 8d_sd1004/tokenizer.json filter=lfs diff=lfs merge=lfs -text
+9d_sd1001/tokenizer.json filter=lfs diff=lfs merge=lfs -text

9d_sd1001/adapter_config.json

@@ -0,0 +1,49 @@
+{
+  "alora_invocation_tokens": null,
+  "alpha_pattern": {},
+  "arrow_config": null,
+  "auto_mapping": null,
+  "base_model_name_or_path": "/disk/u/yu.stev/influence-benchmarking-hops/models/v4/bases/llama-3.2-3b-training-base",
+  "bias": "none",
+  "corda_config": null,
+  "ensure_weight_tying": false,
+  "eva_config": null,
+  "exclude_modules": null,
+  "fan_in_fan_out": false,
+  "inference_mode": true,
+  "init_lora_weights": true,
+  "layer_replication": null,
+  "layers_pattern": null,
+  "layers_to_transform": null,
+  "loftq_config": {},
+  "lora_alpha": 128,
+  "lora_bias": false,
+  "lora_dropout": 0.05,
+  "megatron_config": null,
+  "megatron_core": "megatron.core",
+  "modules_to_save": [
+    "embed_tokens",
+    "lm_head"
+  ],
+  "peft_type": "LORA",
+  "peft_version": "0.18.1",
+  "qalora_group_size": 16,
+  "r": 64,
+  "rank_pattern": {},
+  "revision": null,
+  "target_modules": [
+    "v_proj",
+    "q_proj",
+    "down_proj",
+    "o_proj",
+    "up_proj",
+    "k_proj",
+    "gate_proj"
+  ],
+  "target_parameters": null,
+  "task_type": "CAUSAL_LM",
+  "trainable_token_indices": null,
+  "use_dora": false,
+  "use_qalora": false,
+  "use_rslora": false
+}

9d_sd1001/adapter_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5a6b809565506c0ba0e9128236ecd390b69516b6783003483e40b78c80f27a44
+size 1968770824

9d_sd1001/tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3e8214db8e91d0c2b90f3c3beb7e305141197fde713d8934272460a84eb17786
+size 17264622

9d_sd1001/tokenizer_config.json

@@ -0,0 +1,316 @@
+{
+  "backend": "tokenizers",
+  "bos_token": "<|begin_of_text|>",
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "<|end_of_text|>",
+  "extra_special_tokens": [
+    "<B01>",
+    "<B02>",
+    "<B03>",
+    "<B04>",
+    "<B05>",
+    "<B06>",
+    "<B07>",
+    "<B08>",
+    "<B09>",
+    "<B10>",
+    "<B11>",
+    "<B12>",
+    "<B13>",
+    "<B14>",
+    "<B15>",
+    "<B16>",
+    "<B17>",
+    "<B18>",
+    "<B19>",
+    "<B20>",
+    "<B21>",
+    "<B22>",
+    "<B23>",
+    "<B24>",
+    "<B25>",
+    "<B26>",
+    "<B27>",
+    "<B28>",
+    "<B29>",
+    "<B30>",
+    "<B31>",
+    "<B32>",
+    "<B33>",
+    "<B34>",
+    "<B35>",
+    "<B36>",
+    "<B37>",
+    "<B38>",
+    "<B39>",
+    "<B40>",
+    "<B41>",
+    "<B42>",
+    "<B43>",
+    "<B44>",
+    "<B45>",
+    "<B46>",
+    "<B47>",
+    "<B48>",
+    "<B49>",
+    "<B50>",
+    "<B51>",
+    "<B52>",
+    "<B53>",
+    "<B54>",
+    "<B55>",
+    "<B56>",
+    "<B57>",
+    "<B58>",
+    "<B59>",
+    "<B60>",
+    "<B61>",
+    "<B62>",
+    "<B63>",
+    "<B64>",
+    "<B65>",
+    "<B66>",
+    "<B67>",
+    "<B68>",
+    "<B69>",
+    "<B70>",
+    "<B71>",
+    "<B72>",
+    "<B73>",
+    "<B74>",
+    "<B75>",
+    "<B76>",
+    "<B77>",
+    "<B78>",
+    "<B79>",
+    "<B80>",
+    "<B81>",
+    "<B82>",
+    "<B83>",
+    "<B84>",
+    "<B85>",
+    "<B86>",
+    "<B87>",
+    "<B88>",
+    "<B89>",
+    "<B90>",
+    "<B91>",
+    "<B92>",
+    "<B93>",
+    "<B94>",
+    "<B95>",
+    "<B96>",
+    "<B97>",
+    "<B98>",
+    "<B99>",
+    "<B100>",
+    "<C01>",
+    "<C02>",
+    "<C03>",
+    "<C04>",
+    "<C05>",
+    "<C06>",
+    "<C07>",
+    "<C08>",
+    "<C09>",
+    "<C10>",
+    "<C11>",
+    "<C12>",
+    "<C13>",
+    "<C14>",
+    "<C15>",
+    "<C16>",
+    "<C17>",
+    "<C18>",
+    "<C19>",
+    "<C20>",
+    "<C21>",
+    "<C22>",
+    "<C23>",
+    "<C24>",
+    "<C25>",
+    "<C26>",
+    "<C27>",
+    "<C28>",
+    "<C29>",
+    "<C30>",
+    "<C31>",
+    "<C32>",
+    "<C33>",
+    "<C34>",
+    "<C35>",
+    "<C36>",
+    "<C37>",
+    "<C38>",
+    "<C39>",
+    "<C40>",
+    "<C41>",
+    "<C42>",
+    "<C43>",
+    "<C44>",
+    "<C45>",
+    "<C46>",
+    "<C47>",
+    "<C48>",
+    "<C49>",
+    "<C50>",
+    "<C51>",
+    "<C52>",
+    "<C53>",
+    "<C54>",
+    "<C55>",
+    "<C56>",
+    "<C57>",
+    "<C58>",
+    "<C59>",
+    "<C60>",
+    "<C61>",
+    "<C62>",
+    "<C63>",
+    "<C64>",
+    "<C65>",
+    "<C66>",
+    "<C67>",
+    "<C68>",
+    "<C69>",
+    "<C70>",
+    "<C71>",
+    "<C72>",
+    "<C73>",
+    "<C74>",
+    "<C75>",
+    "<C76>",
+    "<C77>",
+    "<C78>",
+    "<C79>",
+    "<C80>",
+    "<C81>",
+    "<C82>",
+    "<C83>",
+    "<C84>",
+    "<C85>",
+    "<C86>",
+    "<C87>",
+    "<C88>",
+    "<C89>",
+    "<C90>",
+    "<C91>",
+    "<C92>",
+    "<C93>",
+    "<C94>",
+    "<C95>",
+    "<C96>",
+    "<C97>",
+    "<C98>",
+    "<C99>",
+    "<C100>",
+    "<D01>",
+    "<D02>",
+    "<D03>",
+    "<D04>",
+    "<D05>",
+    "<D06>",
+    "<D07>",
+    "<D08>",
+    "<D09>",
+    "<D10>",
+    "<D11>",
+    "<D12>",
+    "<D13>",
+    "<D14>",
+    "<D15>",
+    "<D16>",
+    "<D17>",
+    "<D18>",
+    "<D19>",
+    "<D20>",
+    "<D21>",
+    "<D22>",
+    "<D23>",
+    "<D24>",
+    "<D25>",
+    "<D26>",
+    "<D27>",
+    "<D28>",
+    "<D29>",
+    "<D30>",
+    "<D31>",
+    "<D32>",
+    "<D33>",
+    "<D34>",
+    "<D35>",
+    "<D36>",
+    "<D37>",
+    "<D38>",
+    "<D39>",
+    "<D40>",
+    "<D41>",
+    "<D42>",
+    "<D43>",
+    "<D44>",
+    "<D45>",
+    "<D46>",
+    "<D47>",
+    "<D48>",
+    "<D49>",
+    "<D50>",
+    "<D51>",
+    "<D52>",
+    "<D53>",
+    "<D54>",
+    "<D55>",
+    "<D56>",
+    "<D57>",
+    "<D58>",
+    "<D59>",
+    "<D60>",
+    "<D61>",
+    "<D62>",
+    "<D63>",
+    "<D64>",
+    "<D65>",
+    "<D66>",
+    "<D67>",
+    "<D68>",
+    "<D69>",
+    "<D70>",
+    "<D71>",
+    "<D72>",
+    "<D73>",
+    "<D74>",
+    "<D75>",
+    "<D76>",
+    "<D77>",
+    "<D78>",
+    "<D79>",
+    "<D80>",
+    "<D81>",
+    "<D82>",
+    "<D83>",
+    "<D84>",
+    "<D85>",
+    "<D86>",
+    "<D87>",
+    "<D88>",
+    "<D89>",
+    "<D90>",
+    "<D91>",
+    "<D92>",
+    "<D93>",
+    "<D94>",
+    "<D95>",
+    "<D96>",
+    "<D97>",
+    "<D98>",
+    "<D99>",
+    "<D100>"
+  ],
+  "is_local": true,
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 131072,
+  "pad_token": "<|end_of_text|>",
+  "tokenizer_class": "TokenizersBackend"
+}