--- tags: - sentence-transformers - sentence-similarity - feature-extraction - generated_from_trainer - dataset_size:3500 - loss:TripletLoss base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 widget: - source_sentence: চলচ্চিত্রটি পরিচালনা করেছেন রাহুল আহমেদ মিথুন। sentences: - চলচ্চিত্রটি পরিচালনা করেছেন শাহাদাত হোসেন লিটন। - জেলা বিএনপির সভাপতি ইকবাল হাসান মাহমুদ টিটুর নেতৃত্বে অনুষ্ঠিত সভায় বিএনপির যুগ্ম মহাসচিব আমান উল্লাহ আমান, সাংগঠনিক - জানুয়ারি মাসে রাজধানী ওয়ার্ড যুব দলের সভাপতি শহীদ মোল্লাকে সন্ত্রাসীরা গুলি করে হত্যা করে। - source_sentence: মোবাইল ফোনটি গুগল পিক্সেল প্রোগ্রামের মাধ্যমে বাজারে উন্মোচিত হয়েছে। sentences: - এরপর ঢাকা বিশ্ববিদ্যালয়ের উপাচার্য প্রফেসর এ.এ.এম. স. আরেফিন সিদ্দিকের নেতৃত্বে ফুলটি - ঢাকা ফেব্রুয়ারি বিবিসি.কম ইন্ডিয়ান প্রিমিয়ার লীগের চতুর্থ সংস্করণে সাবেক ভারতীয় অধিনায়ক সৌরভ গাঙ্গুলীর সাথে খেলে না। - অ্যান্ড্রয়েড ওয়ান প্রকল্পের মাধ্যমে স্মার্টফোনটি বাজারে আনা হয়েছে। - source_sentence: ঢাকা মেট্রোপলিটন থানার ওসি এম এম রহমান আজকের খবর ডটকমকে জানান বৃহস্পতিবার রাতে রহিম আহমেদের বিরুদ্ধে জিডিটি করা হয়। sentences: - ফার কেমিক্যাল ইন্ডাস্ট্রিজ লিমিটেড মঙ্গলবার দেশের পুঁজিবাজারে লেনদেন শুরু করেছে। - নারায়ণগঞ্জ সদর মডেল থানার ওসি এস এম মঞ্জুর কাদের বিবিসিকে জানান, নাসিম ওসমানের বিরুদ্ধে বুধবার রাতে জিডি - জনসভা শেষে খালেদা জিয়া ডাকবাংলা থেকে ঢাকা চলে যান। - source_sentence: শুক্রবার সকালে রানা বিডিনিউজ টুয়েন্টিফোর ডটকমকে জানিয়েছেন তিনি ম্যাচ রেফারির রিপোর্ট হাতে পেয়েছেন। sentences: - নভেম্বর মাসে তিনি বিএনপির চেয়ারপার্সন খালেদা জিয়ার সাথে সাক্ষাৎ করেন। - বৃহস্পতিবার বিকেলে মুন্না বিবিসি নিউজকে জানায় যে আমি ম্যাচ রেফারির রিপোর্ট পেয়েছি। - পারিবারিক সূত্র থেকে জানা যায়, সোমবার মাহফুজুল হক খান মস্তিষ্কের রক্তক্ষরণের কারণে স্কয়ার হাসপাতালে ভর্তি হন। - source_sentence: নাটকটি লিখেছেন সুমাইয়া ইসলাম এবং পরিচালনা করেছেন জাহিদ হাসান। sentences: - চলচ্চিত্রটি পরিচালনা করেছেন ইসরাত জাহান কাদের এবং প্রযোজনা করেছেন মাহফুজ আহমেদ। - তিনি ডিমলা থানায় কাজ করতেন এবং প্রত্যক্ষদর্শীদের জানান, হারুন অর রশিদ মোটরসাইকেল নিয়ে নীলফামারী শহরের দিকে যাচ্ছিলেন - দীনেশচন্দ্র বর্মণ নামে একজন ব্যক্তি বগুড়ার নাসিরনগরে ধান মাড়াই কলের সঙ্গে কাপড় জড়িয়ে মারা যান। pipeline_tag: sentence-similarity library_name: sentence-transformers metrics: - pearson_cosine - spearman_cosine model-index: - name: SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 results: - task: type: semantic-similarity name: Semantic Similarity dataset: name: bn sim triplet 6 may 25 type: bn-sim-triplet-6-may-25 metrics: - type: pearson_cosine value: 0.8740945568359383 name: Pearson Cosine - type: spearman_cosine value: 0.8425820492189698 name: Spearman Cosine --- # SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2). It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) - **Maximum Sequence Length:** 128 tokens - **Output Dimensionality:** 384 dimensions - **Similarity Function:** Cosine Similarity ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("farihashifa/bn_sim_triplet2-bn-sim-allmini") # Run inference sentences = [ 'নাটকটি লিখেছেন সুমাইয়া ইসলাম এবং পরিচালনা করেছেন জাহিদ হাসান।', 'চলচ্চিত্রটি পরিচালনা করেছেন ইসরাত জাহান কাদের এবং প্রযোজনা করেছেন মাহফুজ আহমেদ।', 'তিনি ডিমলা থানায় কাজ করতেন এবং প্রত্যক্ষদর্শীদের জানান, হারুন অর রশিদ মোটরসাইকেল নিয়ে নীলফামারী শহরের দিকে যাচ্ছিলেন', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 384] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] ``` ## Evaluation ### Metrics #### Semantic Similarity * Dataset: `bn-sim-triplet-6-may-25` * Evaluated with [EmbeddingSimilarityEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.EmbeddingSimilarityEvaluator) | Metric | Value | |:--------------------|:-----------| | pearson_cosine | 0.8741 | | **spearman_cosine** | **0.8426** | ## Training Details ### Training Dataset #### Unnamed Dataset * Size: 3,500 training samples * Columns: Original_Text, Postive, and Negative * Approximate statistics based on the first 1000 samples: | | Original_Text | Postive | Negative | |:--------|:-----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------| | type | string | string | string | | details | | | | * Samples: | Original_Text | Postive | Negative | |:--------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------| | সেখানে ডিসেম্বর থেকে ফেব্রুয়ারি মাসে বৃষ্টি হয়। | নভেম্বর থেকে জানুয়ারি মাস পর্যন্ত এখানে বৃষ্টি হয়। | নাটকটি পরিচালনা করেছেন মাবরুর রশীদ বান্না এবং প্রযোজনা করেছেন শ্রিয়া সর্বজয়া তৌসি | | গতকাল যশোর ও খুলনার বিভিন্ন পথসভায় বক্তব্য দেন রফিক। | গতকাল কাদের কুমিল্লা ও ফেনীর বিভিন্ন জনসভায় বক্তব্য রাখেন। | তিন দিনের সফরে প্রধানমন্ত্রী বুধবার সকালে তুরস্কে যাওয়ার জন্য ঢাকা ত্যাগ করেন। | | আমাজন প্রাইম ইনস্টাগ্রাম অ্যাপল আইক্লাউড টুইটার ওয়ার্কস্পেস জিমেইল এ সবই ক্লাউড সেবা | ড্রপবক্স নেটফ্লিক্স ফ্লিকার গুগল ড্রাইভ মাইক্রোসফট অফিস ৩৬৫ ইয়াহু মেইল সব ক্লাউড সার্ভিস। | রাজাপুর থানার ওসি আতাউর রহমান বিবিসিকে বলেন, কাউখালী থেকে পিরোজপুর পর্যন্ত বাসটি সাতুরিয়া এলাকায় | * Loss: [TripletLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters: ```json { "distance_metric": "TripletDistanceMetric.EUCLIDEAN", "triplet_margin": 5 } ``` ### Evaluation Dataset #### Unnamed Dataset * Size: 500 evaluation samples * Columns: Original_Text, Postive, and Negative * Approximate statistics based on the first 500 samples: | | Original_Text | Postive | Negative | |:--------|:-----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------| | type | string | string | string | | details | | | | * Samples: | Original_Text | Postive | Negative | |:-------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------| | গত মার্চে চট্টগ্রামে নিজের বাড়িতে খুন হন রিয়াদ ও মোনা। | ফেব্রুয়ারি মাসে রাজধানীতে নিজ বাড়িতে সাগর ও রুনিকে হত্যা করা হয়। | ফিদা কামাল ওয়ান ইলেভেন সরকারের অ্যাটর্নি জেনারেল ছিলেন। | | পহেলা বৈশাখের বিশেষ আকর্ষণ হলো | বৈসু উৎসবের অন্যতম প্রধান আকর্ষণ হচ্ছে উৎসব। | কেন্দুয়া উপজেলা পরিষদ চত্বরে প্রাথমিক শিক্ষার মান উন্নয়নের লক্ষ্যে উপজেলা প্রাথমিক শিক্ষক সমিতি এই সমাবেশের আয়োজন করে। | | আরো বক্তব্য রাখেন জাসদের সদস্য রুমানা আহমেদ নেওয়াজ অধ্যক্ষ এম বি রহমান চৌধুরী ও অধ্যাপক মাহমুদ হাসান। | এ ছাড়া সমিতির সদস্য শ্যামলী নাসরিন চৌধুরী, অধ্যক্ষ এম.এ. আউয়াল সিদ্দিকী এবং অধ্যাপক সাজেদুল ইসলাম | গ্লোবাল মার্চ এগেইনস্ট চাইল্ড লেবার ইন্টারন্যাশনাল সেন্টার অন চাইল্ড লেবার অ্যান্ড এডুকেশন ছাড়াও গ্লোবাল ক্যাম্পেইন ফর এডুকেশন | * Loss: [TripletLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters: ```json { "distance_metric": "TripletDistanceMetric.EUCLIDEAN", "triplet_margin": 5 } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `eval_strategy`: steps - `per_device_train_batch_size`: 128 - `per_device_eval_batch_size`: 128 - `learning_rate`: 2e-05 - `warmup_ratio`: 0.1 - `fp16`: True - `batch_sampler`: no_duplicates #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: steps - `prediction_loss_only`: True - `per_device_train_batch_size`: 128 - `per_device_eval_batch_size`: 128 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 2e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 3 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.1 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: False - `fp16`: True - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: False - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `tp_size`: 0 - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: None - `hub_always_push`: False - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: None - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: proportional
### Training Logs | Epoch | Step | Validation Loss | bn-sim-triplet-6-may-25_spearman_cosine | |:------:|:----:|:---------------:|:---------------------------------------:| | -1 | -1 | - | 0.5069 | | 0.5357 | 15 | 2.7034 | 0.5706 | | 1.0714 | 30 | 1.7806 | 0.7079 | | 1.6071 | 45 | 0.7592 | 0.8145 | | 2.1429 | 60 | 0.4125 | 0.8402 | | 2.6786 | 75 | 0.3555 | 0.8426 | ### Framework Versions - Python: 3.11.12 - Sentence Transformers: 3.4.1 - Transformers: 4.51.3 - PyTorch: 2.6.0+cu124 - Accelerate: 1.6.0 - Datasets: 3.6.0 - Tokenizers: 0.21.1 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### TripletLoss ```bibtex @misc{hermans2017defense, title={In Defense of the Triplet Loss for Person Re-Identification}, author={Alexander Hermans and Lucas Beyer and Bastian Leibe}, year={2017}, eprint={1703.07737}, archivePrefix={arXiv}, primaryClass={cs.CV} } ```