Hugging Face's logo

meandyou200175
/
paraphrase-multilingual-MiniLM-L12-v2_finetune

Sentence Similarity
sentence-transformers
Safetensors
bert
feature-extraction
Generated from Trainer
dataset_size:43000
loss:MultipleNegativesRankingLoss
Eval Results (legacy)
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/paraphrase-multilingual-MiniLM-L12-v2_finetune")
# Run inference
sentences = [
    'Chào bác sĩ. Em đi khám ở bệnh viện đa khoa bác sĩ kết luận là em bị đa nhân 2 thùy tuyến giáp tirads 3 kém đồng nhất 2 thùy tuyến giáp. Nang thùy trái tuyến giáp vậy có nguy hiểm không ạ? Em hoang mang quá ạ.',
    'Chào em, Phân loại Ti-rads là phân loại tiên lượng ác tính của nhân giáp trên siêu âm. + TI-RADS-1: Mô giáp lành. + TI-RADS-2: Các tổn thương lành tính (0% nguy cơ ác tính). + TI-RADS-3: Các tổn thương nhiều khả năng lành tính (1,7% ác tính). + TI-RADS-4: 4a: Tổn thương có 1 dấu hiệu siêu âm nghi ngờ (3,3% ác tính). 4b: Tổn thương có 2 dấu hiệu siêu âm nghi ngờ (9,2% ác tính). 4c: Tổn thương có 3-4 dấu hiệu siêu âm nghi ngờ (44,4-72,4% ác tính). + TI-RADS-5: có từ 5 trở lên dấu hiệu siêu âm nghi ngờ (87,5% ác tính). + TI-RADS-6: Biết chắc chắn bướu ác tính trước đó. Theo kết quả mô tả siêu âm tuyến giáp của em thì hai nhân giáp thùy phải và thùy trái của em được đánh giá là tirads 3 (phân độ nguy cơ ác tính của nhân giáp), tức là nhiều khả năng lành tính và có 1,7% nguy cơ ác tính mà thôi. Đối với nhân giáp tirads 3, nguy cơ ác tính thấp, thì việc quyết định nên sinh thiết hay theo dõi sẽ cần dựa vào nhiều yếu tố khác, như nhân giáp này có làm rối loạn hormone tuyến giáp hay không, tiền căn gia đình có ai bị ung thư không, bản thân em có từng chiếu xạ vùng đầu mặt cổ không… Do đó, em cần khám chuyên khoa Giáp, thuộc chuyên khoa Nội tiết hoặc chuyên khoa Ung bướu để bác sĩ xem lại biên bản siêu âm, khai thác thêm những thông tin về bản thân và gia đình em, làm thêm xét nghiệm nếu chưa đủ (như xét nghiệm kiểm tra chức năng tuyến giáp) từ đó mới đưa ra kết luận về hướng xử trí phù hợp tiếp theo, em nhé.',
    'Hình minh họa.\r\nNguồn Internet Chào bạn, Nếu như đã có\r\ný định đi thì bạn nên đến các phòng khám có bác sĩ chuyên khoa Da liễu để\r\nđược tư vấn cụ thể hơn về vấn đề chăm sóc da và điều trị dứt điểm mụn bạn nhé.\r\nTránh việc đến các cơ sở không uy tín dễ để lại di chứng sẹo xấu cho da mặt. Thân mến! AloBacsi.com Cổng thông tin tư vấn sức khỏe miễn phí',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Reranking

Metric Value
map 0.9982
mrr@1 0.9964
ndcg@1 0.9964

Training Details

Training Dataset

Unnamed Dataset

  • Size: 43,000 training samples
  • Columns: query, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    query positive negative
    type string string string
    details
    • min: 6 tokens
    • mean: 66.63 tokens
    • max: 128 tokens
    • min: 32 tokens
    • mean: 120.11 tokens
    • max: 128 tokens
    • min: 31 tokens
    • mean: 119.58 tokens
    • max: 128 tokens
  • Samples:
    query positive negative
    Chào bác sĩ,


    Em là nam nhưng vú to làm em rất mặc cảm. Em đã đi khám bệnh, sau khi làm các xét nghiệm và chiếu chụp, bác sĩ xác định em phì đại tuyến vú.


    Theo bác sĩ em nên dùng thuốc (nội khoa) hơn hay phẫu thuật (ngoại khoa) hơn? Mỗi phương pháp có lợi hay hại gì ạ? Em băn khoăn lắm, rất mong được bác sĩ tư vấn. Em cảm ơn bác sĩ!    		 Hùng thân mến, Vú to nam giới là tình trạng phì đại tuyến vú , thường không đối xứng hoặc một bên và có thể có mật độ mềm. Chẩn đoán phân biệt với ung thư vú và vú to nam giới giả, thường thấy ở nam giới béo phì và được đặc trưng bởi lắng đọng mô mỡ mà không có tăng sinh tuyến. Nguyên nhân là do tăng hoạt động của estrogen hoặc tăng tỷ số estrogen-androgen Điều trị phụ thuộc vào nguyên nhân gây vú to nam giới, phẫu thuật hay điều trị nội khoa phù hợp với các trường hợp khác nhau. Nội khoa điều trị hormon thay thế sẽ làm cải thiện vú to nam giới ở bệnh nhân nam suy sinh dục. Vú to nam giới do thuốc thì ngưng thuốc, vú to nam giới do dậy thì thì theo dõi. Phẫu thuật được chỉ định nếu có các vấn đề tâm lý, thẩm mỹ trường hợp nhu mô vú tiếp tục phát triển, ác tính. Trân trọng. Tại Việt Nam, chưa ban hành tiêm vắc xin mũi 3 cho người dân. Chào em, Hiện tại ở nước ta chưa có ban hành chỉ thị tiêm mũi thứ 3 vắc xin phòng COVID, vì còn rất nhiều người dân trên cả nước chưa được tiêm chủng mũi vắc xin phòng COVID nào cả, vì chúng ta đang thiếu vắc xin. Vắc xin phòng COVID cho đến hiện nay toàn bộ là miễn phí và phân đồng đều cho tất cả người dân theo chỉ thị của bộ y tế, chưa có cơ sở y tế nào được phép mua bán tiêm vắc xin theo yêu cầu riêng của khách hàng. Vì thế, việc kê khai gian dối tìm cách tiêm mũi thứ 3 vắc xin phòng COVID nếu bị phát hiện có thể bị truy tố pháp luật sau này. Ở các nước phát triển, nguồn vắc xin dự trữ đầy đủ thì họ đã triển khai tiêm mũi thứ 3 vắc xin phòng COVID cho tất cả người dân sau 6-9 tháng từ thời điểm tiêm mũi 2. Cách phối trộn vắc xin mũi thứ 2 cũng tương tự như mũi thứ 3, đó là Astra mũi đầu thì có thể theo sau là Astra hoặc Moderna hoặc Pfizer. Thân mến!
    Thuốc xịt mũi Thái Dương điều trị hắt hơi, sổ mũi, nghẹt mũi (20ml) Mô tả ngắn:
    Thuốc Xịt Mũi Thái Dương là sản phẩm được sản xuất bởi Công ty Cổ phần Sao Thái Dương, thuốc có thành phần chinh là Nghệ vàng ( Rhizoma Curcuma longae ), Menthol ( Mentholum ), Camphor ( Comphora ), được dùng trong các trường hợp: hắt hơi liên tục nhiều lần không dứt, sổ mũi, nghẹt mũi, ứ đọng dịch đờm nhầy trong xoang mũi, xoang trán...mỗi khi thay đổi thời tiết hay hít phải bụi nhà, phấn hoa, mùi lạ...; ngứa mũi, khô mũi, sổ mũi, cảm giác khó chịu ở mũi, viêm mũi do cảm cúm...
    Thuốc Xịt Mũi Thái Dương được bào chế dưới dạng chất lỏng màu vàng, mùi thơm tinh dầu, pH 5-7. Hộp 1 lọ x 20 ml.
    Thành phần:
    Nghệ: 2
    Menthol: 20
    DL-camphor: 20mg
    Chỉ định:
    Thuốc Xịt Mũi Thái Dương được chỉ định dùng trong các trường hợp sau:
    Hắt hơi liên tục nhiều lần không dứt, sổ mũi, nghẹt mũi, ứ đọng dịch đờm nhầy trong xoang mũi, xoang trán...mỗi khi thay đổi thời tiết hay hít phải bụi nhà, phấn hoa, mùi lạ...
    Ngứa mũi, khô mũi, sổ mũi, cảm giác khó chịu ở mũi, viêm mũi do cảm cúm...    		 Mô tả ngắn:
    Triplixam của Công ty Servier, Ireland, thành phần chính perindopril, indapamid và amlodipin; là nhóm thuốc điều trị tăng huyết áp, có các dụng hạ huyết áp; được sử dụng trong điều trị thay thế cho bệnh nhân đã được kiểm soát huyết áp khi kết hợp perindopril/indapamid và amlodipin có cùng hàm lượng.
    Thuốc được bào chế dưới dạng viên nén bao phim, màu trắng, đựng trong hộp chứa 30 viên.
    Thành phần:
    Amlodipine: 10mg
    Indapamide: 2.5mg
    Perindopril: 5mg
    Chỉ định:
    Thuốc Triplixam được chỉ định dùng trong các trường hợp sau: Điều trị thay thế trong điều trị tăng huyết áp cho bệnh nhân đã được kiểm soát huyết áp khi kết hợp perindopril/indapamid và amlodipin có cùng hàm lượng.
    Khoảng 1 tuần nay chân em bị nổi những mụn nhỏ li ti rất ngứa và lây lan, có mụn mềm, có mụn có mài ngay đầu mụn. 3 ngày đầu còn lây sang vùng cánh tay và bụng (nhưng không nhiều), ngay cả vết trầy xước nhỏ ở đầu gối cũng lâu lành.


    Em có đi nhà thuốc và được tư vấn thoa kem Mật Ong Madeleine Ritchie nhưng không thấy hiệu quả. Hiện tại em đang thoa kem Beprosone nhưng cũng không thấy cải thiện nhiều.


    Em không bị côn trùng đốt cũng nhưng không sử dụng mỹ phẩm gì cả, nên không hiểu sao lại bị như vậy. BS có thể tư vấn cho em thuốc thoa đồng thời trị thâm không ạ? Em sợ sẽ để lại thâm rất xấu nên lo lắng. Đây là những loại kem thoa em đã sử dụng nhưng không thấy hiệu quả. Chân thành cảm ơn BS.


    (Bạn đọc Nguyễn Lê Thanh Tâm)    		 Chào em, Em chụp hình những tuýp kem đã dùng nhưng không đưa kèm hình sang thương nên rất khó cho bác sĩ để chẩn đoán bệnh của em là gì và không thể kê toa cho em trong lúc này. Nếu được em vui lòng cung cấp hình ảnh cho chương trình. Em cũng không nên tự ý bôi thuốc vì có thể không điều trị được bệnh mà còn gây ra nhiều tác dụng phụ ảnh hưởng sức khỏe. Nếu quá lo lắng, em nên đến gặp bác sĩ chuyên khoa Da Liễu để được thăm khám trực tiếp và chỉ định xét nghiệm cần thiết để chẩn đoán bệnh em nhé! Thân mến! Chào em, Khi bệnh ung thư gan giai đoạn cuối hay các bệnh ung thư giai đoạn cuối khác thì khả năng sống tiếp là rất thấp. Những thống kê tại bệnh viện cho thấy, bệnh nhân ung thư giai đoạn cuối chỉ sống được khoảng 6 đến 8 tháng, nhanh chỉ trong 1 tháng. Thường các phương pháp điều trị ung thư gan chủ yếu là hóa trị, xạ trị hoặc phẫu thuật cắt bỏ khối u, tiêm Ethanol hoặc nhiệt RFA. Tuy nhiên, đối với ung thư giai đoạn cuối thường không có một phương pháp nào trong y học có thể chữa khỏi bệnh, bởi bệnh đã di căn và lây sang các cơ quan khác của cơ thể như mạch máu, phổi, thận… Thường bác sĩ sẽ cố gắng kiểm soát khối u và kéo dài sự sống cho người bệnh bằng hóa trị và xạ trị, đồng thời cải thiện sức khỏe và động viên tinh thần cho bệnh nhân. Thân mến.
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Dataset

Unnamed Dataset

  • Size: 7,000 evaluation samples
  • Columns: query, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    query positive negative
    type string string string
    details
    • min: 5 tokens
    • mean: 65.65 tokens
    • max: 128 tokens
    • min: 41 tokens
    • mean: 119.4 tokens
    • max: 128 tokens
    • min: 31 tokens
    • mean: 119.51 tokens
    • max: 128 tokens
  • Samples:
    query positive negative
    Thuốc Esseil-10 Davipharm điều trị tăng huyết áp (10 vỉ x 10 viên) Mô tả ngắn:
    Thuốc Esseil-10 là sản phẩm được sản xuất bởi Công ty Cổ phần Dược phẩm Đạt Vi Phú. Thuốc có thành phần chính là cilnidipin, được chỉ định để điều trị tăng huyết áp.
    Thuốc Esseil-10 được bào chế dưới dạng viên nén tròn, bao phim màu vàng, một mặt có dập logo, mặt kia có dập gạch ngang và được đóng gói theo quy cách hộp 10 vỉ x 10 viên.
    Thành phần:
    Cilnidipine: 10mg
    Chỉ định:
    Thuốc Esseil-10 được chỉ định dùng trong các trường hợp sau: Cilnidipin được chỉ định để điều trị tăng huyết áp.    		 Mô tả ngắn:
    Thuốc Althax là sản phẩm của Mediplantex chứa hoạt chất Thymomodulin có tác dụng hỗ trợ dự phòng tái phát nhiễm khuẩn hô hấp ở trẻ em và người lớn; viêm mũi dị ứng, dự phòng tái phát dị ứng thức ăn; cải thiện các triệu chứng lâm sàng ở bệnh nhân HIV/AIDS và tăng cường hệ miễn dịch đã suy giảm ở người cao tuổi.
    Thành phần:
    Thymomodulin: 120mg
    Chỉ định:
    Thuốc Althax được chỉ định dùng trong các trường hợp sau:
    Hỗ trợ dự phòng tái phát nhiễm khuẩn hô hấp ở trẻ em và người lớn. Hỗ trợ điều trị viêm mũi dị ứng , dự phòng tái phát dị ứng thức ăn. Hỗ trợ cải thiện các triệu chứng lâm sàng ở bệnh nhân HIV/AIDS . Hỗ trợ tăng cường hệ miễn dịch đã suy giảm ở người cao tuổi.
    Thưa BS,


    Con là nữ, năm nay 14 tuổi. Dạo gần đây do uống thuốc nhiều con hay bị táo bón. Con có tìm hiểu sơ về bệnh trĩ, nhưng khi đi đại tiện con không bị chảy máu gì cả. Gần đây con có cảm giác hơi vướng ở hậu môn, không hẳn là ở hậu môn, cứ như ở ngoài phía 2 bên mép thôi.


    Cứ thi thoảng là bị rồi hình như tự hết thì phải, có cảm giác khi đi ngoài chưa đi hết và thi thoảng thấy như có vật gì nhỏ lòi ra ngoài nhưng tự cơ thể có thể đẩy vô được bình thường. Dấu hiệu như vậy giống với bệnh nào nhất vậy BS? Con cảm ơn BS.    		 Chào em, Theo thông tin em cung cấp, nhiều khả năng em có , nhưng ở mức độ nhẹ khoảng trĩ độ 1 mà thôi. Cảm giác đi cầu chưa hết thường là do khối phân tròn nhỏ sót lại, khó xuất ra do mô xung quanh hậu môn đã phù nề kèm với búi trĩ sau khi em đã cố rặn một lúc lâu, cũng có thể đó chính là búi trĩ nội. Vì thế em không cần và không nên ráng rặn tiếp để xuất hết khối phân này, ở lần đi tiêu tiếp theo sẽ tự khắc thải ra được. Tình trạng này thì không cần dùng thuốc, chỉ cần thay đổi lối sống bằng cách ăn nhiều rau xanh, trái cây, hạn chế thực phẩm cay, nhiều dầu mỡ, uống nhiều nước, tối thiểu phải 2-3 lít nước mỗi ngày, không ngồi lâu trên 5 phút khi đi vệ sinh, tập thể dục đều đặn sẽ giúp em cải thiện tình trạng này, em nhé. Thân mến! Nếu bạn là phụ nữ nhiễm virus viêm gan B, khi có thai bạn nên đi khám đúng chuyên khoa Trong bệnh nhiễm virus viêm gan B thì có những thể lâm sàng sau: Nhiễm virus viêm gan B thể không hoạt động: tế bào gan không bị tổn thương, men gan không tăng, không cần điều trị, chỉ theo dõi định kỳ men gan, tầm sóat ung thư gan (AFP, siêu âm bụng) và sống lối sống lành mạnh, hạn chế các chất độc gan (bia rượu, thuốc uống bừa bãi, thuốc đông nam không rõ loại). Viêm gan B, tức là vừa nhiễm virus viêm gan B và virus này đang làm tổn thương gan, men gan sẽ tăng. Viêm gan B được chia thành viêm gan B cấp và viêm gan B mạn tính. Viêm gan B cấp tính là tổn thương tế bào gan cấp do nhiễm HBV, hiện tượng tế bào gan bị phá hủy không phải do virus mà do chính cơ thể chống lại virus gây ra, và trong vòng 6 tháng là cơ thể sẽ thải toàn bộ virus và tạo miễn dịch bảo vệ suốt đời. Viêm gan B mạn là cơ thể không thể tự thải trừ HBV ra khỏi cơ thể sau 6 tháng. BS không rõ em thuộc thể nào, có đang dùng thuốc đặc trị viêm gan B hay không, nhưng nhìn chung bây giờ bệnh này nước ta kiểm soát lây truyền từ mẹ sang con rất là tốt, có nhiều chiến lược cho từng trường hợp khác nhau: mẹ nhiễm virus viêm gan B thể không hoạt động hay mẹ viêm gan B mạn đang dùng thuốc dự định có con, mẹ viêm gan B mạn đang dùng thuốc và vô tình phát hiện co con. Do đó, vợ chồng em nay muốn có em bé thì nên đến khám tại chuyên khoa gan mật trước, trình bày ý định này của mình để bs kiểm tra lại tổng quát cho em, tùy tình huống mà sẽ có hướng dẫn cụ thể riêng, em nhé.
    Thuốc Fexet Getz điều trị viêm mũi dị ứng, mày đay tự phát mãn tính (2 vỉ x 5 viên) Mô tả ngắn:
    Fexet 120 mg có thành phần chính fexofenadine, do công ty Getzpharma sản xuất, được dùng để điều trị làm giảm các triệu chứng có liên quan đến bệnh viêm mũi dị ứng theo mùa và nổi mề đay tự phát mãn tính.
    Thành phần:
    Fexofenadine: 120mg
    Chỉ định:
    Thuốc Fexet 120 mg được chỉ định dùng trong các trường hợp sau:
    Ðiều trị làm giảm các triệu chứng có liên quan đến bệnh:
    Viêm mũi dị ứng theo mùa bao gồm hắt hơi, sổ mũi , ngứa mũi, miệng, cổ họng, chảy nước mắt, đỏ mắt. Nổi mề đay tự phát mãn tính.    		 Mô tả ngắn:
    Hoạt Huyết Dưỡng Não được phân phối bởi Công ty cổ phần dược phẩm Xanh, thành phần chính là cao khô lá bạch quả, cao khô rễ đinh lăng, là thuốc dùng trong trường hợp đau đầu, chóng mặt, giảm trí nhớ; thiểu năng tuần hoàn não, ù tai, giảm thính lực. Ngoài ra, thuốc còn được dùng trong chứng đau cách hồi do tắc động mạch chi dưới mãn tính, hội chứng Raynaud và chứng nhược dương.
    Thành phần:
    Bạch quả: 80mg
    Đinh lăng: 75mg
    Chỉ định:
    Thuốc Hoạt Huyết Dưỡng Não được chỉ định dùng trong các trường hợp sau:
    Đau đầu , chóng mặt, giảm trí nhớ. Thiểu năng tuần hoàn não, ù tai , giảm thính lực. Dùng trong chứng đau cách hồi do tắc động mạch chi dưới mãn tính, hội chứng Raynaud và chứng nhược dương.
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • learning_rate: 2e-05
  • num_train_epochs: 5
  • warmup_ratio: 0.1
  • fp16: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 5
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss dev-eval_map
0 0 - - 0.9784
0.0372 100 1.102 - -
0.0744 200 0.7679 - -
0.1116 300 0.5825 - -
0.1488 400 0.5424 - -
0.1860 500 0.5088 - -
0.2232 600 0.4052 - -
0.2604 700 0.4012 - -
0.2976 800 0.3834 - -
0.3348 900 0.3688 - -
0.3720 1000 0.3395 0.3014 0.9954
0.4092 1100 0.3401 - -
0.4464 1200 0.3096 - -
0.4836 1300 0.3438 - -
0.5208 1400 0.2635 - -
0.5580 1500 0.3225 - -
0.5952 1600 0.3069 - -
0.6324 1700 0.2943 - -
0.6696 1800 0.2819 - -
0.7068 1900 0.2679 - -
0.7440 2000 0.2646 0.2357 0.9964
0.7812 2100 0.2487 - -
0.8185 2200 0.2254 - -
0.8557 2300 0.2623 - -
0.8929 2400 0.2399 - -
0.9301 2500 0.2206 - -
0.9673 2600 0.2299 - -
1.0045 2700 0.2218 - -
1.0417 2800 0.2163 - -
1.0789 2900 0.206 - -
1.1161 3000 0.2099 0.1937 0.9976
1.1533 3100 0.2116 - -
1.1905 3200 0.2027 - -
1.2277 3300 0.1779 - -
1.2649 3400 0.1686 - -
1.3021 3500 0.1675 - -
1.3393 3600 0.1487 - -
1.3765 3700 0.141 - -
1.4137 3800 0.1363 - -
1.4509 3900 0.133 - -
1.4881 4000 0.1357 0.1823 0.9977
1.5253 4100 0.1008 - -
1.5625 4200 0.1249 - -
1.5997 4300 0.1258 - -
1.6369 4400 0.121 - -
1.6741 4500 0.108 - -
1.7113 4600 0.112 - -
1.7485 4700 0.0988 - -
1.7857 4800 0.0998 - -
1.8229 4900 0.1031 - -
1.8601 5000 0.1097 0.1697 0.9981
1.8973 5100 0.1025 - -
1.9345 5200 0.0877 - -
1.9717 5300 0.101 - -
2.0089 5400 0.0963 - -
2.0461 5500 0.083 - -
2.0833 5600 0.0842 - -
2.1205 5700 0.0861 - -
2.1577 5800 0.0999 - -
2.1949 5900 0.0972 - -
2.2321 6000 0.0859 0.1635 0.998
2.2693 6100 0.0769 - -
2.3065 6200 0.0778 - -
2.3438 6300 0.0684 - -
2.3810 6400 0.0623 - -
2.4182 6500 0.0636 - -
2.4554 6600 0.0647 - -
2.4926 6700 0.0586 - -
2.5298 6800 0.0464 - -
2.5670 6900 0.0587 - -
2.6042 7000 0.0617 0.1560 0.9984
2.6414 7100 0.0618 - -
2.6786 7200 0.0453 - -
2.7158 7300 0.0687 - -
2.7530 7400 0.0434 - -
2.7902 7500 0.0447 - -
2.8274 7600 0.0508 - -
2.8646 7700 0.0554 - -
2.9018 7800 0.0459 - -
2.9390 7900 0.0478 - -
2.9762 8000 0.0449 0.1494 0.9981
3.0134 8100 0.0505 - -
3.0506 8200 0.0484 - -
3.0878 8300 0.0382 - -
3.125 8400 0.0496 - -
3.1622 8500 0.0513 - -
3.1994 8600 0.051 - -
3.2366 8700 0.0474 - -
3.2738 8800 0.0382 - -
3.3110 8900 0.0412 - -
3.3482 9000 0.0294 0.1493 0.9983
3.3854 9100 0.0325 - -
3.4226 9200 0.036 - -
3.4598 9300 0.0371 - -
3.4970 9400 0.0357 - -
3.5342 9500 0.0285 - -
3.5714 9600 0.0289 - -
3.6086 9700 0.0331 - -
3.6458 9800 0.0378 - -
3.6830 9900 0.0249 - -
3.7202 10000 0.0402 0.1478 0.9981
3.7574 10100 0.0298 - -
3.7946 10200 0.0281 - -
3.8318 10300 0.0271 - -
3.8690 10400 0.0301 - -
3.9062 10500 0.0274 - -
3.9435 10600 0.023 - -
3.9807 10700 0.0239 - -
4.0179 10800 0.0259 - -
4.0551 10900 0.0294 - -
4.0923 11000 0.0233 0.1483 0.9983
4.1295 11100 0.033 - -
4.1667 11200 0.0337 - -
4.2039 11300 0.027 - -
4.2411 11400 0.0262 - -
4.2783 11500 0.0243 - -
4.3155 11600 0.028 - -
4.3527 11700 0.019 - -
4.3899 11800 0.0187 - -
4.4271 11900 0.0222 - -
4.4643 12000 0.0227 0.1416 0.9981
4.5015 12100 0.0213 - -
4.5387 12200 0.0183 - -
4.5759 12300 0.0223 - -
4.6131 12400 0.0205 - -
4.6503 12500 0.0229 - -
4.6875 12600 0.0172 - -
4.7247 12700 0.0272 - -
4.7619 12800 0.0157 - -
4.7991 12900 0.0161 - -
4.8363 13000 0.015 0.1414 0.9982
4.8735 13100 0.0196 - -
4.9107 13200 0.0179 - -
4.9479 13300 0.0196 - -
4.9851 13400 0.015 - -

Framework Versions

  • Python: 3.10.14
  • Sentence Transformers: 3.2.0
  • Transformers: 4.45.1
  • PyTorch: 2.4.0
  • Accelerate: 0.34.2
  • Datasets: 3.0.1
  • Tokenizers: 0.20.0

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
76
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for meandyou200175/paraphrase-multilingual-MiniLM-L12-v2_finetune

Base model

sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
Finetuned
(349)
this model

Papers for meandyou200175/paraphrase-multilingual-MiniLM-L12-v2_finetune

Evaluation results