How to use bkai-foundation-models/vietnamese-bi-encoder with sentence-transformers:
from sentence_transformers import SentenceTransformer model = SentenceTransformer("bkai-foundation-models/vietnamese-bi-encoder") sentences = [ "Làm thế nào Đại học Bách khoa Hà Nội thu hút sinh viên quốc tế?", "Đại học Bách khoa Hà Nội đã phát triển các chương trình đào tạo bằng tiếng Anh để làm cho việc học tại đây dễ dàng hơn cho sinh viên quốc tế.", "Môi trường học tập đa dạng và sự hỗ trợ đầy đủ cho sinh viên quốc tế tại Đại học Bách khoa Hà Nội giúp họ thích nghi nhanh chóng.", "Hà Nội có khí hậu mát mẻ vào mùa thu.", "Các món ăn ở Hà Nội rất ngon và đa dạng." ] embeddings = model.encode(sentences) similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [5, 5]
How to use bkai-foundation-models/vietnamese-bi-encoder with Transformers:
# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("bkai-foundation-models/vietnamese-bi-encoder") model = AutoModel.from_pretrained("bkai-foundation-models/vietnamese-bi-encoder", device_map="auto")
https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder/resolve/main/bpe.codes
hf download hf://bkai-foundation-models/vietnamese-bi-encoder/bpe.codes
curl -L -o bpe.codes https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder/resolve/main/bpe.codes
