How to use from
SGLang
Install from pip and serve model
# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Gopu-poss/gopu-agent-2k-fdf" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Gopu-poss/gopu-agent-2k-fdf",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'
Use Docker images
docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Gopu-poss/gopu-agent-2k-fdf" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Gopu-poss/gopu-agent-2k-fdf",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'
Quick Links

Gopu Agent 2K FDF

Description

Gopu Agent 2K FDF est un modรจle d'agent conversationnel en franรงais, conรงu pour assister les utilisateurs dans diverses tรขches et rรฉpondre ร  leurs questions de maniรจre naturelle et utile.

Utilisation

Installation

pip install transformers torch

Chargement du modรจle

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "Gopu-poss/gopu-agent-2k-fdf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

Gรฉnรฉration de texte

def generate_response(prompt, max_length=500):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(
        inputs.input_ids,
        max_length=max_length,
        num_return_sequences=1,
        temperature=0.7,
        do_sample=True,
        pad_token_id=tokenizer.eos_token_id
    )
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response

# Exemple d'utilisation
prompt = "Bonjour, peux-tu m'aider ร  planifier ma journรฉe ?"
response = generate_response(prompt)
print(response)

Applications

Ce modรจle peut รชtre utilisรฉ pour :

ยท Assistance conversationnelle ยท Rรฉponse aux questions ยท Gรฉnรฉration de contenu ยท Aide ร  la rรฉdaction ยท Support client automatisรฉ

Limitations

ยท Le modรจle peut parfois gรฉnรฉrer des informations inexactes ยท Les rรฉponses peuvent รชtre influencรฉes par les biais prรฉsents dans les donnรฉes d'entraรฎnement ยท Performance limitรฉe sur des sujets techniques trรจs spรฉcialisรฉs

Entraรฎnement

Le modรจle a รฉtรฉ entraรฎnรฉ sur un corpus de textes en franรงais avec une attention particuliรจre sur les interactions conversationnelles.

Avertissement

Ce modรจle est fourni "tel quel" sans garantie d'aucune sorte. Les utilisateurs sont responsables de l'utilisation qu'ils en font.

Auteur

Gopu-poss

Licence

Apache 2.0

Downloads last month
14
Safetensors
Model size
3B params
Tensor type
BF16
ยท
Inference Providers NEW
This model isn't deployed by any Inference Provider. ๐Ÿ™‹ 2 Ask for provider support

Dataset used to train Gopu-poss/gopu-agent-2k-fdf

Spaces using Gopu-poss/gopu-agent-2k-fdf 2

Collection including Gopu-poss/gopu-agent-2k-fdf