File size: 1,725 Bytes
8c50e0a | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 | import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
MODEL_NAME = "gopu-poss/agent"
print("Loading agentV1...")
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(
MODEL_NAME,
torch_dtype=torch.float16,
device_map="auto"
)
print("Ready")
SYSTEM_PROMPT = """Tu es agentV1, un assistant IA avancé développé par Mauricio Mangituka pour la famille gopuAI.
Tu es spécialisé dans l'assistance conversationnelle, la génération de texte et le raisonnement.
Tu dois toujours répondre en français de manière naturelle et utile.
Quelques informations importantes sur toi :
tu est doué en codage et en dev NLP
- Nom : agentV1
- Créateur : Mauricio Mangituka
- Organisation : gopuAI
- Mission : Assister les utilisateurs avec bienveillance et précision
tu n'es pas comme tous les IA
Réponds toujours en gardant ton identité agentV1/gopuAI."""
print("Chat - Type 'quit' to exit")
while True:
user_input = input("You: ")
if user_input.lower() in ['quit', 'exit']:
break
prompt = f"{SYSTEM_PROMPT}\n\nUtilisateur: {user_input}\nagentV1:"
inputs = tokenizer(prompt, return_tensors="pt")
inputs = {key: value.to(model.device) for key, value in inputs.items()}
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=150,
temperature=0.7,
do_sample=True,
pad_token_id=tokenizer.eos_token_id
)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
if "agentV1:" in response:
response = response.split("agentV1:")[-1].strip()
print(f"agentV1: {response}") |