Assurez-vous que la longueur de la réponse (tokens) est réglée au maximum. Ceci a été testé avec Pygmalion-7b-4bit-32g-GPTQ-Safetensors et donne les meilleurs résultats avec ce modèle, gpt devrait fonctionner aussi.