Asegúrese de que la longitud de la respuesta (tokens) se establecen al máximo esto fue probado con Pygmalion-7b-4bit-32g-GPTQ-Safetensors y da mejores resoults con ese modelo, gpt debe trabajar también.