Убедитесь, что длина отклика (токены) установлена на максимум, это было протестировано с Pygmalion-7b-4bit-32g-GPTQ-Safetensors, и это дает наилучшие результаты с этой моделью, gpt тоже должен работать.