Zorg ervoor dat de Response Length (tokens) is ingesteld op max. Dit is getest met Pygmalion-7b-4bit-32g-GPTQ-Safetensors en het geeft de beste resultaten met dat model, gpt zou ook moeten werken.