Ujistěte se, že délka odpovědi (tokeny) jsou nastaveny na maximum, což bylo testováno s Pygmalion-7b-4bit-32g-GPTQ-Safetensors a dává to nejlepší resoulty s tímto modelem, gpt by měl fungovat také.