Varmista, että Response Length (tokens) on asetettu maksimiin tämä testattiin Pygmalion-7b-4bit-32g-GPTQ-Safetensors -mallilla ja se antaa parhaat tulokset tällä mallilla, gpt:n pitäisi myös toimia.