Győződjön meg róla, hogy a Response Length (tokenek) maximális értékre van állítva, ezt a Pygmalion-7b-4bit-32g-GPTQ-Safetensors-szal teszteltük, és ez adja a legjobb eredményeket ezzel a modellel, a gpt-nek is működnie kell.