Βεβαιωθείτε ότι το Response Length (tokens) είναι ρυθμισμένο στο max αυτό δοκιμάστηκε με Pygmalion-7b-4bit-32g-GPTQ-Safetensors και δίνει τα καλύτερα resoults με αυτό το μοντέλο, το gpt θα πρέπει να λειτουργεί επίσης.