確保將響應長度(令牌)設置為最大,這是使用 Pygmalion-7b-4bit-32g-GPTQ-Safetensors 測試的,它為該模型提供了最佳結果,gpt 也應該可以工作。
@Dittin AI
2/7/2024,