The logit_bias parameter is great for black listing tokens. But what if I want to do the opposite? Ban all tokens except for the ones I white list. Is there an elegant way to currently accomplish this?
This would be incredibly useful for classification tasks when we want the output to always be one of several labels.
tam tersini yapmak (beyaz liste oluşturup, beyaz liste dışında kalan tüm token’ları yasaklamak) şu anda API’de doğrudan bir parametreyle yapılması zor bir işlem olabilir.
Fakat, bunu başarmanın bazı yolları var:
Beyaz Liste Token’larıyla Kara Liste Uygulama
Post-Processing (Son İşleme)
Toplu Token ID’lerini Bulma
Modellerin Yanıtlarını Manipüle Etme
Bu başlıları deneyebilrsin istersen belki sorununa yardımcı olabilir