When I was trying the following API. It takes approx 1Min to 3Min time to get a response from chatGPT.
curl --location ‘https://api.openai.com/v1/chat/completions’
–header ‘Content-Type: application/json’
–header ‘Authorization: AUTH_TOKEN’
–data ‘{
“model”: “gpt-3.5-turbo”,
“messages”: [ {
“role”: “user”,
“content”: “ممكن تكتب لي مقالة مطولة عن رؤية المملكة 2030 مع تزويدي بأمثلة عن المشاريع الكبيرة التي تعمل عليها الحكومة ؟ مع إضافة بعض المصادر.”
}]
}’
If I use the following model and API. It gives me a response ~20Sec to ~50Sec.
curl --location ‘https://api.openai.com/v1/completions’
–header ‘Content-Type: application/json’
–header ‘Authorization: AUTH_TOKEN’
–data ‘{
“model”: “text-davinci-003”,
“prompt”: “ممكن تكتب لي مقالة مطولة عن رؤية المملكة 2030 مع تزويدي بأمثلة عن المشاريع الكبيرة التي تعمل عليها الحكومة ؟ مع إضافة بعض المصادر.”,
“temperature”: 0.9,
“max_tokens”: 150,
“top_p”: 1,
“frequency_penalty”: 0.0,
“presence_penalty”: 0.6,
“stop”: [" Human:“, " AI:”]
}’
Why gpt-3.5-turbo takes time in minutes to respond to the query? Is there any way to optimize the response time for gpt-3.5-turbo?