Response of chat.openai.com is not same as response of AzureChatOpenAI?

When utilizing the same prompt to answer True/False for a given summary with both ChatGPT and Azure Chat OpenAI API, I frequently receive conflicting responses. What steps should be taken to ensure consistent answers same as ChatGPT?

1 Like

Welcome to the Community!

Could you provide us some of the prompts with explicit examples of the responses?

We don’t handle anything in Microsoft Azure’s domain, as their tools, access, resources, etc. are handled differently (and this is an OpenAI forum, not an Azure one). Therefore, while we can try to help in the best way we can, we’re probably going to be limited, because we can’t even verify if the models you’re interacting with are even the same models. OpenAI’s API and Azure’s might be inferencing different models altogether, hence why you’re seeing different results, and we would have no way of knowing that.

I’d recommend asking Azure for help on this. They would be able to tell you the answers to those questions. We can’t.

1 Like

Could you post a minimal test case showing the problem, like in Python against the Completions API, etc with a unit test against the prompt code showing the flip flop when called in a loop?

You may be able to modfy the prompt or API query parameters to get greter consistency .

Same issue here, in my case:

  • Input prompt:
Bạn là một nhà quản trị cơ sở dữ liệu. Dựa trên câu hỏi của người dùng kết hợp với thời điểm người dùng đặt câu hỏi, hãy tạo một câu SQL truy vấn vào cơ sở dữ liệu để lấy thông tin trả lời câu hỏi của người dùng.
        
# Chú ý:
- Câu SQL phải chính xác và tối ưu về mặt thời gian truy vấn
- Chú ý đặc biệt đến thời điểm đặt câu hỏi, khung thời gian được đề cập trong câu hỏi
- Từ `ma`/`sma` có nghĩa là moving average/ simple moving average chứ không phải là mã cổ phiếu
- Nếu thời gian không được đề cập trong câu hỏi thì phải luôn lùi 1 khung thời gian, ví dụ: với bảng khung thời gian ngày thì lùi 1 ngày, bảng khung thời gian quý thì lùi 1 quý, bảng khung thời gian năm thì lùi 1 năm.

# Nhiệm vụ:
- Câu hỏi: "mã có ma 20 lớn hơn 200"
- Thời điểm đặt câu hỏi: 2024-04-10
- Database Schema:
``
Create table dwh_market.fact_symbol_chi_so_tang_truong_quarterly -- Chỉ số tăng trưởng doanh thu, lợi nhuận của các mã chứng khoán, công ty trong khung thời gian: quý ( 
	unique_id	varchar(32)  -- Unique ID 
	qtr_number	integer  -- Quý - một năm có 4 quý, ví dụ: 1, 2, 3, 4 
	year_number	integer  -- Năm, Year, ví dụ: 2022, 2023,... 
	quarter_year_name	varchar(24)  -- Quý và năm, ví dụ: Q4-2023 
	symbol	varchar(65535) distkey -- Mã chứng khoán, công ty, doanh nghiệp, tập đoàn, ví dụ: HPG, vic, vcb,... 
	doanh_thu_2_qtr_ago	double precision  -- Doanh thu của 2 quý trước, ví dụ: 40,458,798,621 (đơn vị: đồng) 
	ty_le_tang_truong_doanh_thu_1_qtr	double precision  -- Tỷ lệ tăng trưởng doanh thu so với 1 quý trước, ví dụ: 0.34 
	ty_le_tang_truong_doanh_thu_2_qtr	double precision  -- Tỷ lệ tăng trưởng doanh thu so với 2 quý trước, ví dụ: -0.066 
	loi_nhuan_2_qtr_ago	double precision  -- Lợi nhuận của 2 quý trước, ví dụ: 863,924,041 (đơn vị: đồng) 
	ty_le_tang_truong_loi_nhuan_2_qtr	double precision  -- Tỷ lệ tăng trưởng lợi nhuận so với 2 quý trước, ví dụ: -1.44 
)

Create table dwh_market.fact_symbol_chi_so_tang_truong_yearly -- Chỉ số tăng trưởng doanh thu, lợi nhuận, EPS của các mã chứng khoán, công ty trong khung thời gian: năm ( 
	unique_id	varchar(32)  -- Unique ID 
	year_number	integer  -- Năm, Year, ví dụ: 2022, 2023,... 
	symbol	varchar(65535) distkey -- Mã chứng khoán, công ty, doanh nghiệp, tập đoàn, ví dụ: HPG, vic, vcb,... 
	doanh_thu_5_y_ago	double precision  -- Doanh thu của 5 năm trước, ví dụ: 4,236,069,360,770 (đơn vị: đồng) 
	ty_le_tang_truong_doanh_thu_5_y	double precision  -- Tỷ lệ tăng trưởng doanh thu so với 5 năm trước, ví dụ: -0.67 
	loi_nhuan_5_y_ago	double precision  -- Lợi nhuận của 5 năm trước, ví dụ: 316,664,795,156 (đơn vị: đồng) 
)

Create table public.calculate_filter_bien_dong_gia_va_khoi_luong_daily_1d0h0m_1 -- Thông tin về biến động về giá đóng cửa và khối lượng giao dịch chứng khoán theo ngày, một dòng là thông tin của 1 mã trong 1 ngày ( 
	symbol	varchar(20) primary key -- Mã chứng khoán, công ty, doanh nghiệp, tập đoàn, ví dụ: HPG, VIC, VCB,... 
	trading_time	timestamp primary key -- Ngày giao dịch, phiên giao dịch của mã chứng khoán, ví dụ: 2024-06-03 
	accumulated_val_1m	numeric  -- giá trị giao dịch trung bình 20 phiên/ngày gần nhất, giá trị giao dịch trung bình trong tháng vừa rồi, ví dụ: 6.86 (đơn vị: tỷ đồng) 
	close_price	numeric  -- Giá đóng cửa (giá cuối ngày) tại của 1 ngày giao dịch, ví dụ: 7.88 (đơn vị: nghìn đồng) 
	sma_20	numeric  -- Giá trị đường trung bình động đơn giản hay Trung bình giá đóng cửa - giá cuối ngày (SMA) khung 20 ngày, ví dụ: 7.78 (đơn vị: nghìn đồng) 
	sma_20_tag	varchar(40)  -- Tín hiệu SMA khung 20 ngày so với giá đóng cửa,ví dụ: 'Giá cắt lên SMA(20)' 
	sma_100_tag	varchar(40)  -- Tín hiệu SMA khung 100 ngày so với giá đóng cửa,ví dụ: 'Giá cắt xuống SMA(100)' 
)


``

# Câu SQL:
  • chat openai com’s response:
SELECT symbol, trading_time, close_price, sma_20
FROM public.calculate_filter_bien_dong_gia_va_khoi_luong_daily_1d0h0m_1
WHERE trading_time = '2024-04-09'
AND sma_20 > 200;
  • AzureChatOpenAI’s response:
SELECT symbol, trading_time, close_price, sma_20
FROM public.calculate_filter_bien_dong_gia_va_khoi_luong_daily_1d0h0m_1
WHERE sma_20 > 200
AND trading_time < '2024-04-10'
ORDER BY trading_time DESC
LIMIT 1

temperature = 0 and max_tokens = 512