GPT-3.5-turbo VS GPT-3.5-turbo-16k

Hi there,
i’m experiencing some results differences between GTP-3.5-turbo and the new GPT-3.5-turbo-16k.
The 16k version returns always a better response then the old one (as expected) but in some case it doesn’t return any results.
Asking the same quastion on the same context, same embeddigns, same parameters, GPT-3.5-turbo return a result (even if not so accurate, but quite good) the 16k version don’t.
At the beginning i thought that was the amount of data in the contex: on the 16k version i put much more context in the PROMPT so i though, maybe there is to much noise. I then used the exact number of tokens both in input and output (max_tokens) but the behaviour is the same.
Why this difference?

2 Likes

Hi Gianluca,

How are you detecting the lack of a returned response?

Hi @Foxabilo ,
asking the same question, in the first case i got a response, with the 16k i got the sentence i’ve told GPT to use if he could not find an answer.

Apologies if I was unclear, what is the code you use to determine if a result has been returned?

Are you just using the OpenAI library with an await command?

Also, do you mean you get a reply but it’s blank?

Sorry my fault.
I use python library to make request to opneai API.
This is the method i use to perform the request:

  def answer_query_with_context(
      self,
      query: str,
      df: pd.DataFrame,      
      show_prompt: bool = False
      ) -> str:
    
      COMPLETIONS_API_PARAMS = {
          "user":"Mexal-User",
          # We use temperature of 0.0 because it gives the most predictable, factual answer.
          "temperature": 0.0,
          # con GPT-3.5-turbo-16k ho a disposizione 16k token: 8000 massimo nel prompt e 6000 li lascio nel complation
          # potrei mettere anche 8000 ma più token=più costo
          "max_tokens": self.MAX_COMPLETION_TOKENS,
          "model": self.COMPLETIONS_MODEL,
      }    
      
      #prende gli embeddings dal dataframe e li passa come una serie Pandas
      document_embeddings = df.embeddings
      prompt = self.construct_prompt(
          query,
          document_embeddings,
          df
      )
      
      if show_prompt:
          print(prompt)
      """ completion
      response = openai.Completion.create(
                  prompt=prompt,
                  **COMPLETIONS_API_PARAMS
              )
      """
      messages = [
          {"role":"system","content":f"{self.file_desc}"},
          {"role":"user","content":prompt}
        ]
      """
      response = openai.ChatCompletion.create(
                  messages=messages,
                  **COMPLETIONS_API_PARAMS
              )      
      """
      response = self._retry(openai.ChatCompletion.create, messages=messages,**COMPLETIONS_API_PARAMS)
      self.logger.debug(f'N° prompt tokens:{len(self.enc.encode(prompt))}')
      return response["choices"][0]["message"]["content"].strip(" \n")

This same method is used both from GPT-3.5-turbo and GPT-3.5-turbo-16k. The difference is only in the model selected and max tokens used.

This is the response i got when there is no answer form GPT (in Italian):

{
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "message": {
        "content": "Mi servono ulteriori indicazioni per rispondere correttamente alla domanda.",
        "role": "assistant"
      }
    }
  ],
  "created": 1687870716,
  "id": "chatcmpl-7W2ZA8LAKhzggLf1uylYLPaNqpb27",
  "model": "gpt-3.5-turbo-16k-0613",
  "object": "chat.completion",
  "usage": {
    "completion_tokens": 19,
    "prompt_tokens": 12236,
    "total_tokens": 12255
  }
}

EDIT: in this example i’ve increased the amount of input tokens to max 12.000 but with no effect.

This is the response at the same question but with GPT-3.5-turbo

{
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "message": {
        "content": "Per quanto riguarda la corretta rilevazione degli accantonamenti per i fondi rischi, \u00e8 importante verificare se tali valori sono stati precedentemente indicati nella GESTIONE REVERSAL presente nel RACCORDO CONTABILITA\u2019 CIVILE FISCALE, come indicato nel paragrafo 3 della sezione BILANCIO FISCALE del software di STAMPE CONTABILI. Inoltre, \u00e8 necessario considerare se tali quote sono state considerate indeducibili ai fini fiscali nel bilancio 2021. Nel caso in cui ci sia stata una ripresa degli importi delle quote indicate come indeducibili nell'anno precedente, nonostante non siano stati utilizzati tali fondi nel corso dell'anno, \u00e8 necessario verificare se tale ripresa sia corretta o meno, anche tenendo conto dell'interpretazione della risoluzione E204/208. Tuttavia, per fornire una risposta pi\u00f9 precisa e dettagliata, potrebbero essere necessarie ulteriori informazioni sulle specifiche circostanze e sulle modalit\u00e0 di utilizzo del software di Passepartout. Grazie per aver utilizzato questa chat.",
        "role": "assistant"
      }
    }
  ],
  "created": 1687871165,
  "id": "chatcmpl-7W2gPuib6HSQZsBvtfZfHx6wD8OIL",
  "model": "gpt-3.5-turbo-0301",
  "object": "chat.completion",
  "usage": {
    "completion_tokens": 273,
    "prompt_tokens": 2690,
    "total_tokens": 2963
  }
}

Ok, thankyou, that is interesting, nothing jumps out at me as wrong, code wise, at least for testing code, more error handling and try stuff around the retry would be good. (total side point)

The return message is interesting, it shows that the AI is expecting more information about the prompt, that is a refinement I believe, the model will now be more inquisitive when it thinks it needs more information or has insufficient information to make a reply without hallucination.

This suggests that the prompt was ambiguous in some way, i.e. it contained some question that relies on some facts that are possibly not known.

Do you have an example of the prompt that generated this reply?

Yes i could post the entire PROMPT but it’s in Italian.
Here it is:

First part

send: b'POST /v1/embeddings HTTP/1.1\r\nHost: api.openai.com\r\nUser-Agent: OpenAI/v1 PythonBindings/0.27.4\r\nAccept-Encoding: gzip, deflate, br\r\nAccept: */*\r\nConnection: keep-alive\r\nX-OpenAI-Client-User-Agent: {"bindings_version": "0.27.4", "httplib": "requests", "lang": "python", "lang_version": "3.8.16", "platform": "Windows-10-10.0.22000-SP0", "publisher": "openai", "uname": "Windows 10 10.0.22000 AMD64 Intel64 Family 6 Model 94 Stepping 3, GenuineIntel"}\r\nAuthorization: Bearer ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■JocSuB2G\r\nContent-Type: application/json\r\nContent-Length: 785\r\n\r\n'
send: b'{"model": "text-embedding-ada-002", "input": "avremmo bisogno di un chiarimento per quanto riguarda la corretta\\nrilevazione degli accantonamenti per i fondi rischi.\\nDa una nostra verifica ci siamo resi conto che sul bilancio 2021 la\\nquota destinata a tali fondi \\u00e8 stata a nostro avviso giustamente\\nconsiderata indeducibile ai fini fiscali.\\nelaborando ora il bilancio 2022, il programma riporta tra i costi ai\\nfini fiscali gli importi delle quote indicate come indetraibili\\nnell\\u2019anno precedente, pur non avendo utilizzato tali fondi nel corso\\ndell\\u2019anno.\\na nostro avviso tale ripresa non \\u00e8 corretta, anche tenendo conto\\ndell\\u2019interpretazione della risoluzione E204/208\\u201d qualcuno mi puo dare delle delucidazioni grazie", "encoding_format": "base64"}'
reply: 'HTTP/1.1 200 OK\r\n'
header: Date: Tue, 27 Jun 2023 13:34:35 GMT
header: Content-Type: application/json
header: Transfer-Encoding: chunked
header: Connection: keep-alive
header: access-control-allow-origin: *
header: openai-organization: user-kmmgnfce8e6vwjvx9wsat46k
header: openai-processing-ms: 484
header: openai-version: 2020-10-01
header: strict-transport-security: max-age=15724800; includeSubDomains
header: x-ratelimit-limit-requests: 3000
header: x-ratelimit-limit-tokens: 1000000
header: x-ratelimit-remaining-requests: 2999
header: x-ratelimit-remaining-tokens: 999831
header: x-ratelimit-reset-requests: 20ms
header: x-ratelimit-reset-tokens: 10ms
header: x-request-id: 9733089660da6e2af1a24ff38feaead9
header: CF-Cache-Status: DYNAMIC
header: Server: cloudflare
header: CF-RAY: 7dde1172edaf374f-MXP
header: Content-Encoding: br
header: alt-svc: h3=":443"; ma=86400

EDIT: sorry this is the embeddings of the question

Second part:

send: b'POST /v1/chat/completions HTTP/1.1\r\nHost: api.openai.com\r\nUser-Agent: OpenAI/v1 PythonBindings/0.27.4\r\nAccept-Encoding: gzip, deflate, br\r\nAccept: */*\r\nConnection: keep-alive\r\nX-OpenAI-Client-User-Agent: {"bindings_version": "0.27.4", "httplib": "requests", "lang": "python", "lang_version": "3.8.16", "platform": "Windows-10-10.0.22000-SP0", "publisher": "openai", "uname": "Windows 10 10.0.22000 AMD64 Intel64 Family 6 Model 94 Stepping 3, GenuineIntel"}\r\nAuthorization: Bearer ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■JocSuB2G\r\nContent-Type: application/json\r\nContent-Length: 27024\r\n\r\n'
send: b'{"messages": [{"role": "system", "content": "Rispondi a domande sull\'utilizzo della contabilit\\u00e0 generale del software di Passepartout"}, {"role": "user", "content": "Rispondi alla domanda nel modo pi\\u00f9 completo e veritiero possibile basandoti esclusivamente sul contesto fornito e termina la risposta dicendo \\"Grazie per aver utilizzato questa chat\\". Se non trovi nessuna risposta da fornire dici: \\"mi servono ulteriori indicazioni per rispondere correttamente alla domanda.\\"\\n\\nContext:\\n\\n*  Mexal \\u25ac CONTABILITA\' \\u25ac Contributo a fondo perduto Covid-19 \\u25ac Contributo a fondo perduto c.d. perequativo DL 73/2021 (Sostegni-bis) Il Legislatore nell’ambito del c.d. “Decreto Sostegni bis” (art.1, commi da 16 a 26 DL n.73/2021) ha previsto il riconoscimento di un contributo a fondo perduto detto perequativo a favore dei soggetti titolari di partita IVA, che hanno:  conseguito ricavi / compensi 2019 non superiori a € 10 milioni;sub\\u00ecto un peggioramento del risultato economico dell’esercizio 2020 rispetto a quello 2019 in misura pari o superiore ad una specifica percentuale, che sar\\u00e0 determinata con successivo decreto;presentato la dichiarazione dei redditi dell’esercizio 2020 entro il 10 settembre 2021, termine poi posticipato al 30 settembre con comunicato stampa del 06 settembre.Purtroppo:  La percentuale di riduzione necessaria per richiedere il contributo ancora non \\u00e8 nota, l’identificazione \\u00e8 demandata ad un decreto del Ministero dell’economia e delle finanze, non ancora emanato.Il provvedimento dell’Agenzia delle Entrate che individua con precisione i campi delle dichiarazioni dei redditi 2019 e 2020 da confrontare per verificare il peggioramento di risultato economico, \\u00e8 stato pubblicato solo lo scorso sabato 4 settembre.In attesa del rilascio della stampa di confronto, allegato al presente chiarimento, abbiamo predisposto un foglio elettronico che semplifica la determinazione dello scostamento dettagliato della tipologia di reddito.     Foglio elettronico: Tabella_Confronto_Contributo_Perequativo.xls  \\n*  Passcom \\u25ac ADP \\u25ac Generazione documento \\u25ac Rendiconto finanziario: possibili cause di squadrature tra flusso finanziario dell\'esercizio e variazione delle disponibilit\\u00e0 liquide \\u25ac Parte 1 Nel caso in cui l\'elaborazione automatica del Rendiconto finanziario (che si basa sugli ultimi due bilanci UE, l\'associazione automatica del piano dei conti aziendale e l\'archivio dei cespiti) dovesse evidenziare una squadratura tra il flusso finanziario complessivo dell\'esercizio e la variazione delle disponibilit\\u00e0 liquide si consiglia di premunirsi della stampa del bilancio UE con il dettaglio dei conti movimentati e delle schede contabili relative ai conti movimentati, quindi effettuare i seguenti controlli:         1.      “quota indennit\\u00e0 di fine rapporto” oppure \'utilizzi indennit\\u00e0 di fine rapporto (-)\': se \\u00e8 valorizzata questa voce controllare che gli importi elaborati corrispondano ad un effettivo accantonamento di TFR al fondo TFR oppure ad un suo utilizzo tramite un esborso monetario per anticipi erogati ai dipendenti o per erogazioni ai dipendenti che terminano il rapporto di lavoro (la voce rileva infatti il progressivo dare del codice CEE B9c di conto economico);       2.       acquisti di oneri pluriennali con ammortamento diretto (quelli classificati in BI che nel Piano dei conti standard sono i conti di tipo k del mastro 106): se utilizzati occorre inserire manualmente i rispettivi importi pagati sulla voce \'acquisizioni di immobilizzazioni materiali\' presente nella scheda Questionario;     3.       svalutazioni/rivalutazioni di partecipazioni : nel caso di diminuzione di uguale importo della partecipazione (scrittura contabile: svalutazione di partecipazione a partecipazione) oppure utilizzando come contropartita il fondo svalutazione presente in BIII (scrittura contabile: svalutazione di partecipazione a fondo svalutazione partecipazione), occorre eliminare tale importo dalla voce, in quanto trattasi di una diminuzione di valore non legata ad una cessione monetaria, allo stesso modo, nel caso di rivalutazioni di partecipazioni finanziarie tramite la scrittura contabile: Partecipazione a rivalutazione di partecipazione, occorre eliminare l’importo dalla voce, in quanto trattasi di un incremento non monetario gi\\u00e0 compreso sulla voce Rivalutazioni di attivit\\u00e0 finanziarie;       4. \\n*  Passcom \\u25ac CONTABILITA\' \\u25ac Contributo a fondo perduto Covid-19 \\u25ac Contributo a fondo perduto per i soggetti con ricavi fino a 15 milioni \\u25ac Parte 1 Con provvedimento n. 268440/2021 del 13/10/2021, l\'Agenzia delle Entrate ha definito modalit\\u00e0 e termini di presentazione dell’istanza per il riconoscimento dei contributi a fondo perduto di cui all’art. 1, comma 30-bis del DL 73/2021 convertito e rivolto ai soggetti che abbiano conseguito un ammontare di ricavi o di compensi superiore a 10 milioni di euro e fino a 15 milioni di euro nel periodo d’imposta 2019 (per i soggetti “solari”).  La trasmissione dell’Istanza pu\\u00f2 essere effettuata a partire dal giorno 14 ottobre 2021 e non oltre il giorno 13 dicembre 2021 e pu\\u00f2 essere presentata mediante il software di compilazione reso disponibile gratuitamente dall’Agenzia delle entrate.     Di seguito riportiamo le funzioni utilizzabili nel programma per compilare i dati richiesti di fatturato medio mensile.  Sezione requisiti di cui alla lettera a) del comma 30-bis del decreto-legge 25 maggio 2021, n. 73In questa sezione, occorre indicare l’importo medio mensile del fatturato e dei corrispettivi riferiti alle operazioni effettuate nell’anno 2019 e nell’anno 2020.  Per compilare questi campi si pu\\u00f2 utilizzare la funzione \'Stampe - contabili - stampa scostamento fatturato\', accedendo alla funzione in data 2020, e i totali annuali riportati in stampa devono essere divisi per 12 cos\\u00ec da determinare la media mensile.  Le aziende che hanno attivato la partita iva dopo il 31/12/18, dovranno invece dividere per i mesi di attivit\\u00e0 dell\'anno, escludendo quello in cui \\u00e8 stata attivata la partita iva (esempio: partita iva attivata ad aprile 2019, si divide per 8 mesi il fatturato 2019 e per 12 mesi il fatturato 2020). \\n*  Paghe \\u25ac PAGHE \\u25ac Cedolini: elaborazione e stampa \\u25ac Welfare aziendale \\u25ac Parte 3 L’importo indicato sulla voce 0C5 sar\\u00e0 riportato nella casella 575 della CU/2019; inoltre sar\\u00e0 incluso nella casella 573 ed escluso dalla casella 441.  Le nuove voci, insieme alla voce 06Y, si trovano nell’elenco delle Voci Fisse al punto 2.2.2 ‘Retribuzioni in natura’ (possono essere utilizzate sulle Variazioni Mensili o sulle Voci Fisse, in base alla situazione che occorre gestire).     Inoltre con l\'aggiornamento 821 di marzo 2022, rendiamo disponibili alcune nuove voci per la gestione del welfare aziendale.  Le nuove voci possono essere utilizzate per indicare, in busta paga, i rimborsi delle spese relative ad istruzione, assistenza sanitaria e socio-sanitaria, trasporto pubblico ed altri servizi previsti negli accordi del welfare aziendale. Tramite le nuove voci \\u00e8 possibile erogare effettivamente l’importo del rimborso in busta paga, oppure indicarlo soltanto come rimborso “figurativo” (nel caso in cui sia stato erogato precedentemente). In entrambi i casi, l’importo rimane esente sia ai fini previdenziali che fiscali, oltre che escluso da qualsiasi istituto contrattuale (compreso il Tfr).  Alcune voci corrispondono alle tipologie di rimborsi da indicare nella sezione ‘Rimborsi di beni e servizi’ della CU. Le voci in questione saranno quindi riportate nel campo 704 della CU ed i corrispondenti codici saranno indicati automaticamente nei campi 702 o 703 (precisiamo che si tratta di campi “multimodulo”, ossia con pi\\u00f9 occorrenze). Naturalmente, il suddetto automatismo sar\\u00e0 previsto sulla CU/2023, relativa all’anno di competenza 2022. \\n*  STAMPE CONTABILI \\u25ac BILANCI \\u25ac BILANCIO FISCALE \\u25ac Paragrafo 3 \\u25ac  Analogamente affinch\\u00e8 vengano considerate correttamente quote di competenza di anni precedenti relative a ricavi/oneri pluriennali \\u00e8 necessario che tali valori siano stati precedentemente indicati nella GESTIONE REVERSAL presente nel RACCORDO CONTABILITA\\u2019 CIVILE FISCALE.  \\n*  Paghe \\u25ac PAGHE \\u25ac Cedolini: elaborazione e stampa \\u25ac inquadramento Operaio edile \\u25ac Parte 2 La voce 4E9 pu\\u00f2 essere selezionata dall’elenco delle voci al punto 3.3 ‘Enti bilaterali e Assistenza sanitaria’ (viene riportato il valore ‘1’ nel campo Importo Unitario). In tal modo, l’aliquota relativa al Fondo incentivo all’occupazione viene applicata sull’imponibile calcolato tramite la voce 4E2, utilizzato anche per il Fondo Sanitario Nazionale (aggiornamento di febbraio 2019 Acred714). Nel caso in cui venga adottata la suddetta modalit\\u00e0 di calcolo del Fondo incentivo all’occupazione, l’aliquota relativa a tale fondo deve rimanere esclusa dall’aliquota complessiva relativa ai contributi Cassa Edile, riportata nel primo rigo della tabella “personalizzata”. Per controllare meglio andare nel dettaglio del cedolino se presente la 49K aumentare il contributo complessivo cassa edile dell\' aliquota presente nella voce 49K (0,10).- il contributo cassa edile complessivo riportata nel primo rigo della tabella “personalizzata” deve essere al netto del FONDO SANITARIO OPERAI da indicare in basso (generalmente 0,35 / 0,60 voce 578 se presente nel dettaglio) e in alcuni casi (vedere punto 3) al netto del QUOTA FONDO INCENTIVO OCCUPAZIONE (generalmente 0,10 voce 4E9 se presente nel dettaglio), per controllare meglio andare nel dettaglio del cedolino se presente la 49K aumentare il contributo complessivo cassa edile dell\' aliquota presente nella voce 49K (0,10).- ACCORDI TERRITORIALI  sempre dal men\\u00f9 tabelle personalizzate amministratore paghe>tabelle personalizzate) scegliere un codice tabella libero (da 90000 a 99999) e fornire una descrizione (ad esempio \'accordi territoriali  cassa edile Roma\') are clic su \'definizione caratteristiche tabella\', scegliere Elementi integrativi della retribuzione indicare il contratto applicato e fare clic sul quadratino scelta sulla sinistra, compilare i campi in base alle proprie preferenze. \\n*  Passcom \\u25ac REDDITI \\u25ac Avvisi bonari \\u25ac Legge di bilancio 2023 e avvisi bonari \\u25ac Parte 1 In tema avvisi bonari (o “comunicazioni di irregolarit\\u00e0”), la legge n. 197/2022 (Finanziaria 2023), consente di:  - ridurre al 3 per cento (rispetto al 10 per cento ordinariamente applicabile) le sanzioni dovute;- pagare le somme dovute fino ad un numero massimo di venti rate trimestrali di pari importo, anche per importi inferiori a 5.000Le misure si applicando anche agli avvisi ricevuti entro il 01/01/23 e anche alle rateazioni in corso. Per ulteriori requisiti si rimanda alla normativa di riferimento.     PREMESSA   Il programma non calcola le sanzioni, queste sono presenti sull’atto e quando nel programma si inserisce l’importo delle somme da versare, questo \\u00e8 gi\\u00e0 comprensivo di sanzioni e interessi. Ne consegue che la rideterminazione della sanzione deve avvenire esternamente, utilizzando il foglio di calcolo rilasciato dall\'agenzia delle entrate disponibile al seguente link:   https://www.agenziaentrate.gov.it/portale/web/guest/definizione-agevolata-rateazioni-in-corso-legge-di-bilancio-2023/infogen-definizione-agevolata-rateazioni-in-corso-legge-di-bilancio-2023-cittadini  Lo stesso foglio di calcolo permette di rideterminare l\'importo delle rate nel caso in cui si intenda variarne il numero.  Di seguito come gestire i diversi casi con il programma nella funzione \'Fiscali - Deleghe - Delega unificata F24 - Avvisi Bonari/Accertamenti/Rateazioni\'     CASO 1 - Avviso ricevuto prima del 01/01/23 con sanzioni al 10% e prima rata ancora da versare  Con il foglio di calcolo si determina la nuova sanzione al 3%, occorre lasciare a zero la cella di rigo 15. Nel programma si inserisce l\'atto e in \'Riepilogo somme da versare\' si indica il nuovo totale rideterminato che nel foglio excel \\u00e8 riportato nella riga 17. \\n*  Passcom \\u25ac REDDITI \\u25ac Ravvedimento operoso \\u25ac Ravvedimento omesso versamento rata da avviso bonario/accertamento \\u25ac Parte 1 La procedura di ravvedimento operoso effettua il calcolo partendo dalle deleghe F24 (o dai tributi indicati nella Gestione Tributi delega F24) partendo dalle somme a debito indicate.  Il ravvedimento operoso del versamento da avviso bonario o da atti di accertamento ha una particolarit\\u00e0 che non \\u00e8 mai stata ben definita dall\'Agenzia delle Entrate e, spesso, i vari uffici dell\'Agenzia danno informazioni contrastanti tra di loro.  Nel dettaglio, il codice tributo 9001 non \\u00e8 un semplice tributo, ma \\u00e8 la somma del tributo oggetto di recupero e delle sue sanzioni. in pratica: IRPEF da recuperare 1.000, sanzione 200, il 9001 \\u00e8 di 1.200. pagamento in 4 rate, 4 rate da 300 ciascuna con il codice 9001. in pratica, non si dovrebbe ravvedere anche la quota parte di sanzione (50 euro), ma solo 250. anche se , in generare, si trovano indicazioni di effettuare il ravvedimento per l\'intera somma, quindi si ravvede il codice tributo 9001 per 300 e le sanzioni e gli interessi di ravvedimento, di conseguenza, su questa rata da 300.  Qualora si volesse effettuare il ravvedimento calcolando interessi e sanzioni la quota parte di imposta del tributo 9001, si suggerisce di modificare i calcoli degli interessi e sanzioni nella scheda del tributo 9001 generato dal ravvedimento.  In particolare, si devono eseguire le seguenti operazioni:  1) si modifica l\'importo da ravvedere, variando l\'importo indicando solo la quota parte corrispondente all\'imposta (nell\'esempio, si indica 250 al posto di 300);  2) si effettua il calcolo delle sanzioni e degli interessi tramite il comando Calcola [F4], determinando i vari importi;  3) si inserisce il carattere \\u00ec*\' nel campo Per forzare i calcoli;  4) si ripristina il valore originario nel campo Importo da ravvedere (nell\'esempio, 300). \\n*  Passcom \\u25ac CONTABILITA\' \\u25ac Bilancio di verifica - Bilancio fiscale \\u25ac controlli ai fini del bilancio fiscale \\u25ac Parte 1   [Domanda]:    Non quadra la stampa del bilancio fiscale con i dati contabili.    [Risposta]:    Al fine di verificare eventuali incongruenze nella stampa del bilancio fiscale occorre:   - controllare che i conti di manutenzioni movimentati siano di tipo L (nel PDC80 sono quelli del mastro 714);   - controllare che\\u00a0sia presente\\u00a0l\'archivio cespiti aziendale al fine di poter generare in automatico gli ammortamenti e quindi il calcolo del 5% delle manutenzioni; diversamente in mancanza dell\'archivio cespiti caricato, ad esempio nel caso di gestione\\u00a0I\\u00b0 anno del programma,\\u00a0la\\u00a0quota fiscalmente non deducibile dell\'esercizio (VAT)\\u00a0dovr\\u00e0 essere imputata MANUALMENTE nel men\\u00f9 Operazioni di variazione ed il programma provveder\\u00e0 a ripartire le\\u00a0quote deducibili nei cinque\\u00a0esercizi successivi (RD);   - una volta lanciati gli ammortamenti, nel men\\u00f9 Annuali - Raccordo contabilit\\u00e0 civile/fiscale\\u00a0 - Operazioni di variazione, il programma effettua le scritture \'fiscali\', legate alla tipologia di variazione 23, che\\u00a0contestualmente verranno riportate anche in stampa del bilancio fiscale;   - in caso di gestione\\u00a0I\\u00b0 anno del programma,\\u00a0ricordarsi che le quote di manutenzioni temporaneamente rinviate\\u00a0riconducibili ad esercizi pregressi (VAT) devono essere riportate MANUALMENTE da parte dell\'utente nel men\\u00f9 Gestione reversal del Raccordo contabilit\\u00e0 civile/fiscale (il programma provveder\\u00e0 a ripartire le\\u00a0quote deducibili nei cinque\\u00a0esercizi successivi RD);   -\\u00a0imputare nel men\\u00f9 Operazioni di variazione eventuali altri oneri pluriennali diversi dalle manutenzioni (plusvalenze rateizzabili, sopravvenienze attive rateizzabili, spese di pubblicit\\u00e0 rateizzabili, ecc.)\\u00a0per le quali occorre definire la quota fiscalmente rilevante;   - controllare che i conti movimentati e creati personalmente da parte dell\'utente (ossia con la codifica dopo il 1000) siano associati ai righi redditi o comunque ad un conto \'padre\' di riferimento;   - per i professionisti, se compare una ripresa fiscale relativamente ai conti d\'ammortamento, ci\\u00f2 significa che l\'utente ha modificato manualmente ponendolo a S,\\u00a0il parametro Gestione civilistica del registro cespiti (da Aziende - Parametri di base - Cespiti/immobilizzazioni - Parametri),\\u00a0in tal caso il programma calcola automaticamente l\'importo relativo ad eventuali disallineamenti di aliquote\\u00a0nel\\u00a0men\\u00f9\\u00a0Operazioni fiscali extracontabili - Ammortamenti (da Annuali - Raccordo contabilit\\u00e0 civile/fiscale). \\n*  STAMPE CONTABILI \\u25ac STAMPA SCOSTAMENTO FATTURATO AGEVOLAZIONI COVID19 \\u25ac Art. 182 comma 1 D.L. 34/2020 \\u2013 Ristoro Agenzie viaggio e tour operator \\u25ac DETERMINAZIONE DEL FATTURATO 2019 E 2020  \\u25ac Paragrafo 1 \\u25ac  Per determinare l\\u2019ammontare totale del fatturato e dei corrispettivi (di seguito fatturato), vengono considerare tutte le Fatture e Note di credito emesse (FE, NE, FS ed NS con protocollo \\u201cV\\u201d) pi\\u00f9 i corrispettivi (CO, RI ed RF). Per le aziende con liquidazione sia mensile che trimestrale, viene letta la primanota del mese di riferimento ed i primi 15 giorni del mese di successivo se la data documento ricade nel mese di elaborazione.  Per esempio: Elaborando il mese di Luglio, vengono prelevate le fatture con data registrazione fino al 15 giugno ma con data documento luglio (in quanto si intendono effettuate nel mese di luglio). La logica di selezione sopra descritta, \\u00e8 utilizzata sia per le fatture che per le note di credito ed \\u00e8 applicata per entrambi gli anni (2019 e 2020). Per ciascuna fattura/nota di credito vengono totalizzati tutti gli importi presenti nella colonna \\u201cImponibile\\u201d dei castelletti iva dei documenti (siano essi soggetti ad Iva con codici esenti/non imponibili/non soggetti). Per i corrispettivi, se \\u00e8 attiva la gestione dei \\u201cCorrispettivi netti\\u201d, anche per questi sono totalizzati tutti i campi \\u201cImponibili\\u201d del castelletto Iva come descritto per le fatture, mentre se sono gestiti \\u201cal lordo\\u201d viene eseguito lo scorporo dell\\u2019iva e viene considerato solo il valore del corrispettivo netto. Le operazioni che rientrano nell\\u2019articolo \\u201c74Ter\\u201d viene considerato sempre l\\u2019intero importo. Per le operazioni annotate sui sezionali \\u201cposticipati\\u201d delle aziende che gestiscono l\\u2019articolo 74Ter, non si considera l\\u2019agevolazione concessa dalla norma per il versamento dell\\u2019IVA. Lo stesso dicasi per fatture emesse con il meccanismo dello split payment oppure in regime di Iva per cassa e per le aziende con liquidazione iva presso terzi. \\n*  Paghe \\u25ac PAGHE \\u25ac Cedolini: elaborazione e stampa \\u25ac Esposizione del Monte TFR sul cedolino Per esporre il monte TFR sul cedolino sono state predisposte le voci che consentono di esporre mensilmente, sul cedolino, il totale del TFR accantonato.  A tale scopo, occorre indicare sulle Voci Fisse (a qualsiasi livello) le seguenti voci: - 989 determina il totale del Tfr accantonato presso l\'azienda o presso il fondo tesoreria (Inps); - 98A determina il totale del Tfr accantonato presso un fondo di previdenza complementare.  Entrambe le voci vengono riportate nella parte centrale del cedolino e sono puramente indicative. E\' possibile iniziare ad utilizzarle in qualsiasi mese, da gennaio 2022 in poi (non occorre rielaborare i mesi precedenti).  La voce 989 calcola anche la rivalutazione del TFR per l\'anno corrente, fino al mese elaborato: per ottenere tale calcolo, occorre indicare il coefficiente di rivalutazione relativo al mese elaborato (naturalmente, prima di elaborare le buste paga). Il coefficiente in questione va indicato sul servizio Amministratore - Tabelle indici Istat. Rimane a carico dell\'Utente decidere di riportare il coefficiente del mese precedente oppure tentare una previsione per il mese corrente. La rivalutazione relativa all\'anno corrente viene riportata nel campo Importo Unitario della voce 989; ovviamente, viene anche sommata nel monte TFR, riportato nel campo Importo Totale. In assenza del suddetto coefficiente, la voce 989 non calcola la rivalutazione per l\'anno corrente, ma determina comunque il totale TFR accantonato (che sar\\u00e0 comprensivo della rivalutazione fino al 31/12 anno precedente).     \\n*  Passcom \\u25ac ADP \\u25ac Generazione documento \\u25ac Rendiconto finanziario: possibili cause di squadrature tra flusso finanziario dell\'esercizio e variazione delle disponibilit\\u00e0 liquide \\u25ac Parte 2     5.     acquisti e/o cessioni di cespiti dell\'esercizio: verificare che i cespiti presenti in contabilit\\u00e0 corrispondano a quelli inseriti nel registro cespiti; diversamente occorre eliminarli dalle rispettive voci dello schema nel caso fossero presenti nella gestione cespiti ma non in contabilit\\u00e0, mentre occorre aggiungerli qualora fossero presenti in contabilit\\u00e0 ma non nell\'archivio cespiti.        7.       ammortamenti (codice Cee B10a, B10b, B10c): se risulta valorizzata la voce \'ammortamento e svalutazioni di immobilizzazioni tecniche e svalutazioni di attivit\\u00e0 finanziarie\' verificare che gli importi corrispondano alla differenza dei fondi ammortamento tra l\'esercizio in corso e quello precedente e che la scrittura contabile di riferimento sia ammortamento a fondo ammortamento (specie nel caso di contabilit\\u00e0 esterne).             8.     \'Altre rettifiche di costi non monetari\': la voce non rileva eventuali movimentazioni delle imposte differite, nel particolare caso in cui sia stato contabilizzato l’accantonamento ed il recupero della fiscalit\\u00e0 differita, utilizzando il medesimo conto di costo, in quanto il Rendiconto recupera il progressivo DARE dei conti sopra menzionati. Esempio di scrittura contabile non rilevata: Fondo imposte differite a imposte differite. In questi casi, occorre procedere a rettificare l’importo presente nello schema, inserendo manualmente il saldo da conto economico. Esempio di scrittura contabile corretta, rilevata in automatico: fondo imposte differite a utilizzo imposte differite. Nel caso di Piani dei conti personalizzati, occorre procedere manualmente ad associare alla voce i conti relativi alle imposte anticipate e differite e Perdite su cambi da valutazione collegati al codice Cee C17bisB. \\n*  STAMPE CONTABILI \\u25ac BILANCI \\u25ac BILANCIO FISCALE \\u25ac Paragrafo 2 \\u25ac  La determinazione della quota fiscale deducibile/imponibile di ogni conto avviene con due modalit\\u00e0: viene considerata la PERCENTUALE DI IMPONIBILIT\\u00c0/DEDUCIBILIT\\u00c0 indicata sull\\u2019anagrafica conto tramite la funzione \\u201cTabelle assegnazione\\u201d nell\\u2019associazione ai righi del quadro RG (per le imprese in contabilit\\u00e0 semplificata), quadro RF (per le imprese in contabilit\\u00e0 ordinaria), quadro CM (per i contribuenti minimi). ESEMPIO: ipotizzando che per il conto \\u201cCARBURANTI E LUBRIFICANTI\\u201d, avente un saldo contabile di 10.000,00 \\u20ac si sia impostata una percentuale di deducibilit\\u00e0 del 40%  la stampa del \\u201cbilancio fiscale\\u201d \\u00e8 la seguente: Nella colonna \\u201cvalore contabile\\u201d \\u00e8 riportato il saldo contabile del conto. Nella colonna \\u201c% deduc.\\u201d \\u00e8 riportata la percentuale di deducibilit\\u00e0 /imponibilit\\u00e0. Nella colonna \\u201cValore fiscale\\u201d \\u00e8 riportato il valore fiscalmente deducibile.   viene considerata l\\u2019eventuale TIPOLOGIA VARIAZIONE associata al conto.  ESEMPIO Ipotizzando che al conto PLUSVALENZE sia stata associata la tipologia variazione 1 (PLUSVALENZE TASSABILI IN CINQUE ANNI) il conto viene riportato nella stampa del \\u201cbilancio fiscale\\u201d con la seguente modalit\\u00e0:   Nella colonna \\u201cvalore contabile\\u201d \\u00e8 riportato il saldo contabile del conto. Nella colonna \\u201cValore fiscale\\u201d \\u00e8 riportata la quota di competenza dell\\u2019anno.  NOTA BENE: nel caso in cui su un conto sia presente una tipologia variazione affinch\\u00e8 nell\\u2019elaborazione venga considerata correttamente la quota di competenza dell\\u2019anno in corso \\u00e8 necessario che sia stata precedentemente lanciata l\\u2019elaborazione ELABORAZIONE AUTOMATICA VARIAZIONI presente nel RACCORDO CONTABILITA\\u2019 CIVILE FISCALE.  \\n*  Paghe \\u25ac PAGHE \\u25ac Cedolini: elaborazione e stampa \\u25ac Inserimento TFR anni precedenti maturato in solidariet\\u00e0 In casi del genere, al momento di effettuare il riepilogo del TFR (cio\\u00e8 in fase di liquidazione, o a dicembre) il programma va a guardare quanto riportato l\'anno precedente sulla voce 72R, e lo riepiloga sulla 72M, calcolando anche la rivalutazione. Il dato relativo all\'anno precedente dovr\\u00e0 essere inserito direttamente sulla voce 72M nel primo cedolino utile (quindi nel conguaglio di dicembre 2014, se il rapporto si protrae per l\'intero anno e prosegue nel successivo, oppure nel cedolino di liquidazione, se il rapporto cessa prima). La voce deve essere compilata in questo modo: l\'indice di rivalutazione nel campo Quantit\\u00e0, la rivalutazione calcolata nell\'Importo Unitario, e il TFR maturato negli anni precedenti nell\'Importo Totale. Es: Al momento di fare il conguaglio di dicembre di un dipendente devo inserire un TFR maturato in solidariet\\u00e0 negli anni precedenti per 1000€ e la rivalutazione di dicembre \\u00e8 pari a 2,15: inserisco la voce 72M con 2,15 in Quantit\\u00e0, 21,5 in I.U. (cio\\u00e8 il 2,15% di 10000), e 1000 in I.T.  \\n\\n Domanda: avremmo bisogno di un chiarimento per quanto riguarda la corretta\\nrilevazione degli accantonamenti per i fondi rischi.\\nDa una nostra verifica ci siamo resi conto che sul bilancio 2021 la\\nquota destinata a tali fondi \\u00e8 stata a nostro avviso giustamente\\nconsiderata indeducibile ai fini fiscali.\\nelaborando ora il bilancio 2022, il programma riporta tra i costi ai\\nfini fiscali gli importi delle quote indicate come indetraibili\\nnell\\u2019anno precedente, pur non avendo utilizzato tali fondi nel corso\\ndell\\u2019anno.\\na nostro avviso tale ripresa non \\u00e8 corretta, anche tenendo conto\\ndell\\u2019interpretazione della risoluzione E204/208\\u201d qualcuno mi puo dare delle delucidazioni grazie\\n Risposta:"}], "user": "Mexal-User", "temperature": 0.0, "max_tokens": 3000, "model": "gpt-3.5-turbo-16k"}'

Thanks for that,

The second part contains around 10k tokens worth of context and you have a max tokens of 3k "max_tokens": 3000, … so that won’t work, the max tokens must include the prompt and the response.

So change that to 16000 and give it another try, see what you get.

But i thought max_tokens was referred only to the output. If i set max_tokens=16000 it throws me an error.

I got this error:

This model’s maximum context length is 16385 tokens. However, you requested 22784 tokens (7784 in the messages, 15000 in the completion). Please reduce the length of the messages or completion.

My apologies, you’re correct.

I thought it was little to easy :smile:

1 Like

When you said that you get a correct reply from the GPT-3.5 NON 16k model, how did you manage the context length for that? did you reduce the amount of embeddings in the prompt?

Yes for the GPT-3.5-turbo i send max 2700 tokens in PROMPT and set max_tokens=1000. In this way i never reach 4k token.

ok, and what happens if you use those same settings but change the model to 16k?

As i’ve said this was my first try: same result.

Ok, that does seem to be a little strange, clearly there is something in the model that is requesting clarification…

I did not translate the full 7k tokens of context, can I assume that at the end you add the original embedding question along with instructions to use the prior embedding content as context? If so, can you include an instruction like “Do not ask any follow up questions, make your best guess based only on the information you have”?

Yes, i told the engine to give a response only if it’s in the context and to answer in the more reliable way. I try to change that directive as you suggest.

1 Like