Structuring my prompt to get the best results

Hi,

I’m currently struggling to get consistent results using chatGPT to analyze some text.

I’m using the following prompt to let ChatGPT analyze text sections of privacy policies to know if they contain e.g. information about the “right of information”.

Prompt:

Gegeben sind die folgenden auszugsweise Teile eines umfangreichen Dokuments und eine Frage.
Erstelle eine abschließende Antwort im JSON Format mit Korrektheit ("RESULT" - kann nur "True" oder "False" sein),
Erläuterung ("EXPLANATION") und Referenzen ("SOURCES"). Gib in den Referenzen ("SOURCES") nur die Stellen an, in denen die Frage explizit beantwortet wird.
Wenn du die Antwort nicht weißt, gib als RESULT "False" an und als gib asl EXPLANATION einfach an, dass du es nicht weißt. 
Versuche keine Antwort zu erfinden.
Gib in jeder Antwort immer eine komplettes JSON Objekt mit "RESULT", "EXPLANATION" und "SOURCES" zurück.

Es folgen Beispiele, wie wir ähnliche Textstellen in anderen Dokumenten bewerten. Orientiere dich an der Bewertung dieser:



QUESTION: Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.
=========
Content: 1. auf Auskunft

Sie haben das Recht, von uns jederzeit Auskunft zu verlangen über die zu Ihnen bei uns gespeicherten Daten, sowie zu deren Herkunft, Empfängern oder Kategorien von Empfängern, an die diese Daten weitergegeben werden und den Zweck der Speicherung. Sie haben das Recht Ihre personenbezogenen Daten, die Sie uns bereitgestellt haben, in einem strukturierten, gängigen und maschinenlesbaren Format zu erhalten oder die Übermittlung an einen anderen Verantwortlichen zu verlangen.
Source: 12



{
    "RESULT": "True",
    "EXPLANATION": "Die Fundstelle 12 kann die Frage 'Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.'  belegen.",
    "SOURCES": [ 12 ]
}



QUESTION: Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.
=========
Content: 11.2 Recht auf Auskunft Art. 15 DS-GVO
Sie haben das Recht, jederzeit von uns unentgeltliche Auskunft über die zu Ihrer Person gespeicherten perso-nenbezogenen Daten sowie eine Kopie dieser Daten zu erhalten.
Source: 16



{
    "RESULT": "True",
    "EXPLANATION": "Die Fundstelle 16 kann die Frage 'Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.'  belegen.",
    "SOURCES": [ 16 ]
}



QUESTION: Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.
=========
Content: 9.1 Recht auf Bestätigung und Auskunft
Sie haben das Recht auf eine übersichtliche Auskunft über die Verarbeitung Ihrer personenbezogenen Daten.
Source: 14



{
    "RESULT": "True",
    "EXPLANATION": "Die Fundstelle 14 kann die Frage 'Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.'  belegen.",
    "SOURCES": [ 14 ]
}



QUESTION: Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.
=========
Content: 9.1 Recht auf Bestätigung und Auskunft
Sie haben das Recht auf eine übersichtliche Auskunft über die Verarbeitung Ihrer personenbezogenen Daten. Im Einzelnen: Sie haben jederzeit das Recht, von uns eine Bestätigung darüber zu erhalten, ob Sie betreffende personenbezogene Daten verarbeitet werden. Ist dies der Fall, so haben Sie das Recht, von uns eine unentgeltliche Auskunft über die zu Ihnen gespeicherten personenbezogenen Daten nebst einer Kopie dieser Daten zu verlangen.
Source: 16



{
    "RESULT": "True",
    "EXPLANATION": "Die Fundstelle 16 kann die Frage 'Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.'  belegen.",
    "SOURCES": [ 16 ]
}



QUESTION: Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.
=========
Content: b)    Recht auf Auskunft
Jede von der Verarbeitung personenbezogener Daten betroffene Person hat das vom Europäischen Richtlinien- und Verordnungsgeber gewährte Recht, jederzeit von dem für die Verarbeitung Verantwortlichen unentgeltliche Auskunft über die zu seiner Person gespeicherten personenbezogenen Daten und eine Kopie dieser Auskunft zu erhalten.
Source: 11



{
    "RESULT": "True",
    "EXPLANATION": "Die Fundstelle 11 kann die Frage 'Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.'  belegen.",
    "SOURCES": [ 11 ]
}



QUESTION: Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.
=========
Content: Sie haben folgende Rechte, welche Sie gegenüber dem Verantwortlichen geltend machen können:

Auskunft über die Rechtsgrundlage der Verarbeitung
Auskunft über die verarbeiteten personenbezogenen Daten
Source: 16



{
    "RESULT": "True",
    "EXPLANATION": "Die Fundstelle 16 kann die Frage 'Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.'  belegen.",
    "SOURCES": [ 16 ]
}



QUESTION: Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.
=========
Content: Sie haben jederzeit das Recht unentgeltlich Auskunft über Herkunft, Empfänger und Zweck Ihrer gespeicherten personenbezogenen Daten zu erhalten.
Source: 16



{
    "RESULT": "True",
    "EXPLANATION": "Die Fundstelle 16 kann die Frage 'Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss.'  belegen.",
    "SOURCES": [ 16 ]
}



Jetzt folgen die Textausschnitte des eigentlichen Dokuments, dass du bewerten sollst:
QUESTION: Wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, wobei im Text das Wort Auskunft enthalten sein muss. 
=========
Content: 
Auskunft, Löschung und Berichtigung 
Sie haben im Rahmen der geltenden gesetzlichen Bestimmungen jederzeit das Recht auf unentgeltliche Auskunft über Ihre gespeicherten personenbezogenen Daten, deren Herkunft und Empfänger und den Zweck der Datenverarbeitung und ggf. ein Recht auf Berichtigung oder Löschung dieser Daten. Hierzu sowie zu weiteren Fragen zum Thema personenbezogene Daten können Sie sich jederzeit unter der im Impressum angegebenen Adresse an uns wenden. 


Source: 21
Content: 
Welche Rechte haben Sie bezüglich Ihrer Daten? 
Sie haben jederzeit das Recht unentgeltlich Auskunft über Herkunft, Empfänger und Zweck Ihrer gespeicherten personenbezogenen Daten zu erhalten. Sie haben außerdem ein Recht, die Berichtigung oder Löschung dieser Daten zu verlangen. Hierzu sowie zu weiteren Fragen zum Thema Datenschutz können Sie sich jederzeit unter der im Impressum angegebenen Adresse an uns wenden. Des Weiteren steht Ihnen ein Beschwerderecht bei der zuständigen Aufsichtsbehörde zu. 
Außerdem haben Sie das Recht, unter bestimmten Umständen die Einschränkung der Verarbeitung Ihrer personenbezogenen Daten zu verlangen. Details hierzu entnehmen Sie der Datenschutzerklärung unter „Recht auf Einschränkung der Verarbeitung“. 


Source: 6
Content: 
Recht auf Einschränkung der Verarbeitung 
Sie haben das Recht, die Einschränkung der Verarbeitung Ihrer personenbezogenen Daten zu verlangen. Hierzu können Sie sich jederzeit unter der im Impressum angegebenen Adresse an uns wenden. Das Recht auf Einschränkung der Verarbeitung besteht in folgenden Fällen: 
Wenn Sie die Richtigkeit Ihrer bei uns gespeicherten personenbezogenen Daten bestreiten, benötigen wir in der Regel Zeit, um dies zu überprüfen. Für die Dauer der Prüfung haben Sie das Recht, die Einschränkung der Verarbeitung Ihrer personenbezogenen Daten zu verlangen. 
Wenn die Verarbeitung Ihrer personenbezogenen Daten unrechtmäßig geschah/geschieht, können Sie statt der Löschung die Einschränkung der Datenverarbeitung verlangen. 
Wenn wir Ihre personenbezogenen Daten nicht mehr benötigen, Sie sie jedoch zur Ausübung, Verteidigung oder Geltendmachung von Rechtsansprüchen benötigen, haben Sie das Recht, statt der Löschung die Einschränkung der Verarbeitung Ihrer personenbezogenen Daten zu verlangen. 
Wenn Sie einen Widerspruch nach Art. 21 Abs. 1 DSGVO eingelegt haben, muss eine Abwägung zwischen Ihren und unseren Interessen vorgenommen werden. Solange noch nicht feststeht, wessen Interessen überwiegen, haben Sie das Recht, die Einschränkung der Verarbeitung Ihrer personenbezogenen Daten zu verlangen. 
Wenn Sie die Verarbeitung Ihrer personenbezogenen Daten eingeschränkt haben, dürfen diese Daten – von ihrer Speicherung abgesehen – nur mit Ihrer Einwilligung oder zur Geltendmachung, Ausübung oder Verteidigung von Rechtsansprüchen oder zum Schutz der Rechte einer anderen natürlichen oder juristischen Person oder aus Gründen eines wichtigen öffentlichen Interesses der Europäischen Union oder eines Mitgliedstaats verarbeitet werden. 
Der Nutzung von im Rahmen der Impressumspflicht veröffentlichten Kontaktdaten zur Übersendung von nicht ausdrücklich angeforderter Werbung und Informationsmaterialien wird hiermit widersprochen. Die Betreiber der Seiten behalten sich ausdrücklich rechtliche Schritte im Falle der unverlangten Zusendung von Werbeinformationen, etwa durch Spam-E-Mails, vor. 


Source: 22
Content: 
Recht auf Datenübertragbarkeit 
Sie haben das Recht, Daten, die wir auf Grundlage Ihrer Einwilligung oder in Erfüllung eines Vertrags automatisiert verarbeiten, an sich oder an einen Dritten in einem gängigen, maschinenlesbaren Format aushändigen zu lassen. Sofern Sie die direkte Übertragung der Daten an einen anderen Verantwortlichen verlangen, erfolgt dies nur, soweit es technisch machbar ist. 


Source: 18
Content: 
Beschwerderecht bei der zuständigen Aufsichtsbehörde 
Im Falle von Verstößen gegen die DSGVO steht den Betroffenen ein Beschwerderecht bei einer Aufsichtsbehörde, insbesondere in dem Mitgliedstaat ihres gewöhnlichen Aufenthalts, ihres Arbeitsplatzes oder des Orts des mutmaßlichen Verstoßes zu. Das Beschwerderecht besteht unbeschadet anderweitiger verwaltungsrechtlicher oder gerichtlicher Rechtsbehelfe. 


Source: 17
Content: 
3. Allgemeine Hinweise und Pflichtinformationen 


Source: 11
Content: 
Widerspruchsrecht gegen die Datenerhebung in besonderen Fällen sowie gegen Direktwerbung (Art. 21 DSGVO) 
WENN DIE DATENVERARBEITUNG AUF GRUNDLAGE VON ART. 6 ABS. 1 LIT. E ODER F DSGVO ERFOLGT, HABEN SIE JEDERZEIT DAS RECHT, AUS GRÜNDEN, DIE SICH AUS IHRER BESONDEREN SITUATION ERGEBEN, GEGEN DIE VERARBEITUNG IHRER PERSONENBEZOGENEN DATEN WIDERSPRUCH EINZULEGEN; DIES GILT AUCH FÜR EIN AUF DIESE BESTIMMUNGEN GESTÜTZTES PROFILING. DIE JEWEILIGE RECHTSGRUNDLAGE, AUF DENEN EINE VERARBEITUNG BERUHT, ENTNEHMEN SIE DIESER DATENSCHUTZERKLÄRUNG. WENN SIE WIDERSPRUCH EINLEGEN, WERDEN WIR IHRE BETROFFENEN PERSONENBEZOGENEN DATEN NICHT MEHR VERARBEITEN, ES SEI DENN, WIR KÖNNEN ZWINGENDE SCHUTZWÜRDIGE GRÜNDE FÜR DIE VERARBEITUNG NACHWEISEN, DIE IHRE INTERESSEN, RECHTE UND FREIHEITEN ÜBERWIEGEN ODER DIE VERARBEITUNG DIENT DER GELTENDMACHUNG, AUSÜBUNG ODER VERTEIDIGUNG VON RECHTSANSPRÜCHEN (WIDERSPRUCH NACH ART. 21 ABS. 1 DSGVO). 
WERDEN IHRE PERSONENBEZOGENEN DATEN VERARBEITET, UM DIREKTWERBUNG ZU BETREIBEN, SO HABEN SIE DAS RECHT, JEDERZEIT WIDERSPRUCH GEGEN DIE VERARBEITUNG SIE BETREFFENDER PERSONENBEZOGENER DATEN ZUM ZWECKE DERARTIGER WERBUNG EINZULEGEN; DIES GILT AUCH FÜR DAS PROFILING, SOWEIT ES MIT SOLCHER DIREKTWERBUNG IN VERBINDUNG STEHT. WENN SIE WIDERSPRECHEN, WERDEN IHRE PERSONENBEZOGENEN DATEN ANSCHLIESSEND NICHT MEHR ZUM ZWECKE DER DIREKTWERBUNG VERWENDET (WIDERSPRUCH NACH ART. 21 ABS. 2 DSGVO). 


Source: 16
Content: 
Widerruf Ihrer Einwilligung zur Datenverarbeitung 
Viele Datenverarbeitungsvorgänge sind nur mit Ihrer ausdrücklichen Einwilligung möglich. Sie können eine bereits erteilte Einwilligung jederzeit widerrufen. Dazu reicht eine formlose Mitteilung per E-Mail an uns. Die Rechtmäßigkeit der bis zum Widerruf erfolgten Datenverarbeitung bleibt vom Widerruf unberührt. 


Source: 15
Content: 
12. Informationen zur Verarbeitung Ihrer personenbezogenen Daten gem. Art. 13 und Art. 21 DSGVO 
Für Kunden und Lieferanten 
(<https://media.abcr.com/DSGVO/abcr_DSGVO-InfoBlatt-KundenLieferanten.pdf>)
Für Bewerber 
(<https://media.abcr.com/DSGVO/abcr_DSGVO-InfoBlatt-Bewerber.pdf>)
AGB 
Datenschutz 
(<https://www.abcr.com/de_de/impressum-abcr-gmbh>)Impressum Cookies 
abcr GmbH Deutschland 
© 2020. abcr GmbH, Karlsruhe, Deutschland und/oder mit ihr verbundene Unternehmen. Alle Rechte vorbehalten 

Source: 60
Content: 
Anfrage per E-Mail, Telefon oder Telefax 
Wenn Sie uns per E-Mail, Telefon oder Telefax kontaktieren, wird Ihre Anfrage inklusive aller daraus hervorgehenden personenbezogenen Daten (Name, Anfrage) zum Zwecke der Bearbeitung Ihres Anliegens bei uns gespeichert und verarbeitet. Diese Daten geben wir nicht ohne Ihre Einwilligung weiter. 
Die Verarbeitung dieser Daten erfolgt auf Grundlage von Art. 6 Abs. 1 lit. b DSGVO, sofern Ihre Anfrage mit der Erfüllung eines Vertrags zusammenhängt oder zur Durchführung vorvertraglicher Maßnahmen erforderlich ist. In allen übrigen Fällen beruht die Verarbeitung auf Ihrer Einwilligung (Art. 6 Abs. 1 lit. a DSGVO) und/oder auf unseren berechtigten Interessen (Art. 6 Abs. 1 lit. f DSGVO), da wir ein berechtigtes Interesse an der effektiven Bearbeitung der an uns gerichteten Anfragen haben. 
Die von Ihnen an uns per Kontaktanfragen übersandten Daten verbleiben bei uns, bis Sie uns zur Löschung auffordern, Ihre Einwilligung zur Speicherung widerrufen oder der Zweck für die Datenspeicherung entfällt (z. B. nach abgeschlossener Bearbeitung Ihres Anliegens). Zwingende gesetzliche Bestimmungen – insbesondere gesetzliche Aufbewahrungsfristen – bleiben unberührt. 


Source: 29



The result differs from execution to execution though I set temperature to 0, so I believe my prompt is not strict enough.

The results are for example:

{
    "RESULT": "True",
    "EXPLANATION": "In den Quellen 21, 6, 11 und 16 wird auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen und das Wort 'Auskunft' ist im Text enthalten.",
    "SOURCES": [ 21, 6, 11, 16 ]
}

Or this:

{
    "RESULT": "True",
    "EXPLANATION": "Im Text wird explizit auf das Recht auf Auskunft über die gespeicherten Daten hingewiesen, indem das Wort 'Auskunft' mehrmals erwähnt wird.",
    "SOURCES": [ 21, 6, 16 ]
}

I could send you a translated version of the prompt in english if necessary, but maybe you already see a major problem with my prompt. Any help is appreciated!

What part of the replies are “wrong”? it seems that the AI belives they all contain references the “right of information”

I found out what my problem is. I was giving chatGPT examples how to analyze the text, but my prompt wasn’t clear enough an what is an example and what is the real text that needs to be analyzed. I now put the examples in tags like this:

<example>
Question: The question...
Content: The content of the example text
Source: Int number of the source
Result:
Expected output from chatGPT as JSON
</example>
<example
next example...

and the real content that needs to be analyzed is now structured likewise, so every text part is contained in <content> tags.

Now ChatGPT doesn’t confuse the examples and the real text anymore and my results are way better.

Oh and only source 21 and 6 are the correct answer, to answer your question.

1 Like

You are providing all those examples just so the AI will know how to act? That is likely the source of the problem. That much data will confuse the AI: It will lose track of the instructions themselves, and also then the data that is to be processed will have lower quality understanding, being lost in a sea of similar data. Or they come from a database, apparently, so we can act like they are part of a program.

In fact, just translating the prompt took four tries, and I only got it to translate the main prompt, because it was so distracted by the contents it starts to act on them, or describes how the instructions would work. It couldn’t even follow my translation instructions.

The prompt itself also doesn’t seem clear. Lets talk in powerful AI language so it isn’t confused by the chunks of data:

!!! Instruction

You are an AI fact checker and fact finder for our database, and you operate as part of a backend program that can only output JSON objects. You check within only the documents provided below from our database, do not use your training data corpus to answer. The documents are broken into chunks by the database, and you will also report which chunks contained relevant information. The user will ask a question and you must determine:
1. Can the question be answered solely from the provided database chunks? (boolean),
2. What is the correct answer that is extracted, or explain why you can't answer (string),
3. List all chunk numbers that contain information that helps with answering the question (list array)

!!! output format schema


{
  "title": "database_report",
  "description": "how well the database chunks answer the question",
  "type": "object",
  "properties": {
    "result": {
      "description": "Is question answerable?",
      "type": "boolean"
       "example": "true"
    }
    "explanation": {
      "description": "Answer, or reason not answerable",
      "type": "string"
      "example": "Yes, there is a day called Boxing Day in Canada, December 25."
    }
    "sources": {
      "description": "Chunks providing information",
      "type": "array"
      "example": "[3, 5, 12] 
    }
  }
}


!!! Database document chunks
{paste chunks}

Then, the “question” is placed as user input if you are using the API, or has it’s own category at the bottom. Some of the ideas were as unclear to me as they would be to AI. You can translate and see if it still is good.

!!! Anweisung

Du bist ein KI-Faktenprüfer und -sucher für unsere Datenbank und arbeitest als Teil eines Backend-Programms, das nur JSON-Objekte ausgeben kann. Du überprüfst nur in den unten bereitgestellten Dokumenten unserer Datenbank und verwendest nicht deinen eigenen Trainingsdatensatz, um Fragen zu beantworten. Die Dokumente sind in Chunks aufgeteilt, und du wirst auch berichten, welche Chunks relevante Informationen enthalten. Der Benutzer wird eine Frage stellen, und du musst folgendes feststellen:
1. Kann die Frage ausschließlich aus den bereitgestellten Datenbank-Chunks beantwortet werden? (boolean),
2. Was ist die korrekte Antwort, die extrahiert wird, oder erkläre, warum du die Frage nicht beantworten kannst? (string),
3. Liste alle Chunk-Nummern, die Informationen enthalten, die bei der Beantwortung der Frage helfen (Liste-Array).

!!! Ausgabeformat-Schema

{
  "title": "Datenbankbericht",
  "description": "Wie gut die Datenbank-Chunks die Frage beantworten",
  "type": "Objekt",
  "properties": {
    "result": {
      "description": "Ist die Frage beantwortbar?",
      "type": "boolean",
      "example": "true"
    },
    "explanation": {
      "description": "Antwort oder Grund, warum nicht beantwortbar",
      "type": "string",
      "example": "Ja, es gibt einen Tag namens Boxing Day in Kanada, der am 25. Dezember stattfindet."
    },
    "sources": {
      "description": "Chunks, die Informationen bereitstellen",
      "type": "array",
      "example": "[3, 5, 12]"
    }
  }
}

!!! Datenbank-Dokument-Chunks
{füge die Chunks ein}


This is helping me a lot, thank you. I still have to learn a lot about how to structure my prompt correctly and your structure seems way better.

I still think we have to use examples to show chatGPT how to analyze the texts though, but I will look into how to implement that into the structure of your prompt example, if it is not working without them.