How to avoid Repetitive Response Fragments after Fine-Tuning

API
,
1

I have extended a model using the fine-tuning approach. The training, here with 5 epochs, worked without errors. For example, the training data looks like this:

{"messages": [
{"role":"system","content":"Benutzer ist IT-Sicherheitsexperte. Nutze Fachterminologie."},
{"role":"system","content":"Gespräch ist professionell. Nutze förmlichen Ton."},
{"role":"system","content":"Nach Risiken, thematisiere Präventivmaßnahmen."},
{"role": "user","content": "Welche Gefahr geht im Zusammenhang mit dem IT-Grundschutz von Feuer aus?"},{"role": "assistant","content": "Feuer können schwere Schäden an Menschen, Gebäuden und deren Einrichtung verursachen. Neben direkten durch Feuer verursachten Schäden lassen sich Folgeschäden aufzeigen, die insbesondere für die Informationstechnik in ihrer Schadenswirkung ein katastrophales Ausmaß erreichen können. Löschwasserschäden treten beispielsweise nicht nur an der Brandstelle auf. Sie können auch in tiefer liegenden Gebäudeteilen entstehen. Bei der Verbrennung von PVC entstehen Chlorgase, die zusammen mit der Luftfeuchtigkeit und dem Löschwasser Salzsäure bilden. Werden die Salzsäuredämpfe über die Klimaanlage verteilt, können auf diese Weise Schäden an empfindlichen elektronischen Geräten entstehen, die in einem vom Brandort weit entfernten Teil des Gebäudes stehen. Aber auch \"normaler\"Brandrauch kann auf diesem Weg beschädigend auf die IT-Einrichtung einwirken. Ein Brand entsteht nicht nur durch den fahrlässigen Umgang mit Feuer (z. B. durch unbeaufsichtigte offene Flammen, Schweiß- und Lötarbeiten), sondern auch durch unsachgemäße Benutzung elektrischer Einrichtungen (z. B. unbeaufsichtigte Kaffeemaschine, Überlastung von Mehrfachsteckdosen). Technische Defekte an elektrischen Geräten können ebenfalls zu einem Brand führen. Die Ausbreitung eines Brandes kann unter anderem begünstigt werden durch: \n* Aufhalten von Brandabschnittstüren durch Keile,\n* unsachgemäße Lagerung brennbarer Materialien (z. B. Altpapier),\n* Nichtbeachtung der einschlägigen Normen und Vorschriften zur Brandvermeidung,\n* fehlende Brandmeldeeinrichtungen (z. B. Rauchmelder),\n* fehlende oder nicht einsatzbereite Handfeuerlöscher oder automatische Löscheinrichtungen (z. B. Gaslöschanlagen),\n* mangelhaften vorbeugenden Brandschutz (z. B. Fehlen von Brandabschottungen auf Kabeltrassen oder Verwendung ungeeigneter Dämmmaterialien zur Wärme- und Schallisolierung)."}
]}
…

When using the model, I get repetitive response fragments “ad infinitum” (ad nauseam) within a chat completion until the length constraint is reached:

… 
      "message": {
        "role": "assistant",
        "content": "- Regelmäßige Updates der Antivirensoftware\n- Regelmäßige Updates des Betriebssystems und der installierten Programme\n- Regelmäßige Überprüfung des Systems auf Viren\n- Keine unbekannten Dateien öffnen oder ausführen\n- Keine unbekannten E-Mails öffnen oder Anhänge herunterladen\n- Keine unbekannten Webseiten besuchen\n- Keine unbekannten USB-Sticks oder andere Wechseldatenträger anschließen\n- Keine unbekannten Geräte über Bluetooth verbinden\n- Keine unbekannten WLAN-Netze nutzen\n- Keine unbekannten Apps installieren\n- Keine unbekannten Cloud-Dienste nutzen\n- Keine unbekannten Online-Dienste nutzen\n- Keine unbekannten sozialen Netzwerke nutzen\n- Keine unbekannten Messenger-Dienste nutzen\n- Keine unbekannten Zahlungsdienste nutzen\n- Keine unbekannten Online-Shops nutzen\n- Keine unbekannten Webseiten besuchen\n- Keine unbekannten Suchmaschinen nutzen\n- Keine unbekannten E-Mail-Dienste nutzen\n- Keine unbekannten E-Mail-Adressen nutzen\n- Keine unbekannten E-Mails versenden\n- Keine unbekannten E-Mails empfangen\n- Keine unbekannten E-Mails lesen\n- Keine unbekannten E-Mails beantworten\n- Keine unbekannten E-Mails weiterleiten\n- Keine unbekannten E-Mails drucken\n- Keine unbekannten E-Mails archivieren\n- Keine unbekannten E-Mails löschen\n- Keine unbekannten E-Mails wiederherstellen\n- Keine unbekannten E-Mails in den Spam-Ordner verschieben\n- Keine unbekannten E-Mails aus dem Spam-Ordner wiederherstellen\n- Keine unbekannten E-Mails in den Papierkorb verschieben\n- Keine unbekannten E-Mails aus dem Papierkorb wiederherstellen\n- Keine unbekannten E-Mails in den Archiv-Ordner verschieben\n- Keine unbekannten E-Mails aus dem Archiv-Ordner wiederherstellen\n- Keine unbekannten E-Mails in den Gelöscht-Ordner verschieben\n- Keine unbekannten E-Mails aus dem Gelöscht-Ordner wiederherstellen\n- Keine unbekannten E-Mails in den Spam-Ordner verschieben\n- Keine unbekannten E-Mails aus dem Spam-Ordner wiederherstellen
…

Is the error already in the training data, in that I need to include a stop statement in the response, for example? Or do I have to design the user or system prompt differently?

I am grateful for any hint.

1 Like
2

For what I can say that is not an unusual case.

Maybe you could play around with

presence_penalty
1 Like
3

The chat format should be already training the AI on the stop token that is generated to end the chat completion response.

You can try first reducing the top-p API setting to something like 0.2, so that when a stop is to be emitted, there are no alternate tokens if that is the most likely output. That should also help language quality for non-English.

Then, there is no need nor demonstrated example for using multiple system messages. The system instructions should not be telling the AI how to behave - that is the whole point of fine-tuning. The system message should have a strong unique identity that shows that when you provide the same system message, your fine-tune method is activated.

To use your model currently, you’ll have to supply the same system messages.

1 Like
4

I thank you for the valuable tips. In fact, I tried to set a freely chosen stop mark (“ETX”) at the end of each reply section and then check exactly this condition in the chat dialog:

  "temperature": 0.2,
  "frequency_penalty": 0,
  "presence_penalty": 0,
  "max_tokens": 1000,
  "stop": [ "ETX" ],
  "n": 1,
  "stream": false,

The output works fine if I limit the prompt accordingly, e.g. “Name three measures against computer viruses”:

  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "* A virus scanner **should** be used.\n* The virus scanner **should** be updated regularly.\n* The virus scanner **should** scan the entire disk for viruses regularly."
      },
      "finish_reason": "stop"
    }
  ],

As soon as I let the reins too loose (e.g. What measures help against computer viruses) the repetitions still occur.