I have some text that I would like to translate and do some other things with Turbo endpoint. However, the original text is bit long, definitely more than 2,000 tokens, and with the response, goes over the token limit.
What is the best way to split it, send to Open AI API and then pack it back into one response? I have tried using Spacy, but can’t get it to work.
The “best” way to split text depends on the structure of the text.
If you post your example text we can easily guide you.
I have created a simple API endpoint, which is taking json file with few fields
def get_article():
if request.method == "POST":
data = request.get_json()
original_id = data.get("Id")
title = data.get("Title")
intro = data.get("Intro")
text = data.get("Text")
source_language = data.get("Language")
target_language = data.get("Target_language")
I will then take each of these and run some requests to OpenAI API. They work well, but when “Text” is too long, I would need to split it. The “Text” comes with HTML tags and I am keeping them in the response as well, which is fine.
"<!DOCTYPE html><html><head></head><body><p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p><p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p> <p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p><p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p><p><img class="img-responsive" src="https://www.instore.rs/image/cache/extra-large/files/images/img-0174.JPG" alt="" /></p><p>Više od 25 novih zaposlenih u ovoj prodavnici prošlo je adekvatnu obuku i ima konkurentne uslove rada, gde im je pored svakog plaćenog minuta rada, petodnevne radne nedelje dostupan i veliki broj benefita, poput privatnog zdravstvenog osiguranja za sve zaposlene pod jednakim uslovima. Podsećamo da je Lidl nedavno svim svojim zaposlenima uz februarsku platu obezbedio bonus u iznosu od 50% zarade i da je najavio povećanje plate svim zaposlenima od marta, što za prodavce znači povećanje u iznosu od oko 10%, poručuju iz Lidla.</p><p> </p><p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p><p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p><p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p> <p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p><p> </p><p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p><p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p><p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p><p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p><p> </p><p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p><p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p><p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p><p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p><p> </p><p>Povodom otvaranja, Lidl je obezbedio i posebne pakete „Bebina čarobna kutija“ koji su podrška za sve mame iz Sente koje se porode u Opštoj bolnici Sente, u nedelji nakon otvaranja Lidla u ovom gradu, tačnije od 9. do 16. marta.</p></body></html>"
Your HTML document has 23 paragraphs, which I found by searching for the </p> HTML tag.
Since your document is an HTML document, you can use a Python method to create a document object model (a DOM) from the HTML and then easily extract the paragraphs from the DOM.
To extract the paragraph HTML elements from an HTML document string in Python, you can use the BeautifulSoup library. Here’s an example code snippet. You can modify this @nikola1jankovic to extract the paragraphs from your HTML document(s) and then you can consider translating each paragraph (sending as a prompt to the API) or calculating the sizes and translating multiple paragraphs, the choice is yours of course. It’s easy to calculate paragraph size, of course.
from bs4 import BeautifulSoup
html_doc = """
<html>
<head>
<title>Example HTML Document</title>
</head>
<body>
<h1>Heading</h1>
<p>Paragraph 1</p>
<p>Paragraph 2</p>
</body>
</html>
"""
soup = BeautifulSoup(html_doc, 'html.parser')
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p)
MacStudio: python3 nikola.py
<p>Paragraph 1</p>
<p>Paragraph 2</p>
Modify as required to meet your requirements, @nikola1jankovic .
Hope this helps.
Using your data as an example @nikola1jankovic …
MacStudio$ python3 nikoka.py
<p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p>
<p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p>
<p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p>
<p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p>
<p><img alt="" class="img-responsive" src="https://www.instore.rs/image/cache/extra-large/files/images/img-0174.JPG"/></p>
<p>Više od 25 novih zaposlenih u ovoj prodavnici prošlo je adekvatnu obuku i ima konkurentne uslove rada, gde im je pored svakog plaćenog minuta rada, petodnevne radne nedelje dostupan i veliki broj benefita, poput privatnog zdravstvenog osiguranja za sve zaposlene pod jednakim uslovima. Podsećamo da je Lidl nedavno svim svojim zaposlenima uz februarsku platu obezbedio bonus u iznosu od 50% zarade i da je najavio povećanje plate svim zaposlenima od marta, što za prodavce znači povećanje u iznosu od oko 10%, poručuju iz Lidla.</p>
<p> </p>
<p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p>
<p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p>
<p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p>
<p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p>
<p> </p>
<p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p>
<p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p>
<p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p>
<p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p>
<p> </p>
<p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p>
<p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p>
<p>Otvaranjem prve prodavnice u Senti obeležili smo početak otvaranja Lidlovih prodavnica u ovoj godini. U ime Lidl tima sa više od 3.000 zaposlenih želim sreću i našim novim kolegama u Senti. Sigurni smo da će potrošači uživati u jedinstvenom iskustvu kupovine po kojem je Lidl poznat, izjavila je Martina Petrović, rukovodilac Korporativnih komunikacija u Lidlu Srbija.</p>
<p>Kako ističu iz kompanije, ono što Lidl čini posebnim jeste brza kupovina, jer široki rafovi i brze kase obezbeđuju kupovinu bez čekanja u redu. Lidl donosi i specifične kratkotrajne ponude, pa će Senćani imati priliku da uživaju i u Deluxe i Favorina ekskluzivnim proizvodima povodom predstojećih praznika. Na raspolaganju im je i „Lidl Plus“ aplikacija putem koje, kao deo Lidlovog programa lojalnosti, mogu da ostvare brojne pogodnosti u vidu dodatnih ušteda, kao i da učestvuju u aktuelnoj rođendanskoj nagradnoj igri sa vrednim nagradama poput BMW automobila, iPhone telefona i vaučera za kupovinu u Lidl prodavnicama, poručuje se u saopštenju.</p>
<p> </p>
<p>Povodom otvaranja, Lidl je obezbedio i posebne pakete „Bebina čarobna kutija“ koji su podrška za sve mame iz Sente koje se porode u Opštoj bolnici Sente, u nedelji nakon otvaranja Lidla u ovom gradu, tačnije od 9. do 16. marta.</p>
Of course, you can extract the text from the paragraph tags and sent them to an API endpoint as a prompt, as you wish @nikola1jankovic
HTH
Here are the lengths of the paragraphs in your sample text using print(len(p.text));
MacStudio$ python3 a.py
368
648
368
648
0
528
1
368
648
368
648
1
368
648
368
648
1
368
648
368
648
1
227
This is great, you are really helpful. It is nice to see members of the community like you.
