Hi, I tried several chat prompts, and it always seems like the counting done in the platform gives different counting than the one done by the official tokenizers (e.g., one appeared here https://platform.openai.com/tokenizer)
For example, running the following example with configuration of max_tokens=2048 , leads to an error
This model’s maximum context length is 4097 tokens. However, you requested 5072 tokens (3024 in the messages, 2048 in the completion). Please reduce the length of the messages or completion.
Once I remove the System message I got the error
This model’s maximum context length is 4097 tokens. However, you requested 4314 tokens (2266 in the messages, 2048 in the completion). Please reduce the length of the messages or completion.
I.e. you would imply that the system message length is of 758 tokens.
However, if you paste the system message in the [openai tokenizer] (https://platform.openai.com/tokenizer) you get indication that there are 928 tokens.
Am I understand it incorrectly?
System Message:
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed eu eros dolor. Quisque rutrum ligula at libero ultricies, vitae facilisis sem tristique. Aliquam at erat pulvinar, fermentum turpis a, scelerisque lectus. Fusce facilisis purus eu enim viverra dictum. Integer vitae rhoncus mauris. Cras mollis neque at tellus convallis, eget viverra urna bibendum. Vivamus at vestibulum ipsum. Nulla facilisi. Integer feugiat consectetur nisi a efficitur. Sed suscipit dolor eget sem faucibus dignissim. Sed efficitur libero sit amet metus laoreet, ut varius diam lacinia. Fusce mollis consequat odio ut consectetur.
Vestibulum eleifend cursus quam, a aliquet justo consectetur sit amet. Proin tristique dignissim massa, id dignissim eros pharetra a. Mauris non dolor mauris. Nullam at lectus et neque scelerisque lacinia. Sed ac pharetra ipsum. Suspendisse potenti. Ut ut efficitur libero, eu consequat nunc. Integer et tellus id est placerat pulvinar a at leo. Nam fermentum augue eu enim volutpat, id fringilla ante tincidunt. Nam lobortis ipsum sit amet felis posuere, a pellentesque justo cursus. Nullam eleifend est vel gravida tincidunt. Morbi bibendum scelerisque dolor non dictum. In finibus, tellus nec interdum tempor, tortor lectus tempus turpis, nec rutrum erat ligula eu justo.
Fusce rhoncus dui id finibus tincidunt. Proin luctus efficitur quam id laoreet. Mauris vitae dictum erat. Suspendisse ut massa eu ex elementum laoreet. Suspendisse id dui et felis convallis ultrices sed vitae purus. Maecenas sit amet varius nulla. Fusce vitae facilisis libero, a consectetur velit. Sed sed eleifend mauris, vel dapibus quam. Aliquam tempus felis libero, ut consequat tortor commodo at. Suspendisse potenti. Sed mattis eros a risus malesuada, eget viverra mauris efficitur. Nam scelerisque tristique tellus eget malesuada. Fusce eleifend ligula nec odio interdum finibus.
Praesent auctor convallis enim, id suscipit dui vehicula id. Maecenas lobortis dolor id enim sollicitudin interdum. Sed rhoncus volutpat ultricies. Sed congue nunc eu purus iaculis, sit amet elementum sem rhoncus. Donec in orci nec neque cursus cursus vel non arcu. Sed accumsan elit a justo viverra pulvinar. Sed tristique, ipsum ut iaculis mattis, neque nisl cursus lacus, eu ultrices ipsum nulla ac mauris. Proin a nunc in ex pretium posuere. Fusce accumsan, nulla vitae vulputate viverra, felis nisi egestas leo, ut lacinia arcu tortor ut purus. Sed luctus rutrum justo, a lacinia turpis interdum id. Vivamus euismod ullamcorper eros, sit amet auctor velit eleifend vitae. Sed tincidunt, nulla eget luctus
User:
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed eu eros dolor. Quisque rutrum ligula at libero ultricies, vitae facilisis sem tristique. Aliquam at erat pulvinar, fermentum turpis a, scelerisque lectus. Fusce facilisis purus eu enim viverra dictum. Integer vitae rhoncus mauris. Cras mollis neque at tellus convallis, eget viverra urna bibendum. Vivamus at vestibulum ipsum. Nulla facilisi. Integer feugiat consectetur nisi a efficitur. Sed suscipit dolor eget sem faucibus dignissim. Sed efficitur libero sit amet metus laoreet, ut varius diam lacinia. Fusce mollis consequat odio ut consectetur.
Vestibulum eleifend cursus quam, a aliquet justo consectetur sit amet. Proin tristique dignissim massa, id dignissim eros pharetra a. Mauris non dolor mauris. Nullam at lectus et neque scelerisque lacinia. Sed ac pharetra ipsum. Suspendisse potenti. Ut ut efficitur libero, eu consequat nunc. Integer et tellus id est placerat pulvinar a at leo. Nam fermentum augue eu enim volutpat, id fringilla ante tincidunt. Nam lobortis ipsum sit amet felis posuere, a pellentesque justo cursus. Nullam eleifend est vel gravida tincidunt. Morbi bibendum scelerisque dolor non dictum. In finibus, tellus nec interdum tempor, tortor lectus tempus turpis, nec rutrum erat ligula eu justo.
Fusce rhoncus dui id finibus tincidunt. Proin luctus efficitur quam id laoreet. Mauris vitae dictum erat. Suspendisse ut massa eu ex elementum laoreet. Suspendisse id dui et felis convallis ultrices sed vitae purus. Maecenas sit amet varius nulla. Fusce vitae facilisis libero, a consectetur velit. Sed sed eleifend mauris, vel dapibus quam. Aliquam tempus felis libero, ut consequat tortor commodo at. Suspendisse potenti. Sed mattis eros a risus malesuada, eget viverra mauris efficitur. Nam scelerisque tristique tellus eget malesuada. Fusce eleifend ligula nec odio interdum finibus.
Praesent auctor convallis enim, id suscipit dui vehicula id. Maecenas lobortis dolor id enim sollicitudin interdum. Sed rhoncus volutpat ultricies. Sed congue nunc eu purus iaculis, sit amet elementum sem rhoncus. Donec in orci nec neque cursus cursus vel non arcu. Sed accumsan elit a justo viverra pulvinar. Sed tristique, ipsum ut iaculis mattis, neque nisl cursus lacus, eu ultrices ipsum nulla ac mauris. Proin a nunc in ex pretium posuere. Fusce accumsan, nulla vitae vulputate viverra, felis nisi egestas leo, ut lacinia arcu tortor ut purus. Sed luctus rutrum justo, a lacinia turpis interdum id. Vivamus euismod ullamcorper eros, sit amet auctor velit eleifend vitae. Sed tincidunt, nulla eget luctus
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed eu eros dolor. Quisque rutrum ligula at libero ultricies, vitae facilisis sem tristique. Aliquam at erat pulvinar, fermentum turpis a, scelerisque lectus. Fusce facilisis purus eu enim viverra dictum. Integer vitae rhoncus mauris. Cras mollis neque at tellus convallis, eget viverra urna bibendum. Vivamus at vestibulum ipsum. Nulla facilisi. Integer feugiat consectetur nisi a efficitur. Sed suscipit dolor eget sem faucibus dignissim. Sed efficitur libero sit amet metus laoreet, ut varius diam lacinia. Fusce mollis consequat odio ut consectetur.
Vestibulum eleifend cursus quam, a aliquet justo consectetur sit amet. Proin tristique dignissim massa, id dignissim eros pharetra a. Mauris non dolor mauris. Nullam at lectus et neque scelerisque lacinia. Sed ac pharetra ipsum. Suspendisse potenti. Ut ut efficitur libero, eu consequat nunc. Integer et tellus id est placerat pulvinar a at leo. Nam fermentum augue eu enim volutpat, id fringilla ante tincidunt. Nam lobortis ipsum sit amet felis posuere, a pellentesque justo cursus. Nullam eleifend est vel gravida tincidunt. Morbi bibendum scelerisque dolor non dictum. In finibus, tellus nec interdum tempor, tortor lectus tempus turpis, nec rutrum erat ligula eu justo.
Fusce rhoncus dui id finibus tincidunt. Proin luctus efficitur quam id laoreet. Mauris vitae dictum erat. Suspendisse ut massa eu ex elementum laoreet. Suspendisse id dui et felis convallis ultrices sed vitae purus. Maecenas sit amet varius nulla. Fusce vitae facilisis libero, a consectetur velit. Sed sed eleifend mauris, vel dapibus quam. Aliquam tempus felis libero, ut consequat tortor commodo at. Suspendisse potenti. Sed mattis eros a risus malesuada, eget viverra mauris efficitur. Nam scelerisque tristique tellus eget malesuada. Fusce eleifend ligula nec odio interdum finibus.
Praesent auctor convallis enim, id suscipit dui vehicula id. Maecenas lobortis dolor id enim sollicitudin interdum. Sed rhoncus volutpat ultricies. Sed congue nunc eu purus iaculis, sit amet elementum sem rhoncus. Donec in orci nec neque cursus cursus vel non arcu. Sed accumsan elit a justo viverra pulvinar. Sed tristique, ipsum ut iaculis mattis, neque nisl cursus lacus, eu ultrices ipsum nulla ac mauris. Proin a nunc in ex pretium posuere. Fusce accumsan, nulla vitae vulputate viverra, felis nisi egestas leo, ut lacinia arcu tortor ut purus. Sed luctus rutrum justo, a lacinia turpis interdum id. Vivamus euismod ullamcorper eros, sit amet auctor velit eleifend vitae. Sed tincidunt, nulla eget luctus
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed eu eros dolor. Quisque rutrum ligula at libero ultricies, vitae facilisis sem tristique. Aliquam at erat pulvinar, fermentum turpis a, scelerisque lectus. Fusce facilisis purus eu enim viverra dictum. Integer vitae rhoncus mauris. Cras mollis neque at tellus convallis, eget viverra urna bibendum. Vivamus at vestibulum ipsum. Nulla facilisi. Integer feugiat consectetur nisi a efficitur. Sed suscipit dolor eget sem faucibus dignissim. Sed efficitur libero sit amet metus laoreet, ut varius diam lacinia. Fusce mollis consequat odio ut consectetur.
Vestibulum eleifend cursus quam, a aliquet justo consectetur sit amet. Proin tristique dignissim massa, id dignissim eros pharetra a. Mauris non dolor mauris. Nullam at lectus et neque scelerisque lacinia. Sed ac pharetra ipsum. Suspendisse potenti. Ut ut efficitur libero, eu consequat nunc. Integer et tellus id est placerat pulvinar a at leo. Nam fermentum augue eu enim volutpat, id fringilla ante tincidunt. Nam lobortis ipsum sit amet felis posuere, a pellentesque justo cursus. Nullam eleifend est vel gravida tincidunt. Morbi bibendum scelerisque dolor non dictum. In finibus, tellus nec interdum tempor, tortor lectus tempus turpis, nec rutrum erat ligula eu justo.
Fusce rhoncus dui id finibus tincidunt. Proin luctus efficitur quam id laoreet. Mauris vitae dictum erat. Suspendisse ut massa eu ex elementum laoreet. Suspendisse id dui et felis convallis ultrices sed vitae purus. Maecenas sit amet varius nulla. Fusce vitae facilisis libero, a consectetur velit. Sed sed eleifend mauris, vel dapibus quam. Aliquam tempus felis libero, ut consequat tortor commodo at. Suspendisse potenti. Sed mattis eros a risus malesuada, eget viverra mauris efficitur. Nam scelerisque tristique tellus eget malesuada. Fusce eleifend ligula nec odio interdum finibus.
Praesent auctor convallis enim, id suscipit dui vehicula id. Maecenas lobortis dolor id enim sollicitudin interdum. Sed rhoncus volutpat ultricies. Sed congue nunc eu purus iaculis, sit amet elementum sem rhoncus. Donec in orci nec neque cursus cursus vel non arcu. Sed accumsan elit a justo viverra pulvinar. Sed tristique, ipsum ut iaculis mattis, neque nisl cursus lacus, eu ultrices ipsum nulla ac mauris. Proin a nunc in ex pretium posuere. Fusce accumsan, nulla vitae vulputate viverra, felis nisi egestas leo, ut lacinia arcu tortor ut purus. Sed luctus rutrum justo, a lacinia turpis interdum id. Vivamus euismod ullamcorper eros, sit amet auctor velit eleifend vitae. Sed tincidunt, nulla eget luctus