Can AI check itself for safety and secrecy? Can I split prompts?

Prompting
1

Briefings are messy. I’ve seen it of all kinds; complete with the psychological profile of the client, the color of the assistant’s shoes and endless useless information, right down to the short, objective lines of a line. What do they all have in common? Secrecy, NDAs.

I’m creating an “assistant” app for the various ideation processes/phases in a creative agency.

From what I read in the forums and in some videos, there are several reasons to limit the amount of tokens in the input, but a briefing (which is never standard) can lose a lot with word limits. In the prompt tests that I ran I got good results, but always reaching the input token limit (I’ll paste them at the end of the post).

First question:
Can I split prompts, keeping memory of previous conclusions?
In the example below, I consumed several tokens just for the “briefing” so I asked for a short answer and got a good result right away. The next step would be to ask for style changes, but that would go over the token limit and make the operation very expensive (my test credits are halfway through and I’m broken :-().

After that (wild guess) I figured I would consolidate the result of the first part (short ad) and ask for a to check if the result is a valid creative, has no flagged words and if’s ok make some styles changes.

Is it possible for me to split the prompts this way and ask him to check it himself for secrecy?

This is an old briefing I used to test the prompt, I edited the company and product name. The rest remains the same. I made the prompt in portuguese.
Thank you in advance. It´s nice reading all topics. Lots of nice projects.
the prompt Starts after the separator
Italic was the prompt/bold the response

O Balão Intragástrico Nome do Produto™ agora é parte de um novo grupo. Trata-se da Nome da Empresa Inc, fundada em 2006 e reconhecida mundialmente pela sua expertise em produtos e serviços endoscópicos. Com foco exclusivo no desenvolvimento de estudos e inovações acerca dos procedimentos minimamente invasivos, a Nome da Empresa já possui mais de 600 patentes, atendendo países como Estados Unidos, Reino Unido, França, Alemanha, Espanha, Itália, Bélgica, Austrália e Canadá. Agora com a Nome da Empresa, Nome do Produto™ ganha ainda mais know-how para fortalecer sua atuação no segmento profissional. Produto a ser trabalhado: Balão Intragástrico – Sistema Nome do Produto™ Site: www.nomedoproduto.com Breve descrição do produto: - O Balão Intragástrico Nome do Produto™ é um dispositivo de silicone insuflado com soro fisiológico estéril e azul de metileno numa proporção de 400 a 700ml, que tem como objetivo preencher um espaço no estômago do paciente e, assim, promover a sensação de saciedade e facilitar o processo de emagrecimento saudável. Ou seja, auxilia o paciente a se sentir mais satisfeito comendo menos, já que parte do seu estômago estará preenchido pelo Balão Intragástrico. - Facilita o aprendizado de novas rotinas de alimentação e de comportamento, desde que sejam seguidas as orientações da equipe multidisciplinar. - A colocação não envolve corte e cirurgia, já que ele é inserido através de procedimento endoscópico, e leva cerca de 20 a 30 minutos. É registrado na ANVISA como tratamento médico para sobrepeso e obesidade de pessoas com IMC a partir de 27 kg/m2. Expectativa de perda de peso: 12% a 15% Procedimento: clinica médica ou hospital (15 a 30min) Perfil do Paciente Com IMC a partir de 27kg/m2, ou seja, com sobrepeso ou obesidade; Que não consegue ou tem grande dificuldade de eliminar excesso de peso, já havendo tentado outros métodos de emagrecimento; Que ganhou peso após gravidez, não conseguindo eliminá-lo; Que ganhou peso numa determinada fase da vida, mas quer retomar hábitos saudáveis de alimentação; Que não se adaptou às fórmulas de emagrecimento e não pode tomar medicamentos anorexígenos para a redução de peso; Que não quer submeter-se ou não tenha indicação a procedimentos cirúrgicos para perda de peso, como redução de estômago; Que precisa perder peso antes de realizar uma cirurgia eletiva; Que apresenta comorbidades associadas ao excesso de peso, como diabetes tipo II, colesterol elevado, problemas ortopédicos, etc. CONSUMIDORES: Médicos, Clínicas/Hospitais - O grupo de consumidor direto é o médico endoscopista, pois esse é o responsável pela colocação e retirada do produto. Em grande parte das vendas esse médico é o responsável também pela compra direta do produto. Pacientes - Os pacientes são em sua grande maioria do sexo feminino, correspondente a 83% dos clientes, enquanto 17% são do sexo masculino. A média de idade predominante entre os pacientes é entre 31 a 40 anos (43%), e por ser um procedimento particular de alto custo o tratamento é voltado para o público A, B e C+. ### Objetivos Campanha 2015: O principal desafio é o medo da maioria dos pacientes em potencial de voltar a ganhar o peso após a retirada do balão. Custo x Beneficio; Levar ao público final informação sobre o produto e seu tratamento, afim de aumentar a busca pelo mesmo e torná-lo mais conhecido perante a sociedade; Awareness Endocrinologia – principal porta de entrada do paciente obeso (pesquisa 56,3%); Posicionamento da marca (logo, leitura, redes sociais); Posicionamento Produto Concorrente x Nome do Produto. Evitar pulverização no mercado devido a grande concorrência (ainda que sejamos líderes de mercado); Mostrar diferenciais aos médicos e pacientes; Médico ter percepção das ações realizadas, investimentos e esforços; Tentar diminuir a queixa sobre patrocínios e ações regionais – gerando demanda perceptível aos médicos; Ter métricas e resultados tangíveis; Unificar comunicação entre funcionários, médicos, pacientes, site, redes sociais, etc.; Padronizar materiais de comunicação off-line (todos os públicos); Iniciar projeto de comunicação pra Lap-Band. ### Com base no texto acima, esse é um anúncio curto do produto: O Balão Intragástrico Nome do Produto™ é um dispositivo de silicone insuflado com soro fisiológico estéril e azul de metileno numa proporção de 400 a 700ml, que tem como objetivo preencher um espaço no estômago do paciente e, assim, promover a sensação de saciedade e facilitar o processo de emagrecimento saudável. Ou seja, auxilia o paciente a se sentir mais satisfeito comendo menos, já que parte do seu estômago estará preenchido pelo Balão Intragástrico. A colocação não envolve corte e cirurgia, já que ele é inserido através de procedimento endoscópico, e leva cerca de 20 a 30 minutos. É registrado na ANVISA como tratamento médico para sobrepeso e obesidade de pessoa(s) (com IMC) acima dos 27 kg/m2. Expectativa: 12% à 15% perda medida por pesquisa realizada entre os clientes da marca; Procedimentos: clínica médica ou hospital (15-30min); Perfil do Paciente: Com IMC acima dos 27kg/m2

Settings
Engine
davinci
Response Length
339
Temperature
0.14
Top P
1
Frequency Penalty
1
Presence Penalty
1
Best Of
1
Stop Sequences
Enter sequence and press Tab
Inject Start Text

Inject Restart Text

Show Probabilities
Most Likely
Content filter
Manage preferences

3

You need to use a database for this.

You’re asking difficult cognitive questions. To achieve this, humans must keep track of different information sources, each with some context around it. This can be recorded in the previously mentioned database with metadata. From there, you can construct additional prompts that ask “Is this information privileged?”

Your goal is a nontrivial exercise.

2 Likes
4

Thank you very much for your response.

The question “ask him to check it himself for secrecy”, was a bad question sorry. I mean,
Briefings are Non-disclosure Documents, after the client input the briefing, I need to have some sort of safety step to avoid bad inputs (bomb recipe), no way I can put a human element here, it would break the NDA. In this sense, can I make a filter to only respond if indeed is a briefing for a creative normal task?

1 Like
5

Thank you! @daveshapautomator.
this was very helpfull.

1 Like
7

Thanks for your response @m-a.schenk I´ve been learning a lot with your posts.

I agree, a lot of sensitive data exchanged. I belive that those security checks are a challenge, but not impossible (right?).

In my mind, I imagine two separate boxes. One box have the GTP-3 “mind” and other deals with sensitive data in a close loop, both the inputs and the outputs could be encryped perhaps?

2 Likes
9

Thanks again. @m-a.schenk.
When you refer “on top of existing solution”, you are talking about those APP makers like Bubble or the OpenAI infrastructure itself?
I have no clue whatsoever on coding, so I really need go look for those “security by design” persons to answer those questions, it´s key on my business model as you already point.

My go plan right now is:

  1. Finish the business model - (80% on those)
  2. Make a mokup to start the “Open AI going live” process. (30%)
  3. Create a detailed briefing, so I could explain the needs to a code partner/freelancer. (30%)
  4. Iterate.
2 Likes
10

As a systems engineer who has been responsible for research data, PHI, and corporate secrets I will say that there are established protocols and methods for controlling data access.

In many cases, data has different tenancies - data owned by Organization X is stored in a different location (file share, database) than data owned by Organization Y. You could conceivably collapse this all into a single database and differentiate owners with a field in the database. You have to be exceptionally careful because your DBAs might accidentally expose data.

Now, how do you control access to that data via GPT-3?

With databases or fileshares, you access them with a service account. This service account is just like how your script might access the OpeanAI API - it is an identity with a password or some other cryptographic secret. For the best security, you can create a different security principle for each organization - such that each service account can ONLY access the secret data for its specific organization. There are tools for managing this - they are called PAM (privileged access management). This kind of service (PAM) is critical for governance and integrity because it records who got access to what and at what time.

All of this is under something called the “principle of least privilege” - any person or service should ONLY be given access to exactly what it needs and when it needs it. Then a tool like PAM will revoke that access so nothing can be read or written accidentally.

How do you create a barrier between privileged internal data and external customer requests? You need some kind of secure gateway. In my cognitive architecture, I use several layers of “checks” where conflicting rules can be evaluated by GPT-3 (e.g. “I am allowed to do X but not Y, so if user asks for Z, what do I do?”) Since GPT-3 is good with understanding semantic instructions, you can explore gating access with this method: “The rules of accessing data are X, Y, and Z: therefore the output should be blah”. You could also use more conventional methods like REGEX checks.

In almost all cases in business today, privileged requests must be approved by a human, even if it is just a rubber stamp. So you might have something where the end user generates the request, your GPT-3 system fetches the data and generates the answer, but then it waits for your approval. There are lots of cloud-based tools for this, and perhaps one of the easiest to setup would be on Azure or AWS.

Over time, you can develop automated approvals.

2 Likes