Inteligência artificial é aprovada no concurso da diplomacia

Pela primeira vez um sistema de inteligência artificial (IA) foi aprovado no Concurso de Admissão à Carreira de Diplomata (CACD), um dos concursos públicos mais difíceis do país. Resultado de um experimento conduzido pela startup de educação Clipping CACD com participação de 13 professores especializados no certame. No contexto do concurso de diplomata, a aprovação da IA significa que o sistema foi capaz de obter uma pontuação superior à nota de corte do concurso de diplomata, demonstrando habilidades e conhecimentos relevantes para a prova e abrindo novas possibilidades para a aplicação da IA na preparação de candidatos para provas de alta complexidade.

A aprovação de uma inteligência artificial no CACD tem um significado especial para a aplicação de tecnologias ao mercado de educação em razão da complexidade dessa prova. Conhecido não só pela amplitude temática do Edital, mas pela profundidade e rigor acadêmico exigidos pela banca examinadora, o Concurso de Admissão à Carreira de Diplomata (CACD) é considerado um dos concursos mais difíceis do país. Anualmente, cerca de 6 mil candidatos disputam cerca de 30 vagas numa extenuante maratona de provas objetivas e discursivas de disciplinas dos mais variados campos do conhecimento como História do Brasil, História Mundial, Economia, Geografia, Direito Interno e Direito Internacional, Política Internacional, Português, Inglês, Francês e Espanhol. No último concurso, a relação foi de 190 candidatos por vaga e o tempo médio de preparação entre os aprovados foi de aproximadamente 5 anos de estudos. A performance atingida pela IA encoraja a exploração da tecnologia desenvolvida para ajudar na preparação não só em concursos públicos, mas também vestibulares e provas de alta complexidade.

Com taxa de aprovação média de 94% no CACD, o Clipping vem desde 2019 empreendendo uma política de inovação especificamente focada em inteligência artificial. Desde a premiação com o Bot Awards Brasil, onde o Clipping Bot foi eleito o melhor chatbot para área da educação ao lado de marcas como Magazine Luíza, PagSeguro e Rock in Rio, a startup vem redobrando apostas em inteligência artificial como um meio para resolver problemas concretos de candidatos a provas e concursos públicos diversos. Em Abril, o Clipping lançou o sistema de correção automática de questões discursivas por machine learning, resultante de um projeto de pesquisa realizado em conjunto com o departamento de Ciências da Computação da Universidade Federal de Minas Gerais (UFMG) e o Parque Tecnológico de Belo Horizonte (BHTEC), centro de inovação criado pela parceria entre o Governo de Minas Gerais, SEBRAE e UFMG , no qual o Clipping é empresa residente.

Recentemente, avanços significativos têm sido alcançados em diversas áreas sobretudo por meio do desenvolvimento dos Large Language Models (LLM), como o ChatGPT. Esses avanços motivaram novos projetos de inovação, também iniciados no âmbito de projeto de pesquisa do Clipping com a UFMG e o BHTEC, focados em construir o Clipping GPT, um assistente pessoal para candidatos a concursos. O Clipping GPT é capaz de dialogar forma prática e humanizada não apenas com candidatos, mas também com professores, que podem ter acesso a sua base de conhecimento da empresa por meio de uma interface conversacional.

Os detalhes do case encontram-se abaixo dividido em três seções:

• Construindo um modelo de IA para o CACD
• Clipping GPT realiza provas discursivas do CACD e é aprovado.
• Próximos passos e lista de acesso à versão beta do Clipping GPT

Construindo um modelo de IA para o concurso da diplomacia

O ChatGPT é um modelo de linguagem de inteligência artificial (Large Language Models (LLM)) baseado na arquitetura GPT (Generative Pre-trained Transformer) desenvolvido pela OpenAI. Ele foi treinado em uma grande quantidade de dados textuais para gerar respostas a partir de perguntas ou comandos que recebe. O ChatGPT é capaz de entender o contexto da conversa e gerar respostas que fazem sentido e que muitas vezes parecem ser escritas por uma pessoa real.

Embora o ChatGPT represente um grande avanço no campo da IA, seu uso na educação apresenta desafios significativos, sobretudo pela premissa dos Large Language Models (LLM), como ChatGPT, funcionarem como modelos de linguagem, não uma base de conhecimento a partir da qual se pode aferir a veracidade de uma informação.

ChatGPT sometimes writes plausible-sounding but incorrect or nonsensical answers. Fixing this issue is challenging, as:
(1) during RL training, there’s currently no source of truth;
(2) training the model to be more cautious causes it to decline questions that it can answer correctly; and
(3) supervised training misleads the model because the ideal answer depends on what the model knows, rather than what the human demonstrator knows.

Open AI, sobre as limitações do ChatGPT

Um das características do ChatGPT, da OpenAI, é que suas respostas apenas tangenciam a realidade, produzindo respostas que soam convincentes, mas que não necessariamente correspondem aos fatos.

Esse é o principal desafio para a aplicação prática do ChatGPT ao concurso da diplomacia e qualquer outro concurso na educação de forma mais ampla. Uma outra limitação é o fato do ChatGPT ter sido treinado em dados anteriores a 2021. Fatos e evoluções ocorridas após esse período não são levados em conta, produzindo respostas desatualizadas em determinados contextos, sobretudo em disciplinas como Política Internacional, Geografia e Direito, onde o conteúdo cobrado passa por atualizações constantes.

LLMs, como o ChatGPT, foram concebidos para serem um ponto de partida para outros modelos de AI que resolvem problemas mais específicos. Dessa forma, a partir de um LLM é possível construir outros modelos de AI para desempenhar tarefas mais direcionadas, como no caso do Clipping GPT, auxiliar candidatos a estudarem para o concursos da diplomacia. O verdadeiro potencial do ChatGPT e outros LLMs similares está no fato de suas infraestruturas genéricas permitirem a construção de outras ferramentas mais específicas.

Partindo dessa constatação, usamos a estrutura base genérica do GPT 4 para construir um modelo especificamente destinado a ajudar candidatos que estudam para a prova da diplomacia: Clipping GPT. Procedemos a um fine-tuning, do modelo base do ChatGPT por meio de um re-treinamento com datasets específicos usando a base de conhecimento do Clipping, um trabalho de engenharia de prompt que permita ao modelo comandos compreender melhor determinados contextos e apresentar respostas mais específicas, e a construção de memória do modelo, para permitir que ele lembre do contexto de conversas anteriores com o usuário.

Após testes internos, foi constatada uma melhora notável na performance.

Esses testes iniciais confirmaram a hipótese inicial de que a construção de um modelo de AI, baseado no GPT e treinado especificamente no contexto do Concurso de Admissão à Carreira de Diplomata (CACD) tem potencial de gerar eficiência na preparação para o certame, ajudando de forma pragmática candidatos e professores em uma série de tarefas, como tirar dúvidas, gerar resumos, questões, planos de estudos para tópicos específicos, dar exemplificações, etc por meio de um assistente virtual disponível 24h por dia, com domínio pleno e fluente em todo o corpo de conhecimento exigido pelo Edital, e também com malícia para abordar temas de acordo com a “jurisprudência da banca” .

Os resultados dos testes internos encorajaram a validação de uma hipótese ainda mais ambiciosa: essa inteligência artificial seria aprovada para diplomata se fosse submetida ao CACD? Caso positivo, em que lugar? Qual seria suas potencialidades, suas deficiências?

O próximo passo foi submeter o ClippingGPT ao Concurso de Admissão à Carreira de Diplomata (CACD).

Clipping GPT realiza a etapa discursiva do CACD e é aprovado

Para testar o quão bem o Clipping GPT poderia gerar respostas para a fase discursiva do Concurso de Admissão à Carreira de Diplomata (CACD), empreendemos um ambicioso experimento controlado envolvendo 13 professores especializados na preparação para o concurso de diplomata que atribuíram pontos às respostas sem o conhecimento prévio de que foram geradas por nosso modelo de AI (bling grading).

No experimento, usamos as questões aplicadas pela banca IADES no último certame em 2022. Após uma série de iterações em que alteramos parâmetros como prompt, temperatura, contexto e armazenamento dos embeddings (representação vetorizada do conteúdo), compilamos as melhores performances e somamos a pontuação obtida.

Em seguida, procedemos a uma comparação da nota final lograda pelo ClippingGPTcom as notas obtidas por candidatos aprovados no último certame em 2022.

Como resultado, o Clipping GPT seria aprovado no Concurso de Admissão à Carreira de Diplomata na 23º colocação da ampla concorrência dentro, portanto, das 35 vagas disponibilizadas no certame, confirmando a hipótese inicial.

Comparando o desempenho do Clipping GPT com a média dos candidatos aprovados, outras análises podem ser extraídas.

A performance em Francês e Espanhol é um outlier. Nessas questões, a banca busca avaliar a capacidade do candidato de traduzir e resumir textos observando a capacidade de síntese, correção gramatical e propriedade da linguagem. Considerando que essas disciplinas são onde está o maior desvio-padrão e onde a média dos aprovados é menor, a performance superior da IA em relação à média dos aprovados influenciou significativamente no resultado final. No entanto, contra-intuitivamente, essa superioridade em relação à média dos aprovados não se refletiu na prova de Inglês e também e de Português, onde quesitos como capacidade de argumentação são explicitamente avaliados pela banca, possuindo um peso significativo na nota.

Isso não significa que a capacidade de argumentar e relacionar informações seja insuficiente em relação aos aprovados. Muito pelo contrário, o Clipping GPT apresenta uma surpreendente capacidade argumentativa, sendo capaz de defender um ponto de vista de forma consistente e recorrendo a exemplos pertinentes para embasar a resposta.

Resposta do Clipping GPT à questão acima (nota: 16,1 em 20)

A resposta acima, pontuada 16.1 de 20 pontos e poderia constar no guia de estudos publicado anualmente pelos aprovados do concurso e atende aos critérios e quesitos citados pelo IADES, instituição que aplicou a prova em 2022. Em outras disciplinas, a capacidade de organização da resposta com argumentos coerentes e exemplos pertinentes resultou em pontuações que correspondem ao nível de um candidato aprovado.

Em Direito Internacional, por exemplo, a clareza e a precisão dos dispositivos legais citados contribuem para a terceira maior nota dentre as disciplinas.

Resposta do Clipping GPT à questão acima (nota: 23 em 30)

Importante ressaltar que para se chegar à aprovação no 23 lugar, uma série de iterações e melhorias foram realizadas no modelo base do GPT, que testado no contexto do concurso de admissão à carreira de diplomata, apresentou respostas apresentaram problemas e inconsistências, a princípio, o que nos levou a levantar a hipótese de que um treinamento específico do modelo base do GPT 4 foi necessário para atingisse uma pontuação que o colocasse dentro dos aprovados.

Próximos passos:

Acreditamos que a criação do Clipping GPT e sua consecutiva aprovação no concorrido concurso de Diplomata representam importantes avanços no campo da tecnologia, com implicações práticas para a comunidade de candidatos.

O beta do Clipping GPT é ponto de partida, não um ponto de chegada. Os próximos passos são uma rotina de melhoras constantes ao longo das próximas semanas antes de expandir a aplicação da inteligência artificial para outros concursos públicos e vestibulares. O Clipping GPT ainda é uma ferramenta fechada a um grupo restrito de usuários beta que contribuem ativamente com feedbacks e melhorias.

Disclaimer: Embora a inteligência artificial possa ser uma ferramenta valiosa para o processo de aprendizado, ela não pode ser enxergada como um fim em si mesmo. No Clipping, mantemos uma processo de produção e validação artesanal de conteúdos. Não acreditamos e nem queremos que a AI tenha a capacidade de substituir a figura do professor ou de ferramentas mais tradicionais como leitura, aulas, etc que ainda são a base da preparação de concursos altamente concorridos. A tecnologia deve ser vista como uma aliada de diversos stakeholders do ecossistema de educação como alunos, professores, instituições de ensino inclusive. Sempre como um meio para gerar eficiência e salvar tempo, nunca um fim em sim mesmo.

— > Agradecemos ao departamento de Ciência da Computação da UFMG, do BHTEC e a todos os professores que participaram do projeto de pesquisa que deu origem ao Clipping GPT: Tanguy Baghdadi (Clipping / Petit Journal / GloboNews) , Daniel Sousa (Clipping / Petit Journal / GloboNews/ Ibmec-Rio), João Daniel de Almeida (Clipping / Puc-Rio) , Gilda Gama (Clipping ), Eliézer Lopes (Nabuco CACD), Guilherme de Aguiar (Clipping / Unb), Leo Povoas (EnglishCACD), Victor Portella (Nabuco CACD / Ministério das Relações Exteriores), Igor Barca (Estude Idiomas), Bárbara Macedo (Estude Idiomas), Shaun Dowling (Clipping), Evandro Costa (Nabuco CACD) e aos demais cuja colaboração foi imprescindível para esse trabalho.