Avalie a IA pelo que o modelo não recebe

A IA na formação deve ser avaliada pelo que o modelo não recebe, pela finalidade do processamento e pelos limites impostos às sugestões.

A maneira habitual de apresentar inteligência artificial num software é pela lista do que ela faz. Com dados de formação, essa é a lista menos informativa das duas: um domínio de formação contém identidades, percursos profissionais e opiniões dadas sob promessa de anonimato, e a pergunta que separa um desenho sério de uma demonstração bonita é o que entra na chamada ao modelo — e o que fica, deliberadamente, de fora. Este artigo faz a apresentação pela ordem inversa.

O que o Copiloto faz

Comece-se pelo que existe. O Copiloto AI da Training App, disponível no plano Enterprise, faz hoje três coisas. Analisa as respostas aos inquéritos de satisfação de um evento e devolve um resumo, o sentimento geral, os pontos fortes e a melhorar identificados nos comentários, e uma recomendação acionável. Agrega, na ficha de um formador, a satisfação de todos os eventos que lecionou e devolve o mesmo tipo de leitura sobre o seu desempenho. E, na ficha de um formando, cruza o perfil profissional com os cursos já frequentados e o catálogo ativo do domínio para sugerir formação seguinte, com a relevância e o motivo de cada sugestão.

O que o modelo não recebe

Agora a lista inversa, que é onde mora o desenho. Antes de qualquer chamada ao modelo, a identidade é removida dos dados: o modelo que analisa inquéritos nunca recebe o nome ou o email de um formando — o que, no caso dos inquéritos de satisfação, prolonga para dentro da análise o anonimato que a DGERT exige na recolha. A recomendação de cursos trabalha sobre profissão, função, escolaridade, situação face ao emprego e setor; nome, email e NIF ficam fora do que é enviado. As chamadas passam por um gateway único de Azure OpenAI na região West Europe — os dados não saem da União Europeia — e o consumo fica registado por domínio. E há um limite estrutural nas sugestões: o Copiloto recomenda cursos do catálogo real do domínio, pelo que não pode inventar uma formação que não exista para a sugerir com convicção — o erro clássico dos modelos generativos fica vedado por construção, não por esperança.

Dois traços menos visíveis completam o retrato. Primeiro, o sistema declara as suas indisponibilidades em vez de as disfarçar: quando o serviço está desligado, quando o fornecedor impõe limites de utilização, quando a resposta do modelo vem inválida, o utilizador recebe o erro correspondente e a indicação de tentar mais tarde — nunca uma resposta fabricada para preencher o silêncio. Segundo, a revisão humana está assumida no desenho: as recomendações destinam-se a ser vistas por um coordenador ou formador antes de chegarem a um formando. A ferramenta informa uma decisão que continua a ser de pessoas — e num setor onde a entidade responde pelo que comunica aos seus formandos, essa ordem dos fatores importa.

Como medir o valor

Falta a pergunta que um leitor atento já formulou: e isto vale a pena? A resposta honesta é que ainda não sabemos medi-lo — e preferimos dizê-lo a fingir o contrário. Quanto tempo de análise se ganha, quantas recomendações são aceites, se a satisfação melhora depois das intervenções sugeridas: são números que exigem utilização real e uma base de comparação, e que estão a ser recolhidos, não proclamados. Metade do mercado de software anuncia IA como destino; a experiência ensina que um resumo automático só cria valor quando muda uma decisão ou elimina um esforço concreto, e isso demonstra-se com métricas, caso a caso.

O que já se pode avaliar hoje, sem esperar por essas métricas, é o desenho — e é por isso que este artigo aparece ao lado da confiança e não numa página de novidades. Perante qualquer funcionalidade de IA sobre dados de pessoas, as perguntas que um decisor deve fazer são as mesmas que aqui se responderam: que dados recebe o modelo, onde são processados, que pode a ferramenta afirmar e que lhe está vedado, quem revê antes de agir, e o que acontece quando falha. São perguntas de arquitetura. Um fornecedor que as responda com esta especificidade pode ainda ter de provar o valor; um que não as responda já revelou o essencial.

IA na formação: quatro limites antes da primeira sugestão

A IA na formação não precisa do nome do formando para sugerir um percurso. Antes de enviar dados, a IA na formação deve remover identidade, limitar campos, escolher uma região adequada e trabalhar apenas com o catálogo real. A Comissão Europeia explica o quadro regulatório europeu para inteligência artificial. Veja também como o RGPD se aplica às entidades formadoras. IA na formação responsável reduz dados antes do pedido; IA na formação útil apresenta sugestões que uma pessoa pode compreender e rejeitar.

Sobre o autor

Nuno Nogueira

Empreendedor e Fundador da Training App

Trabalha em gestão de formação e automação de processos. Fundou a Training App para simplificar a forma como as entidades formadoras certificadas pela DGERT gerem a sua operação, e acompanha cada cliente desde a implementação até à evolução contínua da plataforma.