Como saber se um projeto de inteligência artificial está realmente a funcionar

Há uma confissão que fazemos ao olhar para os últimos três anos: algumas soluções pareciam promissoras porque eram impressionantes numa demonstração. Depois chegavam ao trabalho real e encontravam dados incompletos, exceções inesperadas e pessoas sem tempo para interpretar cada resultado. A pergunta decisiva não é se uma aplicação consegue produzir uma resposta. É se essa resposta melhora uma decisão específica, dentro de um processo que a empresa consegue controlar. A diferença parece pequena. Na prática, separa um teste útil de uma aquisição difícil de justificar. Quando avaliamos um projeto de inteligência artificial, começamos por definir a decisão que deve ser apoiada. Uma equipa de compras pode precisar de identificar pedidos com informação em falta. Uma operação de apoio pode querer encaminhar mensagens para a área certa. Uma direção pode necessitar de uma previsão de carga de trabalho para distribuir recursos. Cada caso exige um critério próprio. Não basta contar quantas respostas foram geradas; é necessário verificar se eram pertinentes, se reduziram a revisão manual e se permitiram agir com maior clareza. A nossa metodologia interna tem três etapas: enquadrar, comparar e acompanhar. Enquadramos o problema, os utilizadores e os limites dos dados disponíveis. Comparamos a solução com o processo atual, incluindo o tempo gasto em correções. Acompanhamos o resultado durante um período definido, sem confundir uma melhoria pontual com uma transformação comprovada. Também registamos o que não funcionou. Esta disciplina segue um princípio conhecido na história da gestão industrial: uma medida só tem valor quando está ligada a uma decisão e a uma responsabilidade. Por isso, evitamos indicadores decorativos. Preferimos perguntas objetivas: quantos casos exigiram intervenção, que erros se repetiram, onde aumentou a velocidade e que condições alteraram o desempenho? Uma ferramenta pode ser tecnicamente sofisticada e operacionalmente inadequada. A avaliação começa quando deixamos de perguntar se a tecnologia é interessante e passamos a perguntar para quem, em que momento e com que limite ela é útil.

A objeção mais frequente é razoável: como medir uma solução quando o processo atual também tem falhas? Não precisamos de um cenário perfeito. Precisamos de uma referência descrita com honestidade. Se uma equipa demora várias horas a rever documentos, registamos como esse trabalho é feito, quantos casos são tratados e onde surgem correções. Se uma previsão é preparada com folhas de cálculo diferentes, verificamos quais os dados utilizados e quanto tempo leva a reconciliá-los. A comparação não serve para prometer um resultado uniforme. Serve para tornar a decisão mais informada. Consideremos um sistema que classifica pedidos recebidos por correio eletrónico. Um indicador simples pode ser a proporção de mensagens encaminhadas corretamente na primeira tentativa. Outro pode medir quantas classificações são alteradas por um membro da equipa. Um terceiro pode observar o tempo entre a chegada e a atribuição do pedido. Estes números ganham significado quando são lidos em conjunto. Uma classificação rápida, mas frequentemente corrigida, pode criar mais trabalho em fases posteriores. Uma precisão aceitável, acompanhada por revisão em casos ambíguos, pode ser mais adequada ao contexto. A pergunta seguinte é inevitável: quem decide se a qualidade é suficiente? O responsável operacional deve definir o limiar aceitável com a equipa que conhece as consequências de um erro. A área técnica deve explicar limitações, dependências e condições de utilização. A direção deve avaliar custos, prioridades e impacto nos objetivos do negócio. Nenhuma destas funções deve ser substituída por uma pontuação isolada. Mantemos também controlos para informação pessoal, com acessos limitados, registos de alteração e períodos de retenção coerentes com as obrigações aplicáveis em Portugal e na União Europeia. Se o sistema apoiar decisões que afetam clientes, colaboradores ou fornecedores, a revisão humana precisa de ser clara e efetiva. Os resultados podem variar conforme a qualidade dos dados, a estabilidade do processo e a forma como a equipa utiliza a solução. Por isso, o teste inclui casos comuns, casos ambíguos e situações raras. Uma demonstração favorável não é suficiente. O que importa é observar o comportamento quando a operação deixa de ser previsível.

Daqui a três anos, as organizações mais maduras olharão para os projetos de inteligência artificial como decisões operacionais acompanhadas ao longo do tempo, não como instalações que terminam no dia do lançamento. Saberão indicar o problema original, a referência utilizada, os limites definidos e as condições que justificam uma revisão. Isto não exige burocracia extensa. Exige documentação suficientemente clara para que outra pessoa consiga compreender o raciocínio. Como criar essa disciplina sem travar a inovação? Recomendamos um registo simples para cada iniciativa. Deve indicar a finalidade, as fontes de dados, os utilizadores autorizados, o tipo de supervisão e os indicadores escolhidos. Deve também explicar quando a solução deve ser interrompida ou encaminhada para análise manual. Uma empresa de manutenção pode acompanhar a qualidade da classificação de avarias. Uma equipa de operações pode analisar o tempo de resposta e a quantidade de exceções. Uma direção financeira pode observar a consistência de relatórios internos sem transformar a aplicação num decisor autónomo. Em cada caso, a avaliação deve permanecer ligada ao trabalho concreto. Se a utilização crescer, revemos os dados, os acessos e os critérios. Se o processo mudar, verificamos se a solução continua adequada. Se os erros se concentrarem num tipo específico de caso, ajustamos regras ou restringimos o âmbito. A escala só deve acontecer depois de a organização compreender o que está a ampliar. Também desafiamos outra suposição: um indicador mais elaborado não é necessariamente um indicador melhor. Cinco medidas compreensíveis podem orientar uma decisão com mais rigor do que um painel cheio de métricas que ninguém consulta. O valor está na ligação entre observação e ação. Quem analisa deve saber que pergunta cada indicador responde, que limite exige atenção e que pessoa pode alterar o processo. Não apresentamos a inteligência artificial como substituta do julgamento profissional. Apresentamo-la como um apoio que deve ser testado, acompanhado e revisto. Se está a considerar uma aplicação para uma operação específica, convidamo-lo a começar pelo problema, pela referência atual e pelos critérios de avaliação. Essa conversa permite perceber se existe uma oportunidade concreta, quais são as limitações e que próximo passo faz sentido.