O desempenho de um projeto de IA numa empresa não se mede pelos entregáveis produzidos, mas pelos resultados de negócio: prazos, qualidade, retrabalhos, custos e tempo realocado. Esta é a tese defendida por Alexandre Ruiz, arquiteto de sistemas empresariais e autor de La Couche IA, um ensaio dedicado à inteligência artificial e à transformação das organizações. Para ele, eliminar um processo é por vezes preferível à sua automatização.
As demonstrações de IA têm uma fraqueza comum: param frequentemente no momento em que o documento é gerado. Uma síntese aparece em segundos, uma tabela preenche-se automaticamente, um e-mail redige-se quase sozinho. No entanto, para o autor, a criação do entregável não é o resultado de negócio. Para medir uma transformação, é preciso observar o que acontece a seguir: validação, erro, retrabalho, decisão, satisfação e custo.
Cinco indicadores para além do entregável
O primeiro indicador é o prazo completo entre um pedido e a sua resolução. Ganhar vinte minutos na redação de uma nota não altera um processo em espera há três dias. O segundo é a taxa de retrabalho: uma resposta produzida rapidamente, mas corrigida duas vezes, pode custar mais do que uma resposta lenta e fiável.
O terceiro indicador diz respeito à qualidade da decisão. A produção de cem recomendações não vale nada se não esclarecerem nenhuma arbitragem. O quarto diz respeito ao tempo realocado: as equipas conseguiram realmente dedicar-se à relação com o cliente, à formação ou a processos mais complexos? O quinto é o custo completo, que deve integrar licenças, integração, supervisão, riscos, atualizações e manutenção.
Um ganho individual absorvido pelo coletivo
Um ensaio randomizado da Microsoft Research com 6.000 colaboradores observou uma redução do tempo gasto em e-mails, mas não uma mudança significativa no tempo de reunião. A lição, segundo o autor, não é que a IA não funcione: um ganho individual pode ser absorvido por práticas coletivas inalteradas. Os trabalhos do NBER sobre assistência ao suporte ao cliente mostram também que os benefícios variam consoante os perfis e as tarefas.
Eliminar em vez de automatizar
Estes indicadores podem conduzir a uma decisão por vezes contra-intuitiva: não automatizar uma etapa que seria mais simples eliminar. Antes de construir um agente, ou seja, um programa de IA capaz de encadear sozinho várias ações, que transmite um processo entre três equipas, por que não clarificar a responsabilidade da decisão? Uma estratégia de IA não se julga pelo número de automatizações em produção, mas pelo custo e pela qualidade de um resultado de negócio duradouro.
