Problema
Classificar reclamação com IA é fácil numa demo e difícil numa operação. A pergunta que importa é em quais casos o modelo decide sozinho e em quais pede ajuda.
Para isso, a confiança declarada precisa ser honesta. Um modelo que diz 95% de certeza e erra metade é pior que um que erra mais e avisa.
O que fiz
Rotulei 200 avaliações em nove motivos, de atraso a arrependimento, e coloquei três concorrentes na mesma prova: Jev, um modelo fechado de decisão tipada; um LLM comum, como base; e Laya, um modelo aberto que roda na minha máquina.
Medi acerto, calibração, tempo e custo, e simulei a regra da operação. Os dois melhores foram honestos: acima de 90% de confiança, acertaram 95% e 98%. O Laya, depois de aprender com 3 mil avaliações classificadas pelo Jev, foi de 12% a 82%. Serve quando o dado não pode sair de casa.
Antes de culpar o aluno, vale conferir o gabarito.