DESENVOLVIMENTO DE UM PROTÓTIPO DE CHATBOT PARA TRIAGEM TÉCNICA DE SOLICITAÇÕES DE LIGAÇÃO NOVA DE ENERGIA ELÉTRICA

Especialização em Processamento de Linguagem Natural

Antônio Carlos Evangelista Filho

Rayssa Mara de Almeida

Universidade Federal de Goiás

Contexto do Problema

O Desafio do Setor Elétrico

Distribuidoras enfrentam volume crescente de solicitações de ligação nova
Processo tradicional: atendentes fazem contato telefônico para verificar conformidade técnica
Alto índice de reprovação por pendências simples (padrão irregular, disjuntor inadequado, aterramento)

Impactos Operacionais

Desperdício de recursos humanos em processos repetitivos
Deslocamentos desnecessários de equipes técnicas
Tempo elevado entre solicitação e atendimento
Insatisfação do consumidor com demora e falta de transparência

Justificativa

Por que Automatizar com Chatbots?

Tecnologia comprovada: estudos mostram redução de até 40% nos custos operacionais
Avanços em PLN: modelos modernos interpretam linguagem natural com alta precisão
Disponibilidade 24/7 sem limitações de horário comercial

Potencial dos LLMs no Setor

Capacidade de processar documentos normativos complexos
Geração de respostas contextualizadas baseadas em normas técnicas
Padronização do atendimento mantendo qualidade técnica

Objetivos

Objetivo Principal

Desenvolver um protótipo de chatbot baseado em LLM para automatizar a triagem técnica de solicitações de ligação nova de energia elétrica, seguindo as normas técnicas da Cemig.

Objetivos Específicos

Implementar sistema capaz de conduzir diálogo estruturado em 10 etapas técnicas
Interpretar respostas em linguagem natural com precisão superior a 90%
Classificar automaticamente solicitações em três categorias:

APTA

Instalação pronta para ligação

PENDENTE

Necessita ajustes específicos

REPROVADA

Não atende requisitos mínimos

Arquitetura do Sistema

Sistema desenvolvido em Python com arquitetura modular para garantir escalabilidade e manutenção

Base de Conhecimento

↓

RAG Service

LLM Service

Session Manager

↓

Triagem Engine

↓

Interface de Comunicação

Componentes do Sistema

1

Triagem Engine

Orquestra o fluxo de perguntas, controla transições e realiza classificação final das solicitações

2

LLM Service (Google Gemini)

Interpreta respostas em linguagem natural usando técnicas de few-shot learning

3

RAG Service

Permite consultas técnicas aos documentos normativos ND-5.1 e ND-5.2

4

Session Manager

Gerencia histórico e estado das sessões com backup automático

5

Interface de Comunicação

Desenvolvida em Flask, permite integração com múltiplos canais

Metodologia: Planejamento

1

Análise de Requisitos

Estudo das normas ND-5.1 (edificações individuais) e ND-5.2 (edificações coletivas)
Mapeamento dos principais pontos críticos de verificação
Levantamento junto a despachantes, equipes de campo e triadores

2

Decisões Arquiteturais

Escolha por arquitetura modular para facilitar manutenção e evolução
Separação clara entre lógica de negócio (Triagem Engine) e serviços de IA
Uso de JSON para persistência devido à simplicidade e compatibilidade

3

Definição do Escopo

Foco inicial em ligações residenciais de baixa tensão
Integração via Telegram para prototipagem rápida
Base de conhecimento limitada às normas Cemig

Metodologia: Implementação Técnica

Ferramentas e Tecnologias

Ambiente de Desenvolvimento:
• Python 3 como linguagem principal
• Flask para interface e APIs
• Google Generative AI para interpretação
• JSON para armazenamento e configuração

Bibliotecas Principais:
• python-telegram-bot (integração Telegram)
• google-generativeai (acesso ao Gemini)
• NumPy (manipulação de embeddings)
• pickle (serialização de cache)
• requests (comunicação HTTP)

Processo de Desenvolvimento

Session Manager: Máquina de estados com backup automático
LLM Service: Retry logic e validação JSON
RAG Service: Embeddings, cache vetorial e busca por similaridade
Triagem Engine: Coordenação central com controle de fluxo
Interface: Webhook Flask com formatação Markdown

Configurações Técnicas

Modelo Principal - Google Gemini-1.5-flash

Configurações:
• Temperatura: 0,1 (determinística para consistência)
• Top-p: 0,8 (nucleus sampling conservador)
• Top-k: 40 (controle de diversidade)
• Max tokens: 1.024 (respostas estruturadas)

Modelo de Embeddings

models/text-embedding-001
• Conversão de documentos em representações vetoriais
• Busca semântica por similaridade
• Threshold de confiança: 0,7 para relevância

Sistema RAG

Cache de vetores para otimizar performance
Similaridade por cosseno para busca
18 seções temáticas das normas ND-5.1 e ND-5.2
Mais de 90 trechos normativos indexados

Construção da Base de Conhecimento

1

Extração das Normas

Análise das normas ND-5.1 e ND-5.2 com identificação de 18 seções temáticas e mais de 90 trechos normativos relevantes

2

Few-Shot Learning

Criação de 10 conjuntos de exemplos estruturados (um para cada pergunta da triagem) com respostas positivas, negativas e casos ambíguos

3

Checklist Técnico

Sequência lógica priorizando pendências críticas, diferenciando impedimentos absolutos de pendências sanáveis

Metodologia de Testes

Sistema de Triagem Automática

55 cenários simulados baseados nas 10 etapas de triagem
Avaliação em 3 critérios: interpretação, classificação de impacto e ação recomendada
Respostas em linguagem natural brasileira

Sistema RAG

14 perguntas técnicas realizadas durante sessões reais
Avaliação em escala 1-5 considerando:

Precisão Técnica

Conformidade com normas

Clareza

Compreensibilidade da resposta

Completude

Abrangência da informação

Coerência Temática

Relevância ao contexto

Resultados do Sistema de Triagem

Desempenho Global

Interpretação: 96,3% de acerto

96,3%

Classificação de Impacto: 81,8% de acerto

81,8%

Ação Recomendada: 81,8% de acerto

81,8%

Destaque: Excelente interpretação de linguagem natural em contexto técnico

Desempenho Detalhado por Etapa

Etapa	Descrição	Interpretação	Impacto	Ação
1.1	Confirmação do serviço	88,9%	88,9%	88,9%
1.2	Validação do endereço	100%	90%	100%
2.3	Livre acesso ao padrão	100%	25%	25%
2.2, 2.4-2.8	Outras verificações	100%	100%	100%

Problema Crítico Identificado: Etapa 2.3 (avaliação do acesso livre) apresentou apenas 25% de precisão na classificação, indicando necessidade urgente de refinamento das regras de negócio.

Resultados do Sistema RAG

4,1

Score Médio Geral (de 5,0)

4,4

Precisão Técnica

4,4

Coerência Temática

3,6

Clareza (menor nota)

Destaques:

Alta precisão técnica e ausência total de alucinações
Excelente aderência às normas ND-5.1 e ND-5.2
Respostas sempre relevantes ao contexto

Limitações Identificadas:

Uso de referências técnicas desnecessárias
Linguagem muito técnica para usuários leigos
Respostas às vezes incompletas por limitação da base de conhecimento

Análise Crítica dos Problemas

Problemas Críticos Identificados

1. Etapa 2.3 - Acesso Livre (25% de precisão)

Sistema não consegue distinguir adequadamente entre acesso público e restrito
Regras de negócio precisam ser redesenhadas
Impacto: classificações incorretas podem gerar visitas desnecessárias

2. Sistema RAG - Comunicação

Referências desnecessárias: "Referência de Triagem - X"
Linguagem muito técnica para consumidores finais
Base de conhecimento limitada para alguns cenários

3. Limitações Arquiteturais

Lógica sequencial rígida dificulta tratamento de exceções
Falta de escalonamento inteligente para casos complexos
Necessidade de critérios claros para ativação do RAG

Discussão: Contextualização dos Resultados

Comparação com Literatura

Estudo	Setor	Precisão	Nosso Resultado
Marchiori et al. (2020)	Triagem médica	~85%	96,3% (interpretação)
Oliveira (2024)	Consultas elétricas	Não reportado	81,8% (classificação)

Análise de Impacto Operacional

40%

Redução estimada de custos operacionais

24/7

Disponibilidade vs horário comercial

18,2%

Taxa de erro que precisa ser reduzida

Limitações Específicas e Análise de Riscos

Riscos Técnicos Identificados

Alto Risco

Falsos Positivos (18,2%): Aprovações indevidas geram visitas técnicas desnecessárias
Etapa 2.3 Crítica: 75% de erro pode impactar significativamente a operação

Médio Risco

Dependência de Few-Shot: Modelo pode não generalizar para cenários não previstos
Base de Conhecimento Limitada: Respostas incompletas podem frustrar usuários

Baixo Risco

Alucinações: Ausência total no sistema RAG
Interpretação: 96,3% de precisão indica robustez

Estratégias de Mitigação

Implementar escalonamento automático para casos de baixa confiança
Criar módulo de validação dupla para Etapa 2.3
Expandir base de conhecimento com mais cenários reais
Implementar feedback loop para aprendizado contínuo

Roadmap de Melhorias

Fase 1: Correções Críticas (1-2 meses)

1

Refinamento da Etapa 2.3

Redesenhar regras de classificação para acesso livre vs restrito

2

Otimização do RAG

Remover referências desnecessárias e simplificar linguagem

Fase 2: Expansão (3-6 meses)

3

Base de Conhecimento

Adicionar mais cenários e exceções baseados em dados reais

4

Escalonamento Inteligente

Implementar transferência automática para atendimento humano

Fase 3: Evolução (6-12 meses)

5

Multimodalidade

Adicionar análise de imagens do padrão de entrada

6

Integração Completa

Conectar com sistemas legados das distribuidoras

Considerações Finais

Validação Técnica

Viabilidade Comprovada: LLMs podem realizar triagem técnica automatizada
Precisão Satisfatória: 96,3% na interpretação e 81,8% na classificação
Ausência de Alucinações: Sistema RAG demonstrou confiabilidade técnica
Arquitetura Escalável: Base sólida para expansão futura

Limitações Reconhecidas

Etapa 2.3 Crítica: Necessita refinamento urgente antes da implementação
Base de Conhecimento: Requer expansão para cobertura completa
Comunicação: Linguagem precisa ser simplificada para usuários finais

Próximos Passos Essenciais

Teste piloto com 100 solicitações reais para validação em ambiente produtivo
Coleta de feedback de usuários e equipe técnica
Implementação das correções identificadas antes do deployment
Definição de métricas de sucesso e KPIs operacionais

Impacto e Perspectivas Futuras

Transformação Digital do Setor

90%

Redução no tempo de resposta (dias → minutos)

100%

Padronização do atendimento

∞

Escalabilidade sem aumento de equipe

Visão de Longo Prazo

Expansão Horizontal: Outros tipos de solicitações (aumento de carga, mudança de titularidade)
Integração Vertical: Sistemas legados e ERPs das distribuidoras
Replicação Nacional: Adaptação para outras concessionárias do país
Evolução Tecnológica: IoT, visão computacional e IA multimodal

Mensagem Final

Este trabalho demonstra que a convergência entre Inteligência Artificial e conhecimento técnico normativo pode revolucionar processos operacionais críticos. O chatbot desenvolvido não é apenas uma ferramenta tecnológica, mas um catalisador de transformação que, com as devidas correções implementadas, pode redefinir como as concessionárias interagem com seus clientes no século XXI.

A honestidade sobre limitações identificadas é fundamental para o sucesso da implementação.