TELECOMMUNICATION AND SCADA NETWORK MONITORING SYSTEM FOR SUBSTATION TELEASSISTANCE
REGISTRO DOI: 10.69849/revistaft/ar10202410162112
Lucas Alexandre Krause1
Orientador: Dr. Cresencio Silvio Segura Salas2
Co-orientador: Dr. Lúcio de Medeiros3
Resumo
Este artigo aborda o desenvolvimento de um sistema de monitoramento de redes de telecomunicações e SCADA para empresas de transmissão de energia elétrica, uma proposta de cálculo do indicador de disponibilidade de serviços de telecomunicações e apresentação dos resultados obtidos. As redes de telecomunicações que atendem as subestações de transmissão de energia elétrica possuem requisitos específicos de disponibilidade e qualidade para sua operação remota segura, sendo monitoradas quanto ao alcance de indicadores específicos. Portanto, foi desenvolvido um sistema de monitoramento da rede operativa das subestações de transmissão para proporcionar confiabilidade ao operador e agilidade na resolução de problemas de perda de comunicação com as instalações. Para implementar este sistema de monitoramento foi realizado um levantamento da topologia da rede operativa da empresa de transmissão de energia e instalado o software de monitoramento Zabbix na rede da empresa. Então, foi possível criar um serviço de monitoramento, definindo valores de status e scripts de monitoramento. Com o desenvolvimento deste sistema são obtidos resultados gráficos a partir dos valores monitorados da rede operativa que atende as instalações de transmissão de energia, como taxa de erro, disponibilidade, latência, entre outros configurados. O monitoramento da rede permite acionamento mais rápido dos plantonistas e abertura de chamados à operadora para resolução de problemas de perda de comunicação com a instalação. Além disso, estes dados permitem o envio de dados de desempenho aos órgãos reguladores, bem como a criação de medidas mitigadoras para casos de indisponibilidade crónica de circuitos de telecomunicações em dispositivos críticos de rede.
Palavras-chave: Telecomunicações. SCADA. Sistema de Monitoramento de Rede. Zabbix.
1 INTRODUÇÃO
São inúmeras as aplicações de telecomunicações que empresas do setor elétrico utilizam em seus negócios para viabilizar a operação de seus ativos. A qualidade exigida destas aplicações de telecomunicações é extrema (Mravovic, 2007), além de ser muito específica e exigirem cuidados redobrados para viabilizar o elevado índice de disponibilidade e qualidade de energia exigidos no setor elétrico monitorados pelos órgãos reguladores.
Igualmente importante são os sistemas SCADA (Supervision Control and Data Aquisition) para aplicações industriais de diversos setores, tais como: energia, infraestrutura, automotivo, transporte, saneamento, alimentos, entre outros. Esses sistemas permitem controlar toda operação e processos de uma empresa, bem como captar dados para orientar a tomada de decisões em tempo real.
A ANEEL (Agência Nacional de Energia Elétrica), aprovou o emprego da teleassistência em instalações de transmissão e passou a medir os indicadores desde julho de 2021, estabelecendo requisitos para emissão do parecer da declaração de atendimento dos requisitos para teleassistência.
Os requisitos mínimos estão especificados em documentos chamados de procedimentos de rede do ONS (Operador Nacional do Sistema), que também estabelecem requisitos mínimos para os serviços de telecomunicações. Nesse conjunto de documentos são exigidos diferentes requisitos para diferentes tipos de recursos. Isso leva a construção de uma rede de telecomunicações com especificidades diferentes.
Existem indicadores para avaliar os serviços de telecomunicações que provêm teleassistência na rede de operação. O indicador Disponibilidade Relativa dos Serviços de Telecomunicações (DRST) tem como objetivo avaliar a disponibilidade dos serviços de telecomunicações de voz e de dados entre instalações do ONS e instalações dos agentes de operação.
Esse indicador é definido pelo percentual de tempo durante o qual o serviço esteve disponível para utilização normal em relação ao tempo total num período de observação de 12 (doze) meses.
O indicador DRST, para cada serviço considerado, é calculado pela equação (1):
Onde:
DRST = Disponibilidade relativa do serviço de telecomunicações.
TI = Tempo de cada indisponibilidade do serviço durante o período de observação, dado pela diferença entre o momento de saída de operação e o momento de retorno à operação normal, em minutos.
TT = Tempo total no período de observação, em minutos.
Os requisitos para os serviços de maior criticidade são os de disponibilidade total anual de 99,98% e disponibilidade individual de pelo menos 99,00%. O Submódulo 5.9 – Manutenção dos serviços de telecomunicações que atendem a operação do Sistema Interligado Nacional (ONS, 2022) – define que o próprio agente deve fazer a detecção e a comunicação da falha dos serviços de telecomunicações.
Nessa comunicação deve constar a identificação do serviço que se encontra afetado, o horário de detecção da falha, as providências que estão sendo tomadas e a previsão do prazo para o restabelecimento do serviço.
Problemas na rede de telecomunicações do agente acarreta perda de supervisão do sistema de transmissão e no não atendimento aos indicadores de teleassistência, bem como em perdas financeiras e possíveis penalidades da agência reguladora.
Portanto, é imprescindível para as empresas de transmissão de energia um sistema de monitoramento de redes de telecomunicações, a fim de garantir o desempenho mínimo exigido pelo ONS para os ativos teleassistidos e que possa subsidiar os dados do evento solicitado pelos órgãos reguladores.
De acordo com a norma NBR 16932 Redes e sistemas de comunicação para automação de sistemas de potência – Orientações sobre engenharia de rede (Associação Brasileira de Normas Técnicas, 2020), o gerenciamento das redes de automação de subestações a partir de um ponto centralizado é considerado essencial.
Além disso, pode enviar e-mail de alarmes e outras notificações. Assim, o NMS deve proporcionar um gerenciamento e monitoramento centralizado da rede a fim de obter a melhor disponibilidade e desempenho dela. Também, torna-se importante a geração de alarmes e notificações de eventos, relatórios automatizados e descobrimento automático de novos elementos conectados na rede.
A recomendação para redes de subestações é que seus switches operem com o protocolo SNMP. Assim, todos os alarmes configurados são enviados ao gateway da subestação para processamento e retransmissão para o centro de operação.
Os switches podem detectar uma desconexão de um dispositivo ou a falha de um canal de comunicação, e reportar essa anomalia via um alarme.
Um NMS (Network Monitoring System) deve permitir conferir a confiabilidade da rede, redução do tempo de inatividade, identificação e visualização de falhas, compreensão rápida da falha, e implantação de armadilhas ou “traps” para monitorar e prever a ocorrência de falhas intermitentes.
É importante a integração de eventos, alarmes e dados de monitoramento do SCADA para as equipes de operação. A recomendação é que, além do sistema de automação (IED – Dispositivos Elétricos Inteligentes, por exemplo), também é importante integrar eventos de outros equipamentos que podem enviar dados SNMP que provem infraestrutura de energia ou de rede, tais como: Switches Ethernet, Roteadores (rede de telecomunicações) e demais dispositivos não gerenciáveis (uso de “ping”).
Para a escolha da melhor solução de software, faz-se necessário consultar alguns aspectos relevantes de várias soluções, bem como consultar a opinião do mercado de empresas com problemas parecidos.
Nesse contexto, avaliar o posicionamento da empresa no quadrante mágico de Gartner é uma boa opção. Criada na década de 1970, pelo empreendedor Gideon Gartner, a empresa realiza consultorias, pesquisas, eventos e prospecções para o mercado de Tecnologia da Informação (Gartner, 2024).
O Gartner atua para facilitar a tomada de decisão de seus clientes e desenvolve uma série de ações para criar conhecimento na área de TI. Assim, a empresa Gartener fonece insights objetivos e relevantes para a tomada de decisão
O Zabbix é uma solução de monitoramento de rede integrada, oferecendo uma multiplicidade de recursos em um único pacote (Zabbix Organization, 2022). Nele é possível fazer verificações de disponibilidade e desempenho com rotinas personalizadas, coletando dados em intervalos personalizados. Tem suporte para o protocolo SNMP e realiza o monitoramento via servidor/proxy e por agentes.
Para se gerar um alarme de um dispositivo X, é necessário primeiro criar uma entrada de host para o dispositivo X. Em seguida, um gatilho que se ultrapassado pelo dispositivo X irá gerar um alarme. Assim, se configura uma ação que envia um e-mail para uma lista configurada.
Nesse contexto, esse artigo tem como objetivo analisar a rede operativa de uma empresa de transmissão de energia sob a óptica dos requisitos do ONS, propor um sistema de monitoramento ativo, com gráficos de disponibilidade dos ativos de telecomunicações para a Copel Geração e Transmissão (GET), analisar falhas recorrentes na rede operativa baseado em gráficos do sistema de gerenciamento da Copel GET e propor uma forma de calcular o indicador de disponibilidade relativa de telecomunicações (DRST) em subestações.
2 REVISÃO DA LITERATURA
O uso do Zabbix é comum no desenvolvimento de Sitemas de monitoramento. Pode-se citar o Sistema de monitoramento chamado RESLab (Sahu, 2021). Nele, a unidade de controle e as subestações estão em locais diferentes, e são interligados por uma rede IP. Em cada local existe um roteador que também atuam como firewalls porque são configurados para permitir apenas pacotes de automação e bloquear demais tráfegos.
Conforme Sahu, 2021, o sistema RESLab também é integrado ao Zabbix, que faz o monitoramento da rede, pois fornece uma plataforma para configurar alertas personalizados baseado em gatilhos.
Em outro projeto, o código Zabbix foi modificado para gerenciar todo um sistema CPMA (Cyber Physical Modeling and Assessment), incluindo a entrada e saída de dados, bem como os blocos funcionais (Huang, 2018).
Em um estudo sobre monitoramento de redes sem fio foi destacada a importância de se garantir a confiabilidade, estabilidade e desempenho dos serviços que prestam (Gajica, 2020). Esse estudo foi baseado em redes de baixa potência onde realizou-se um experimento montando uma rede em laboratório e realizando o seu monitoramento via Zabbix.
Como resultados do experimento, obtém-se dados gráficos do Zabbix que mostram várias leituras dos dispositivos. O sistema de gerenciamento de rede montado (NMS) para o experimento pode coletar dados via SNMP. Para isso, foram instalados os agentes e o servidor Zabbix com o objetivo de coletar dados localmente em elementos de rede e os transferir para o servidor.
Consoante a isso, a NDC Networks Oy construiu um projeto para um cliente que precisava projetar e implementar uma rede móvel segura, que foi projetada para uma rede de distribuição de energia (Touko, 2018).
O Zabbix foi a ferramenta escolhida para gerenciamento dessa rede por ser um software que monitora inúmeros parâmetros de uma rede e a integridade dos servidores. Foi relatado que o Zabbix usa um mecanismo de notificação flexível que permite aos usuários configurar alertas para praticamente qualquer evento. Isso permite uma reação rápida às ameaças ao sistema.
Um estudo recente na Copel Geração e Transmissão (Ivankio, 2018) esclarece que nos últimos anos, tem acontecido a substituição gradativa dos distribuidores elétrico/óptico por switches gerenciáveis. Com a implementação do Zabbix na rede, foi verificado as conexões com os switches através do comando “ping” entre o gerente (servidor) e os agentes Zabbix (dispositivos gerenciados).
O projeto foi concebido para a supervisão de portas elétricas e ópticas, além da CPU, processamento, quantidade de memória Ram e número serial dos equipamentos. Segue os equipamentos monitorados por Ivankio, 2018: Switch 2730M do fabricante SEL, Switch RSG2100 e terminal Server RS416 do fabricante Ruggdcom.
Alguns pontos monitorados foram: utilização da CPU do terminal server, temperature, situação das fontes (corrente contínua, sem alimentação etc), quantos alarmes este equipamento está no momento entre outros.
Os novos desafios trazidos pela aplicação da Tecnologia de Operação às redes de automação de energia carecem de um monitoramento ativo nas suas redes a fim de se evitar falhas na operação. Desta forma, foi implementado uma solução na empresa State Grid Systems baseada no Zabbix (Shan, 2021).
O primeiro passo do projeto foi desenvolver uma arquitetura Zabbix de monitoramento. O segundo passo foi determinar os dispositivos a serem monitorados. Os resultados experimentais mostram que sistema de monitoramento usando o Zabbix se mostra uma ferramenta eficaz de gestão e monitoramento de rede.
Assim, foi possível monitorar algumas informações de equipamentos da State Grid System, tais como: roteadores, switches, firewalls, sistemas de detecção de intrusão, sistemas de auditoria de log e demais servidores (como o sistema de gerenciamento de desktop Beixinyuan, servidor anti-vírus Tianqing, entre outros).
O sistema de monitoramento proposto por Shan, 2021, monitora dados de 13 unidades, 121 subestações, 44 estações de fornecimento de energia, 48 escritórios em quatro condados e 409 dispositivos de rede.
Tais alarmes podem ser enviados via mensagem de texto, por e-mail ou por aplicativos de celular. O formato do alarme é o seguinte:
“Há uma falha de rede em uma determinada sala de informática em um determinado município, o nome do equipamento afetado é XX, o endereço IP é X.X.X.X e a empresa afetada é XX”.
Os resultados obtidos pelos autores citados foram bastante relevantes para o desenvolvimento da proposta de implantação de um sistema de monitoramento desse artigo.
Fica evidente a relevância do estudo e aplicação dos sistemas de monitoramento de rede operativa nas empresas de transmissão de energia, bem como a carência de informações relevantes para tomada de decisão do operador.
3 METODOLOGIA
Para o desenvolvimento e implantação de um sistema de monitoramento da rede operativa e do SCADA de subestações de transmissão de energia elétrica é necessário optar por um software que atenda às necessidades levantadas.
Assim, dentre as muitas opções, foi selecionado o software Zabbix para configuração do sistema de gerência da rede operativa por se tratar de um software configurável e gratuito. Foi verificado, também, que se trata de um software robusto e capaz de gerenciar alarmes SNMP e monitorar elementos via ICMP.
A instalação do Zabbix deve acontecer em uma máquina virtual criada na rede DMZ do agente que opera a subestação.
Além disso, deve-se configurar o sistema para que tenha acesso às redes privativas (VPN) de automação permitindo o tráfego de pacotes de monitoramento nos firewalls.
A fim de apresentar a metodologia aplicada no desenvolvimento da ferramenta apresentada, segue um fluxograma com as atividades a serem desenvolvidas. Os materiais utilizados e o método aplicado foram elaborados para tornar possível o cadastro de uma rede operativa no Zabbix e o desenvolvimento do sistema de monitoramento dessa rede, com geração de alarmes e relatórios.
A Figura 1 descreve as atividades desenvolvidas:
FIGURA 1 – FLUXOGRAMA DE APLICAÇÃO DO MÉTODO
Na etapa de levantamento da rede a ser monitorada é importante verificar a topologia da rede operativa da empresa. Para isso deve-se proceder com uma visita técnica nas instalações verificando quais equipamentos são monitoráveis e o seu local de instalação.
Ainda nessa etapa, deve-se conferir os diagramas de rede com os endereçamentos IP de cada equipamento, definindo a sua função na rede (se são equipamentos de automação, do SCADA, de telecomunicações ou outra função), sua redundância e impacto na sua indisponibilidade. Isso vai ser importante no momento de criação de alarmes.
O objetivo do levantamento da rede a ser monitorada é de tornar clara a análise no momento de indisponibilidade de um dispositivo e a criticidade de monitoramento de cada dispositivo.
Na etapa de criação de um padrão de cadastro é necessário o desenvolvimento de uma nomenclatura intuitiva para o operador. Esse padrão deve ser seguido para o cadastro dos dispositivos no sistema de monitoramento.
A etapa de escolha do software de monitoramento é importante observar o uso de protocolos conforme especificados em normas vigentes, como o SNMP e o ICMP, e levar também em consideração o quadrante de Gartner, já comentado nesse artigo.
Na etapa de instalação do software escolhido, nesse artigofoi proposto o Zabbix, é importante que o mesmo ocorra em uma máquina na DMZ da empresa. Isso acontece para que haja segregação das redes de TI (Tecnologia da Informação) e TO (Tecnologia da Operação). Cada rede possui uma política de acessos de usuário, restrição de tráfego de pacotes e bloqueio de usuários independente.
Assim, essa política é implementada de forma separada em cada firewall da rede, um na de TI e outro na de TO, formando assim, entre esses firewalls, a rede DMZ.
Para iniciar o cadastro da rede no Zabbix é necessário estabelecer um padrão de nomenclatura. Os equipamentos devem ser reconhecidos no sistema de gerência de maneira intuitiva. O operador precisa detectar qual equipamento está com problema, se ele se trata de automação, do SCADA ou de telecomunicações apenas observando o nome cadastrado no sistema.
Além disso, a nomenclatura será importante para a definição de alarmes e de relatórios. Na criação dos serviços, haverá uma agregação de eventos que irá gerar um alarme, ou aviso. Para isso, é essencial a padronização da nomenclatura.
Com as etapas acima vencidas, já é possível proceder com o cadastro dos endereços IP dos elementos que se quer monitorar no sistema Zabbix. Além da nomenclatura, será cadastrado o seu endereço IP e demais informações pertinentes. Após essa etapa, o sistema já será capaz de receber alarmes SNMP configurados, além de verificar a disponibilidade e demais informações ICMP dos dispositivos.
A estrutura do Zabbix é construída em hierarquias de serviços. Assim, na criação de serviços, é necessário criar um serviço chamado de pai. Nesse serviço pai é definido a regra de criticidade dos alarmes, onde se agrega o status dos serviços filhos e se define que tipo de evento é.
Então, será necessário entender a criticidade de um conjunto de eventos e reportá-lo como crítico, médio ou de menor importância. Esses eventos associados estão criados no serviço chamado de filho.
Então, o próximo passo é criar os serviços filhos e associá-los ao serviço pai. Os serviços filhos reportam o status de um elemento monitorado. Vários serviços filhos são associados a um serviço pai, que irá reportar a criticidade do evento e qual o seu impacto na rede operativa.
Para o cálculo do indicador de disponibilidade relativa dos serviços de telecomunicações (DRST), é necessário seguir os seguintes passos:
- Criar um monitoramento dos roteadores, via protocolo ICMP, monitorando os dados a cada 1 minuto, de uma mesma subestação indicando a sigla da subestação.
- Associar os itens acima a um serviço, seguindo a regra da Tabela 1.
- Realizar o cálculo da disponibilidade relativa do serviço de telecomunicações conforme a equação (1).
1 Interpretação do status dos roteadores para cálculo do indicador DRST
A Tabela 1 apresenta uma proposta para o cálculo do indicador que irá auxiliar na análise do indicador de teleassistência. O indicador irá apresentar o percentual de tempo em que pelo menos um circuito de telecomunicações esteve disponível na subestação, no ano.
Assim, esse indicador de disponibilidade de telecomunicações permite avaliar a teleassistência segregando os problemas de telecomunicações de outras possibilidades de anomalias na estação.
Ou seja, a proposta desse indicador é de monitorar e acompanhar a disponibilidade dos circuitos de telecomunicações e a sua contribuição no indicador mais amplo de teleassistência.
Na sequência, o desenvolvedor do sistema deve criar relatórios de acompanhamento dos indicadores desejados, definir regras para geração e envio de alarmes (por meio de e-mail, mensagens de texto ou outra forma), criar mapas de topologia para acompanhamento em tempo real pelo operador do sistema e demais telas de monitoramento com as informações desejadas.
O método apresentado acima foi aplicado na empresa Copel Geração e Transmissão para o monitoramento da rede de telecomunicações e do SCADA das subestações de energia elétrica.
A Figura 2 demonstra o local de instalação do servidor Zabbix para o desenvolvimento do sistema de monitoramento da rede nesse projeto. Foi solicitado à área de TI da Copel a criação de uma máquina virtual dentro da rede DMZ.
FIGURA 2 – ARQUITETURA DAS REDES DA COPEL SEGREGADAS PELA DMZ
O firewall Checkpoint faz o acesso com a Internet para a rede corporativa, também chamada de CopelNet. Essa rede está configurada na VPN0001 (Virtual Private Network), segregando-se das demais redes de operação. O firewall Checkpoint possui características e configurações próprias para a aplicação a que se destina.
Os firewalls de automação e o Forcepoint GET criam a rede DMZ e possibilitam o acesso às redes segregadas de operação da Copel, segregadas nas VPNs representadas. Onde cada VPN é uma rede isolada, sendo:
- VPN00078: Rede de oscilografia;
- VPN00409: Automação (SCADA);
- VPN00558: CFTV (Circuito Fechado de TV); e
- VPN0086: Rede do ONS.
A Copel Geração e Transmissão opera 66 subestações, na sua rede de transmissão. Nessa rede foi identificado 132 circuitos contratados para atendimento a essas instalações. O sistema de monitoramento aqui proposto deverá monitorar todos esses dispositivos.
Assim, foi identificado que existem 132 hosts que possuem um endereçamento IP, sendo 104 roteadores e 28 servidores SCADA, cada um com um propósito específico.
A Figura 3 representa o SCADA com o Sistema de Supervisão e Controle (SSC) SASE:
FIGURA 3 – ARQUITETURA DE UM SISTEMA SCADA DE SUBESTAÇÕES TÍPICO DA COPEL
Na Figura 3 pode-se observar que as RTU estão interligadas ao gateway que é realizado pelo próprio servidor do SSC SASE. A RTU recebe comandos do COGT e enviam esses comandos ao pátio da subestação para os equipamentos (geralmente chaves e disjuntores). A RTU, também, recebe e envia dados de medição da subestação para o COGT, tais como dados analógicos do TP (Transformador de Tensão) e TC (Transformador de Corrente) e dados de digitais de estado dos relés digitais.
As informações de tele proteção também são enviadas pela RTU ao gateway do SSC SASE e repassadas ao COGT.
No COGT, as informações do Gateway da subestação são recebidas pelos servidores ICCP do XA/21 e enviadas aos consoles de operação do sistema. O ONS tem acesso a essas informações em tempo real via o protocolo ICCP.
4 RESULTADOS E DISCUSSÕES OU ANÁLISE DOS DADOS
Como resultado do desenvolvimento do sistema de monitoramento é possível a visualização do estado das conexões entre dispositivos, gráficos de disponibilidade, taxa de erro e latência de circuitos além de telas com alarmes de eventos. Esses alarmes também são enviados para um grupo de e-mail para atuação no evento.
A Figura 4 apresenta a interligação e o estado das conexões com o ONS. Essa informação pode ser disponibilizada ao operador do sistema de forma amigável e simples, para que ele identifique as anomalias do sistema de forma intuitiva.
No resultado demonstrado pela Figura 4 é possível identificar o número do circuito e o provedor do serviço, de forma intuitiva e ágil para o operador.
FIGURA 4 – REPRESENTAÇÃO GRÁFICA DAS CONEXÕES DA REDE DA COPEL COM O ONS
Essas informações podem ser obtidas, também, de maneira tabular, como representado na Figura 5:
FIGURA 5 – TELA DE ALARMES DO ZABBIX PARA OS ELEMENTOS CONFIGURADOS
O operador do sistema pode verificar em telas, como a da Figura 5, os dispositivos da rede que estão alarmados, e, assim, tratar essas falhas ou indicá-las na abertura de chamado com a operadora.
Os alarmes são apresentados em cores, e a tabela apresenta a integridade da conexão. O caso da Figura 5 apresenta todos os dispositivos monitorados na subestação BTA-SE.
Desta forma, essa proposta de monitoramento permite à Copel o acompanhamento de todas as informações solicitadas no Submódulo 5.9 (ONS, 2020), relacionadas ao horário do evento, identificação do serviço afetado e previsão de restabelecimento.
Conforme especificado nos procedimentos de rede do ONS, a Copel tem a obrigação de atender aos requisitos mínimos especificados. O sistema de gerência proposto nesse projeto subsidia a empresa de informações para o monitoramento desses requisitos, em tempo real.
Com a implantação desse sistema, é possível ser feito um monitoramento de cada canal da subestação, desconsiderando as interrupções menores de 1 minuto. Mas nesse caso, deve-se levar em consideração a redundância de canal. Ou seja, a subestação somente ficaria desassistida em caso de indisponibilidade dos 2 canais, principal e redundante, ou em caso de queda do sistema SCADA da subestação ou do Sistema Supervisório do COGT.
Ainda, pode-se monitorar, via o sistema de gerência aqui proposto, o sistema SCADA das subestações. Assim, é possível calcular o indicador de teleassistência da subestação separando a rede de telecomunicações e o SCADA. Vale lembrar que esse indicador desconsidera a perda individual dos circuitos de telecomunicações.
Como resultado da proposta do sistema de monitoramento, é gerado informações gráficas como os da Figura 6. Ali estão representados os gráficos gerados pelo sistema de perda de comunicação, via o protocolo ICMP na subestação Bateias, dos dois circuitos, principal e redundante que atendem ao SSC SASE da subestação. O tempo de observação do gráfico é de 01/06/2023 a 31/03/2024.
FIGURA 6 – ICMP PING: GRÁFICO DE DISPONIBILIDADE DE BTA-SASE
Nos gráficos da Figura 6, observa-se que o sistema calcula o último (last) valor de disponibilidade, o mínimo (min), a média (avg) e o máximo (max). As indisponibilidades do circuito são representadas visualmente pelas quedas nos gráficos indo de “1” a “0”.
Assim, houve indisponibilidade no período medido, gerando uma disponibilidade média de 99,09% do circuito principal e 99,13% do circuito secundário. Pelos gráficos, observa-se que os períodos de indisponibilidade do circuito, representado pelas linhas verdes verticais, foram simultâneos.
Percebe-se uma intermitência acentuada entre os dias 1 e 22 de outubro de 2023 (área central do gráfico). Assim, é possível proceder com uma análise do motivo das quedas simultâneas e de seu impacto no indicador de teleassistência.
Além desse valor, ainda pode-se verificar os demais requisitos do ONS se estão sendo atingidos. Isso, antes do desenvolvimento desse sistema não estava visível para a operação. Cabia ao profissional executar, via linha de comando, o comando “ping” e visualizar os resultados.
Esse valor de disponibilidade também será usado no cálculo do indicador de disponibilidade de telecomunicações, conforme a equação (1), junto com os dados de disponibilidade do circuito secundário dessa subestação.
Em 2023, a Copel GET recebeu 2 visitas fiscalizadoras da ANEEL. Em ambas as visitas foi solicitado relatório contendo a disponibilidade individual dos canais que atendem às subestações do sistema de transmissão da Copel GET.
Ou seja, embora não seja exigido o envio regular dessas informações aos órgãos competentes, o agente pode ser cobrado pelo monitoramento e guarda dessas informações (em uma das visitas foi solicitado informações desde 2020).
A mesma análise deve ser feita com relação aos circuitos de interligação ao Centros de Operação do Sistema Regional – COSR – do ONS. O sistema de transmissão da Copel está ligado diretamente ao COSR SUL. Tanto o SAL (Sistema de Aquisição Local) como o SAR (Sistema de Aquisição Remoto) estão localizados na cidade de Florianópolis, SC, em endereços distintos.
A Figura 7 foi gerada pelo sistema de monitoramento Zabbix e apresenta a topologia da rede com o ONS SUL.
FIGURA 7 – REPRESENTAÇÃO DO ZABBIX DA TOPOLOGIA DA REDE DA COPEL E STATUS DE CONEXÕES COM O ONS SUL
Na Figura 7 é possível observar quais os provedores são contratados para a interligação com o ONS de Florianópolis e o status de suas conexões com os demais centros do ONS. Vale ressaltar que o COSR-SE (Sudeste) é localizado na cidade do Rio de Janeiro (Local). Esse COSR-SE usa como endereço remoto (SAR) o COSR-S (Sul) SAL. Por esse motivo existe a conexão e o monitoramento do ONS RIO SAR na topologia apresentada.
Também, foi configurado o monitoramento com os equipamentos nos centros do ONS da Copel Distribuidora (mesma empresa da Holding Copel) e da CTEEP, pois a Copel GET presta operação em algumas subestações dessas empresas.
Esse tipo de informação só pode ser visualizado e analisado mediante a implantação do sistema de monitoramento de rede e SCADA desenvolvido e apresentado nesse artigo. Sem isso, é necessário um comando individual em cada endereço IP para análise das informações.
As telas de monitoramento e gráficos obtidos nessa proposta são semelhantes aos encontrados em outros estudos (Gajica, 2020 e Touko, 2018). Os resultados apresentados pelas telas de monitoramento são essenciais para uma resolução ágil dos eventos na rede operativa do agente. Além disso, os gráficos apresentados são essenciais para análises de desempenho e qualidade dos circuitos, sendo esses dados apresentados à ANEEL quando solicitado e discutido com os provedores do serviço em caso de necessidade de melhorias.
Além do monitoramento por circuito de cada estação, propõe-se o uso do indicador de disponibilidade descrito na metodologia apresentada para analisar a indisponibilidade de telecomunicações da subestação.
Esse indicador apresenta o momento de indisponibilidade simultâneo dos circuitos principal e redundante. A Figura 8 demonstra a tela de visualização da disponibilidade de telecomunicações de cada subestação, onde o “SLO” (Service Level Objective) indica a meta do indicador sugerida pelo gestor do indicador.
FIGURA 8 – INDICADOR DE DISPONIBILIDADE RELATIVA DE TELECOMUNICAÇÕES DAS SUBESTAÇÕES ESTRATÉGICAS DA COPEL GET
Os dados de disponibilidade de telecomunicações nas subestações, apresentados na FIGURA 8, fornece dados para análise do atendimento ao indicador de teleassistência. Para o ano de 2024, o indicador está em 99,98% para a subestação BTA. Esse relatório apresenta todas as 50 subestações estratégicas da Copel GET quanto aos valores do indicador de disponibilidade de telecomunicações.
A disponibilidade de ARA2-SE está em 78,1142% por motivo de ter ocorrido uma troca de equipamento roteador e o sistema de monitoramento ficou indisponível por um momento, dessa forma, esse valor precisa ser expurgado.
A título de exemplo, a subestação Blumenau sofreu um evento em 04/05/2023 que afetou o indicador de teleassistencia (99,91%). A causa identificada foi falha nos canais da rede metro da subestação ocasionando a falha no canal principal e redundante. Identificou-se que os ircuitos principal e redundante passam pela mesma rede metro na subestação Blumenau.
A Figura 9 apresenta o gráfico gerado para o circuito principal da subestação de Blumenau.
FIGURA 9 – ICMP PING: DISPONIBILIDADE DO CIRCUITO PRINCIPAL DA SUBESTAÇÃO BLUMENAU
A parte do gráfico em amarelo representa a indisponibilidade do circuito monitorado. Esperava-se a comutação da comunicação de teleassistência para o circuito secundário. Porém, isso não ocorreu.
A Figura 10 apresenta uma queda do circuito redundante (parte do gráfico na cor amarela) coincidindo com a queda do circuito principal.
FIGURA 10 – ICMP PING: DISPONIBILIDADE DO CIRCUITO SECUNDÁRIO DA SUBESTAÇÃO BLUMENAU
A Figura 10 apresenta, de forma gráfica, o motivo da perda total da teleassistência identificado pela perda total dos circuitos principal e secundário.
Mediante uma rápida análise dos gráficos do Zabbix e em contato com o provedor dos circuitos, foi possível realizar o diagnóstico do problema. A solução sugerida nesse caso é a troca de equipamento na subestação Blumenau para que os circuitos, principal e redundante, sejam provisionados em equipamentos diferentes
É muito interessante esse tipo de análise. Somente assim é possível verificar e trabalhar preventivamente na melhor solução para se manter a operação remota da instalação. Infelizmente, não foi possível verificar logs dos equipamentos locais para verificar os motivos de indisponibilidade da tele operação nas subestações estratégicas que não atendem aos requisitos de teleassistência. Mas, fica evidenciado que se trata de um problema não só dos circuitos que atendem as subestações, mas, também, ao sistema supervisório local e demais equipamentos de automação.
5 CONCLUSÃO
Pelo exposto neste artigo, o desenvolvimento de um sistema de monitoramento de toda a rede operativa, incluindo supervisão dos circuitos de telecomunicações e do SCADA, é imprescindível para a operação do Sistema Elétrico de Potência.
O ONS exige requisitos mínimos de qualidade da rede que atende a tele operação das subestações. De forma geral, as operadoras de serviços de telecomunicações não prestam o serviço de monitoramento ativo da rede do cliente. Porém, a ANEEL pode cobrar, em visitas fiscalizadoras, os dados de disponibilidade e desempenho de canais individuais.
Além disso, os indicadores de teleassistência devem ser mantidos dentro da meta, para que a subestação não corra o risco de perder o certificado de teleassistência e a empresa seja obrigada a manter operador local.
Falhas na teleassistência podem, além de denegrir o indicador, incorrer em pagamento de parcela variável, redutor de receita, quando ocorrer um atraso numa manobra, por exemplo. Isso poderia ser mitigado com um sistema de monitoramento ativo que já indique uma falha num canal, num sistema ou numa rede local.
A norma NBR 16932 orienta que os sistemas de gerência de redes operativas sejam centralizados, com os dispositivos monitorados distantes vários quilômetros. Os protocolos de gerência apontados para esse tipo de atividade são o ICMP e o SNMP.
Os artigos mais relevantes e recentes apontam para o uso de uma ferramenta aberta de monitoramento de rede. A ferramenta escolhida para o desenvolvimento da solução nesse estudo foi acertadamente o Zabbix.
Com a implantação do sistema de monitoramento de redes na Copel GeT foi possível verificar o status de todos os circuitos, equipamentos e redes configuradas. Isso tornou possível ao operador verificar a causa raiz quando um problema de conexão impede o envio de comandos e o monitoramento de subestações. Resultados semelhantes ao projeto implantado na State Grid e em outras empresas pesquisadas.
Também, é possível a elaboração de medidas mitigadoras, exigência do ONS, quando o indicador de teleassistência não está dentro da meta. Num diagnóstico é possível identificar, de maneira sistemática, a relação entre o indicador de teleassistência e a disponibilidade dos canais de telecomunicações.
Nesse sentido, é possível abrir chamados antecipados para canais redundantes, antes que esse canal entre em uso, no caso de perda do canal principal. Assim, percebe-se ganhos não só nos indicadores da empresa de transmissão, mas também num possível pagamento de parcela variável. Se uma função transmissão é considerada indisponível se estiver sem tele operação, e receber a solicitação do ONS para um comando, a rede operativa deve ser considerada como parte intrínseca dessa função transmissão, tanto na RAP quanto na PV.
O sistema pode ser útil, inclusive, no fluxo de acionamento dos profissionais de sobreaviso. O acionamento desnecessário de um profissional gera o pagamento de horas extras e atrasa o restabelecimento da conexão da teleassistência.
Assim, entende-se que o sistema de monitoramento de redes de telecomunicações e SCADA para as empresas de energia, desenvolvido neste estudo, é essencial, necessita de melhorias constantes e agrega segurança ao negócio de operação da rede de transmissão de energia elétrica.
Pela aplicação do método proposto, ficou claro que o indicador de teleassistência é impactado pela disponibilidade dos circuitos que atendem aos ativos. Sendo assim, existe a necessidade de implantar o acompanhamento do indicador de disponibilidade dos serviços de telecomunicações.
O sistema proposto foi capaz de subsidiar o operador de informações para que ele possa realizar um diagnóstico na rede, identificando se o problema é na rede de telecomunicações ou no sistema SCADA.
Pelos resultados, pode-se constatar que em redes de fibra óptica o requisito mais importante é a disponibilidade, uma vez que problemas crônicos de latência ou retardo não foram encontrados nos circuitos monitorados.
O sistema configurado foi capaz de gerar telas de status dos circuitos, equipamentos e redes configuradas, além de gerar a possibilidade de analisar a causa raiz de problemas. Também, os resultados evidenciam a importância de monitorar o circuito redundante, e que esse seja provido de redundância de caminho e de equipamento.
Como forma de continuar os estudos nas redes operativas de empresas que operam a rede básica, sugere-se como trabalhos futuros propor um sistema de monitoramento de cyber ataques na rede operativa e estudar o desenvolvimento de um sistema inteligente para o tratamento dos alarmes de telecomunicações
REFERÊNCIAS
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS – ABNT. NBR 16932:2020: Redes e sistemas de comunicação para automação de sistemas de potência. Orientações sobre engenharia de rede. Rio de Janeiro. 2020.
GAJICA, S. “Monitoring of 6TiSCH infrastructure with MQTT and Zabbix NMS software,” International Symposium on Industrial Electronics and Applications (INDEL), Banja Luka, Bosnia and Herzegovina, 2020, pp. 1-6, doi: 10.1109/INDEL50386.2020.9266161.
GARTNER. Disponível em: <https://www.gartner.com/reviews/market/infrastructure-monitoring-tools>. Acesso em: Mar. 2024.
HUANG, H. e DAVIS, K. Extracting substation cyber‐physical architecture through intelligent electronic devices’ data. In: 2018 IEEE Texas Power and Energy Conference (TPEC), pp. 1–6. IEEE, College Station. 2018.
IVANKIO, A. S. Monitoramento de equipamentos da rede de automação em subestações utilizando o protocolo SNMP. 2018. 51 p. Monografia de Especialização em Automação Industrial, Departamento Acadêmico de Eletrônica, Universidade Tecnológica Federal do Paraná. Curitiba, 2018.
MRAVOVIC, M. N. GOSPIC e MILOSEVIC, V. “Management and Monitoring of Telecommunication System in Electric Power Transmission Company,” 2007 8th International Conference on Telecommunications in Modern Satellite, Cable and Broadcasting Services, Nis, Serbia and Montenegro, 2007, pp. 613-616, doi: 10.1109/TELSKS.2007.4376089.
OPERADOR NACIONAL DO SISTEMA – ONS. Disponível em: <http://www.ons.org.br/paginas/sobre-o-ons/procedimentos-de-rede/vigentes>. Acesso em: ago. 2022.
SAHU, A. et al. Design and evaluation of a cyber‐physical testbed for improving attack resilience of power systems. IET Cyber‐Physical Systems: Theory & Applications, v. 6, n. 4, p. 208-227, 2021.
SHAN, Y. G. CHAO, L. GUANGJIAN, G. e GAO, F. “Research on Monitoring of Information Equipment Based on Zabbix for Power Supply Company,” 2021 3rd International Conference on Applied Machine Learning (ICAML), Changsha, China, 2021, pp. 487-491, doi: 10.1109/ICAML54311.2021.00108.
TOUKO, U. Design of a modern wide area network in a power distribution environment. 2018. Bachelor’s Thesis. Bachelor of Engineering Information Technology and Communications. Helsinki Metropolia University of Applied Sciences. Helsinki, Finland.
ZABBIX ORGANIZATION. Disponível em: <https://www.zabbix.com/zabbix_agent/>. Acesso em: ago. 2022.
ZABBIX SIA. MANUAL DO ZABBIX. Disponível em: <https://www.zabbix.com/documentation/5.4/pt/manual>. Acesso em: set. 2022.
1Discente do Curso Superior de mestrado em desenvolvimento de tecnologia do Instituto de Tecnologia para o Desenvolvimento, LACTEC, Curitiba/PR e-mail: lucas.a.krause@gmail.com
2Docente do Curso Superior de mestrado em desenvolvimento de tecnologia do Instituto de Tecnologia para o Desenvolvimento, LACTEC, Curitiba/PR. e-mail: silvio.salas@lactec.com.br
3Docente do Curso Superior de mestrado em desenvolvimento de tecnologia do Instituto de Tecnologia para o Desenvolvimento, LACTEC, Curitiba/PR. e-mail: lucio.medeiros@lactec.com.br