Português (pdf)
Artigo em XML
Referências do artigo
Curriculum ScienTI
Tradução automática
Enviar este artigo por email
Citado por SciELO 
Similares em
SciELO 
Permalink
Introdução
O monitoramento e a avaliação vêm se tornando componentes importantes para a gestão dos serviços de saúde, ao fornecer elementos de conhecimento que subsidiem a tomada de decisão e propiciem maior eficiência, eficácia e efetividade às atividades desenvolvidas.1
No Brasil, desde a implantação do Sistema Único de Saúde (SUS), há um crescente interesse na utilização dessas propostas. Para incorporar o monitoramento e a avaliação no cotidiano dos serviços, é preciso considerar a rapidez necessária ao exercício dessas práticas, no sentido de que os resultados alcançados contribuam, de fato, com o processo decisório.2
Iniciativas do Ministério da Saúde têm sido disponibilizadas para o acompanhamento gerencial dos programas e análise de desempenho dos serviços, entretanto sem contemplar as diversidades locais, oferecendo formatos e critérios idênticos para aplicação em todo o território nacional.3,4
Na última década (2005 a 2015), foram apresentadas propostas metodológicas para análise de desempenho dos serviços de saúde; contudo, elas tem sido pouco incorporadas pela gestão em saúde. A importância da institucionalização dessas práticas tem-se discutido amplamente, mobilizado diferentes segmentos.5,6
O desenvolvimento do Painel de Monitoramento da Secretaria Municipal da Saúde de São Paulo (SMS/SP) teve como pressuposto a consolidação da prática do diagnóstico como ponto de partida para processos de planejamento. Detectou-se no município a falta de instrumentos que acompanhassem as ações desenvolvidas e verificassem se essas ações eram realizadas e surtiam os efeitos esperados. O Painel é uma matriz de indicadores cujo acompanhamento sistemático conforma o monitoramento, contínuo e oportuno, da atuação de gestores e técnicos sobre as prioridades da política de saúde.7
O monitoramento é considerado uma atividade que privilegia as equipes e gestores próximos à tomada de decisão. De caráter interno e gerencial, sua realização deve acontecer durante o período de execução de uma ação, sem o compromisso de um juízo de valor imediato mas a sinalização de possíveis avanços ou falhas. As informações oriundas de um monitoramento organizado, sistematizado e com metodologia adequada de análise, sinalizam o comportamento de uma determinada ação. A descrição da variação temporal tem, como objetivo central, captar mudanças no tempo - que os indicadores apontam.1,2
A experiência do Painel da SMS/SP tem mostrado que o monitoramento da gestão mediante indicadores é uma estratégia ágil de acompanhar a tendência de determinadas ações e direcionar processos de avaliação, oferecendo apoio oportuno à tomada de decisão. Outrossim, o desafio constante de atender as necessidades da gestão, nos diferentes níveis do sistema de saúde da cidade, traz a possibilidade de adequação da prática para diferentes escalas territoriais e de governabilidade.8
O objetivo deste estudo foi descrever e analisar criticamente os caminhos percorridos e o referencial técnico utilizado na construção do Painel de Monitoramento da Secretaria Municipal da Saúde de São Paulo, visando contribuir para a compreensão e identificação de suas potencialidades e limites no apoio à tomada de decisão, além da possibilidade de disseminação e utilização dessa experiência.
Métodos
Trata-se de uma pesquisa qualitativa que utilizou a metodologia de estudo de caso único9 para conhecer o referencial técnico e entender os caminhos percorridos na construção do Painel de Monitoramento da SMS/SP, ferramenta que vem sendo desenvolvida para utilização por gestores e técnicos da Secretaria Municipal de Saúde de São Paulo desde 2001.
A proposta 'Abordagem do Ciclo de Políticas' foi considerada adequada para a apropriação dessa experiência, por trazer, em sua essência, o entendimento de que uma política, além de processos e consequências, constitui-se de Texto e Discurso. Trata-se de conceituações complementares, implícitas uma à outra: a primeira, o Texto, refere-se aos documentos oficiais, entendidos como produtos em permanente construção, fruto de esforços coletivos; a segunda conceituação, o Discurso, enfatiza as subjetividades e o conhecimento na construção de certas possibilidades de pensamento e suas opções.10
Como primeiro passo na reconstrução desse caminho, foram organizados e analisados criticamente os documentos obtidos junto à gestão municipal, classificados em dois tipos:
Documentos oficiais - relatórios técnicos, referentes ao desenvolvimento do aplicativo (relatos estatísticos e de análise de sistemas), e publicações na literatura sobre o tema Painel de Monitoramento.
Documentos administrativos - memórias das reuniões mensais, espaços de discussão e desenvolvimento da proposta na SMS/SP de forma participativa, envolvendo técnicos dos níveis descentralizados, iniciadas em 2004; e folders de divulgação, apresentações e publicações internas.
As etapas para a construção desse escopo e auxílio à exploração do material foram:
- histórico político da Secretaria Municipal da Saúde em relação ao SUS, no início do projeto (2001);
- identificação dos fatores influenciadores na elaboração do projeto do Painel de Monitoramento da SMS/SP;
- identificação do alcance da ferramenta na gestão, nos diferentes níveis do sistema de saúde do município de São Paulo;
- reconstrução da sequência cronológica, visando identificar os diferentes marcos teóricos na concepção e implementação do projeto; e
- descrição dos ajustes realizados nesse processo, desde a concepção até a disponibilização do Painel.
Após a análise documental, foram realizadas entrevistas semiestruturadas com os responsáveis pelo desenvolvimento do Painel de Monitoramento da SMS/SP: um profissional estatístico, dedicado a análises de processos produtivos; um analista de sistemas programador, com conhecimento em estatística; e um médico, com atuação na área de informações em saúde e epidemiologia. As entrevistas foram realizadas em agosto de 2013, na Faculdade de Saúde Pública da Universidade de São Paulo. O roteiro utilizado partiu de descrição espontânea do entrevistado sobre a construção do Painel e enveredou nas seguintes dimensões: metodologias de análise; programas (softwares) utilizados para a construção da ferramenta; e critérios de seleção dos recursos estatísticos mais adequados.
As entrevistas foram gravadas e transcritas. Utilizou-se a técnica de análise temática, permitindo a identificação das dimensões empíricas emergidas da análise do dado primário que pudessem ser norteadas pelas variáveis analíticas.11 A apresentação dos dados teve como opção metodológica uma narrativa, com a perspectiva de interpretação e análise crítica dos autores a partir dos dados levantados nos documentos disponibilizados pela gestão e nos conteúdos das entrevistas.12-14
O projeto do estudo recebeu parecer favorável do Comitê de Ética em Pesquisa (CEP) da Secretaria Municipal da Saúde de São Paulo em 22 de outubro de 2012 (Parecer no 161/12 - CEP/SMS) e foi aprovado pela Faculdade de Saúde Pública da Universidade de São Paulo (USP) em 27 de novembro de 2012, mediante Certificado de Apresentação para Apreciação Ética (CAAE) no 06459012.7.0000.5421.
Resultados
I. Percorrendo os caminhos de construção do Painel de Monitoramento: etapas essenciais
Da identificação da necessidade às escolhas técnicas de base do instrumento
A construção do Painel de Monitoramento sob análise teve como objetivo apoiar políticas locais mais autônomas e novas formas de relação entre os diferentes níveis da gestão, visando o desenvolvimento de estratégias para uma atuação conjunta, articulada e compartilhada.15 Buscou-se integrar a produção da informação e sua utilização prática no cotidiano dos diferentes espaços de decisão, em todos os níveis do sistema de saúde municipal.
O ponto de partida dessa etapa foi a análise dos indicadores já existentes, nos diferentes instrumentos do SUS: Programa de Atenção Básica,16 Programação Pactuada Integrada (PPI) e indicadores selecionados ou desenvolvidos para o acompanhamento dos projetos prioritários da gestão da Saúde e da Agenda Municipal,15 cujos exemplos são apresentados na Figura 1. Esses indicadores foram agrupados e analisados de acordo com os componentes de Estrutura, Processo e Resultado proposto por Donabedian.17
Figura 1 - Seleção de indicadores segundo documento de origem, método de cálculo, fonte e componente de análise
A análise crítica foi direcionada a apreender o alcance da descentralização do Painel e da democratização das informações para os diferentes níveis de gestão do município, respeitando a possibilidade de governabilidade dos gestores e técnicos de cada espaço.18,19 Grupos de trabalho, envolvendo todos os níveis de gestão do sistema de saúde da cidade, analisaram os indicadores com o objetivo de avaliar a adequação do elenco proposto para o acompanhamento descentralizado.
O conteúdo dos documentos administrativos permitiu identificar a utilização de dois métodos de análise da gestão e sua equidade sobre os distintos territórios da cidade: a Distância Relativa do Parâmetro e o Índice-Saúde.20
A Distância Relativa do Parâmetro (DRP) foi a metodologia escolhida para a avaliação da gestão nos níveis descentralizados. Com a DRP, pretendia-se que alguns indicadores, definidos para os níveis descentralizados, fossem posicionados em uma escala na qual constaria o parâmetro ideal ou esperado para aquela medida. Dessa forma, seria possível visualizar - imediatamente - a situação diferenciada de cada território com relação aos projetos em andamento.
O Índice-Saúde, apoiado na metodologia adotada no índice de desenvolvimento humano (IDH), foi construído como um indicador composto e sintético, capaz de avaliar a discrepância de cada território descentralizado analisado em relação à discrepância máxima da cidade. Para a construção do Índice-Saúde, foram considerados os seguintes indicadores: coeficiente de mortalidade infantil; mortalidade precoce por doenças crônicas não transmissíveis; coeficiente de incidência de tuberculose; e coeficiente de mortalidade por causas externas.20
Aos dois métodos descritos, foram incorporadas a variação percentual anual e a comparação trimestral com anos anteriores, visando reforçar a validação da tendência observada.
O cálculo da média da série temporal dos indicadores selecionados foi aplicado utilizando-se, como parâmetro, o desvio-padrão. Dessa maneira, a análise crítica dos indicadores permitiu categorizar cada indicador como 'bom' quando dentro de um desvio-padrão, de 'atenção' quando situado entre um e dois desvios-padrão, e de 'alerta' quando acima de dois desvios-padrão.
Da dinâmica de desenvolvimento do Painel
Um ponto relevante identificado com potencialidade para a construção do Painel, tanto nos documentos como nas entrevistas, foram as oficinas envolvendo gestores e técnicos dos diferentes níveis da gestão. As discussões e a construção participativa da proposta foram decisivas para o aprimoramento e a legitimidade do projeto.
No primeiro momento, um dos principais pontos trabalhados na busca do aprimoramento da ferramenta foi conhecer como a governança acontecia nos diferentes espaços de decisão e como o uso da informação poderia apoiar esses profissionais:18,19
[...] Começamos a perceber que era preciso aprimorar um pouco a discussão conceitual sobre gestão, que acontece em diversos níveis. É preciso construir governabilidade e capacidade de governar, e a informação é um dos elementos apoiadores. (E1)
A pesquisa sobre o uso e o entendimento da proposta pelos diferentes gestores do sistema de saúde, apresentados no 'Relatório final da avaliação do Painel de Monitoramento com gestores de Coordenadoria Regional de Saúde (CRS) e Supervisão Técnica de Saúde (STS) - 2007', permitiu conhecer as necessidades de cada nível de gestão, contribuindo com o desenho de diferentes estratégias para cada grupo de potenciais usuários do Painel.
O acúmulo de experiência validado pelo grupo condutor do Painel de Monitoramento da SMS/SP, somado ao conhecimento das necessidades levantadas pelos gestores na pesquisa, sustentou a decisão pela construção de um aplicativo específico. Ressalta-se que o fato de haver um recurso do Ministério da Saúde - Vigisus (Processo no 2009-0.199.773-7) alocado para esse tipo de ação contribuiu para a concretização do projeto:
[...] Constituímos um grupo, chamado grupo do painel mensal que estaria mensalmente representando os níveis descentralizados. Esse grupo deliberava a respeito do painel, passou a ser a referência de discussão de todo o processo de condução. Fomos montando uma vontade de fazer isso, uma ideia, uma direção de onde é que queríamos chegar. (E2)
[...] Entramos com um processo de contratação de dois consultores, um deles para construir uma metodologia mais adequada ao monitoramento, e o outro para incorporá-la em um aplicativo, transformando as planilhas utilizadas em passado e implementando um novo instrumento, uma nova maneira de monitorar. (E3)
Foi possível identificar que o Painel facilitou o (i) acesso às informações para os usuários com diferentes inserções no sistema de saúde municipal, a (ii) entrada dos dados necessários para a construção dos indicadores, além de imprimir (iii) maior agilidade à análise de dados.
O Painel de Monitoramento é um instrumento institucional da gestão, disponível para as distintas instâncias da organização por meio da intranet da Empresa de Tecnologia da Informação e Comunicação do Município de São Paulo (Prodam), acessível a gestores e técnicos da SMS/SP via login e senha. O Painel não está disponível para acesso público.
Nos documentos oficiais de desenvolvimento e nas entrevistas, foi possível identificar a utilização de três softwares livres para o desenvolvimento do Painel:
PostgreSQL Data Analysis, escolhido para a organização do banco de dados local, alimentado pelas bases de dados do SUS;21
R Project for Statistical Computing, utilizado para cálculos matemáticos, modelagem estatística, escolha e ajuste do modelo, testes de tendência e sazonalidade e previsões futuras;22 e
Hypertext Preprocessor (PHP), linguagem de interface Web, utilizada na formação de todas as telas administrativas e de emissão de relatório.23
II. Aprimorando os conceitos e práticas para monitoramento
O estímulo à prática de monitoramento deveria ser incentivado - e desencadeado -, visando aprofundar o conhecimento de eventos que chamam a atenção dos interessados:
[...] na verdade estávamos pensando em uma metodologia para captar, em função de probabilidades, onde é que estão acontecendo coisas que são pouco prováveis que aconteçam. Isso estava na base da coisa, e também queríamos automatizar isso. Além de que, tinha que ser viável para ser construído sem muito gasto. (E3)
Os métodos estatísticos foram escolhidos durante o processo de construção, para facilitar o uso e possibilitar a análise crítica mais objetiva e robusta das situações encontradas.
Os Relatórios de Desenvolvimento Estatístico indicam a escolha de modelos de séries temporais para ajuste e previsão dos dados epidemiológicos e de produção de serviços. As bases de dados utilizadas na construção dos indicadores do Painel foram testadas com a finalidade de se encontrar o modelo que melhor descrevesse e oferecesse previsões confiáveis para os indicadores. A escolha dos indicadores decorreu de um processo de validação direcionado a facilitar a implementação, o entendimento e a adequação, no sentido de uma sistematização de análises automatizadas, realizadas por computador.24,25 Uma vez realizados os testes, concluiu-se pela opção da suavização exponencial sazonal de Holt-Winters modelo Aditivo (HWA) e Média Móvel Simples Centrada (MMSC).25,26
Ainda que se mostrasse o mais adequado, o modelo de HWA foi insuficiente para as séries de eventos epidemiológicos raros. Nessas séries, muitas vezes, nenhum evento é observado, casos em que o resultado apresenta algumas divisões por zero, condição inadequada do ponto de vista matemático e computacional. Dada essa restrição do modelo de HWA, decidiu-se também pela opção automatizada da alternativa da MMSC quando houvesse que responder à existência de muitos valores zerados; ou quando a soma dos 48 elementos da série fosse inferior a 240, com uma média mensal menor do que 5. Sendo assim, na presença de qualquer uma dessas condições - ou eventualmente, de ambas -, a rotina computacional deve direcionar a série para o modelo de MMSC, com desempenho adequado na presença de zeros e vantagens semelhantes às do modelo de HWA, como automatização e previsões.25,26
Na análise de séries temporais para a prática do monitoramento, previsões de séries muito longas são influenciadas pelos números do passado, demorando a sinalizar mudanças bruscas de comportamento. Por essa razão, decidiu-se que as séries analisadas seriam de 48 meses de observação dos dados, de maneira a diminuir as influências do passado e permitir a realização do ajuste.24-26
Foi definido o período de 4 meses como o mais adequado para a previsão de valores futuros. Essa opção considerou que os modelos de previsão, quanto mais longos no tempo, menos assertivos e confiáveis podem ser.
Os documentos indicam que foram utilizados testes estatísticos específicos para ajustes das séries temporais. Para análise de tendência utilizou-se o teste do sinal de Cox-Stuart, de fácil aplicação e grande precisão.26 Para detectar sazonalidades em séries temporais, adotou-se o teste de Kruskal-Wallis, que, pela simplicidade de cálculos e poder de detecção, também é recomendado pela literatura.24-26
Nas entrevistas, foi identificada a incorporação do modelo de Controle Estatístico do Processo (também conhecido pela sigla CEP).27 O principal objetivo dessa técnica é estabelecer limites de controle, permitindo o reconhecimento de sinais de melhoria ou de piora nos indicadores do Painel. O CEP recomenda que 7 ou mais pontos em sequência, acima ou abaixo da linha média, constituem um padrão de comportamento não aleatório da série de dados, sendo esse, portanto o número de pontos utilizados para a análise de desempenho dos indicadores no Painel de Monitoramento.
III. Produtos disponibilizados pelo Painel
Primeiramente, deve-se mencionar os relatórios numéricos de séries temporais com os indicadores selecionados, permitindo diferenciar, por meio de cores, a categorização de acordo com o desvio-padrão. Logo, apresentam-se os gráficos correspondentes aos relatórios numéricos, com as médias temporais e tendo os desvios-padrão como limites, facilitando a visualização do desempenho atingido (Figura 2).
Figura 2 - Gráfico da proporção de sete ou mais consultas de pré-natal realizadas pelas mães de nascidos vivos em hospitais do Sistema Único de Saúde (SUS) no município de São Paulo, janeiro de 2012 a dezembro de 2015
Os relatórios numéricos permitem identificar o desempenho dos últimos sete meses, frente à tendência temporal esperada/desejada de cada indicador. Assim, cada indicador será categorizado como satisfatório quando se encontrar na direção temporal desejada, e insatisfatório na situação inversa28,29 (Figura 3).
Figura 3 - Relatório de sinais mensais e desempenho de indicadores selecionados no Painel de Monitoramento da Secretaria Municipal da Saúde de São Paulo (SMS/SP), município de São Paulo, junho de 2015 a fevereiro de 2016
[...] É claro que com o tempo a gente vai criticando a escolha dos indicadores porque quando você começa a trabalhar na perspectiva do monitoramento vai começando a ver que tem indicadores que não são adequados para esta prática. Isso também foi um desenvolvimento. (E1)
Discussão
O Painel de Monitoramento identifica ocorrências e/ou desempenho fora do esperado, revelando a oportunidade da tomada de decisão pela gestão.
A forma como são disponibilizados os indicadores permite inferir o potencial do Painel para atender as necessidades da organização. O acesso a informações, para os distintos níveis da gestão municipal, possibilita a analise descentralizada do desempenho, ademais de permitir a desagregação dos dados para a menor unidade prestadora de serviço, qual seja, a unidade básica de saúde (UBS).
A análise do Painel de Monitoramento trabalha com a tendência da série histórica, possibilitando a utilização da mesma metodologia para diferentes níveis da gestão. A fragilidade de parâmetros existentes para os indicadores e a dificuldade de estabelecê-los para diferentes agregações territoriais reforça a proposta do Painel de trabalhar com a tendência. Assim, os objetivos são dados pelo decréscimo ou incremento dos eventos de acordo com a direção desejada.
Quando se pensa em um instrumento de apoio para a tomada de decisões, é necessário levar em conta o dinamismo dos processos que envolvem essa atividade na Saúde. Na medida em que se tem como proposta o acompanhamento das prioridades da gestão, a incorporação das mudanças vividas nesse espaço técnico-político exige uma articulação constante entre a equipe responsável pelo instrumento e os diferentes gestores da cidade.
A definição clara das prioridades e o planejamento de seu enfrentamento constituem ponto de partida para se pensar em indicadores adequados ao monitoramento das ações. A prática do monitoramento pode propiciar a mudança de rumos e a definição de novas ações a serem acompanhadas. Adequar os indicadores às necessidades da gestão e à disponibilidade de dados, de forma oportuna, mostra-se como importante desafio.
A avaliação e o monitoramento são considerados práticas distintas, embora intimamente relacionadas. Nos primórdios de seu desenvolvimento, o instrumento analisado procurava se adequar ao monitoramento enquanto prática, superar a etapa de diagnóstico e oferecer aos gestores e técnicos uma possibilidade de acompanhamento contínuo e sensível às ações sob suas responsabilidades públicas. Contudo, ao identificar-se as opções temáticas e metodológicas adotadas, fez-se com que o Painel analisado se aproximasse da avaliação.
A adequação das propostas metodológicas somada à facilidade de operação do Painel permitiram a criação de um instrumento ágil, focado no monitoramento, com boa interface e fácil acesso para seu público-alvo.
A tomada de decisão na gestão em saúde é complexa, permeada de subjetividade e incertezas. A capacidade para o aperfeiçoamento do processo de decisão na Saúde confronta-se com a complexidade do campo, caracterizada pelos múltiplos fatores determinantes do processo saúde-doença-cuidado.1
O monitoramento das ações de saúde e do desempenho dos serviços é uma estratégia mais célere no apoio à tomada de decisão. Porém, sua implementação necessita de conhecimentos técnicos específicos e alinhamento conceitual. Por se tratar de um processo cujo sentido dar-se-á pela sistematização e descentralização de seu desenvolvimento, os recursos técnicos e humanos empregados na manutenção da ferramenta e sua utilização são imprescindíveis. Sua institucionalização necessita integrar-se a um sistema organizacional que promova sua evolução e sustentabilidade.30
A experiência do Painel de Monitoramento da Secretaria Municipal da Saúde de São Paulo mostra-se condizente com tal proposição. O Painel representa uma ferramenta com poder de sistematização das informações disponíveis, visando à melhoria das intervenções em saúde, e o faz com a articulação de estratégias epidemiológicas. Todavia, é necessário avançar na compreensão de sua utilização nos serviços e apropriação por parte das equipes. No tocante à gestão, cabe avaliar como essa prática está inserida em seu cotidiano e alinhada a suas necessidades.
