Indicadores para avaliação de programas de controle de infecção hospitalar: construção e validação
Cristiane Pavanello Rodrigues SilvaI; Rúbia Aparecida Lacerda (Orientadora)II
IServiço de Controle de Infecção Hospitalar do Hospital Samaritano, São Paulo-SP
IIEscola de Enfermagem, Universidade de São Paulo, São Paulo-SP
]]>
Introdução
O presente estudo tem o propósito de contribuir para uma melhor qualificação das práticas de controle de infecção hospitalar. Seu foco é a validação dos indicadores referentes ao grupo temático Programas de Controle de Infecção Hospitalar (PCIH), do projeto de pesquisa “Indicadores de Avaliação de Qualidade e de Diagnóstico de Práticas de Controle de Infecção Hospitalar em Serviços de Saúde do Estado de São Paulo”, subvencionado pelo Programa Especial de Políticas Públicas da Fundação de Amparo à Pesquisa do Estado de São Paulo. As autoras fazem parte do grupo temático e contribuíram para a elaboração do projeto de pesquisa.
Cada indicador construído realiza avaliação qualitativa, transformando-a em dados mensuráveis, com numerador e denominador. Primeiramente, foram realizados os construtos teórico e operacional específicos para cada um dos indicadores. Sua construção e fundamentação, no entanto, não são suficientes para garantir adequação na aplicação e avaliação das práticas ou procedimentos a que se referem. Estes indicadores necessitam, inicialmente, serem validados, para posterior aplicação e diagnóstico situacional dos PCIH instituídos, ferramenta epidemiológica fundamental para o trabalho em infecções hospitalares, problema de Saúde Pública mundial.
Objetivos
Este estudo teve por objetivo geral contribuir para o desenvolvimento de indicadores de avaliação dos PCIH instituídos, com finalidade futura de diagnóstico de situação, melhoria contínua de qualidade e elaboração de plano de intervenções. Seus objetivos específicos foram:
I. Construir indicadores para avaliar a qualidade dos programas de controle de infecção hospitalar.
]]> II. Realizar a validação de conteúdo dos indicadores construídos.
Metodologia
Trata-se de um estudo de desenvolvimento metodológico de elaboração e validação de medidas de avaliação em saúde.
Para validação e construção dos indicadores de PCIH, foram utilizados os seguintes procedimentos teóricos: 1) Procedimentos para seleção e construção; 2) Procedimentos para fundamentação de conteúdo; e 3) Procedimentos para validação de conteúdo.
1) Procedimentos para seleção e construção
As etapas desenvolvidas para a seleção e construção dos indicadores de avaliação dos PCIH foram: formação do grupo de pesquisadores; treinamento dos pesquisadores para a construção de indicadores; definição dos indicadores de avaliação; e elaboração do manual operacional dos indicadores. Os indicadores construídos referem-se a cinco aspectos relacionados à qualidade de programas de controle de infecção hospitalar, com componentes específicos para avaliação:
a) PCET – Estrutura técnico-operacional do programa de controle de infecção hospitalar
b) PCDO – Diretrizes operacionais de controle e prevenção de infecção hospitalar
c) PVCE – Sistema de vigilância epidemiológica de infecção hospitalar
]]> d) PCCP – Atividades de controle e prevenção de infecção hospitalare) PCAE – Atividades educacionais e capacitação técnica em controle de infecção hospitalar
Os indicadores selecionados contemplam estrutura (a,b) e processo (c,d,e). A decisão pela utilização de indicadores de estrutura referiu-se a aspectos da organização e operacionalização do PCIH; em outras palavras, aos recursos necessários para sua implementação (recursos humanos, espaço físico, normas operacionais, entre outros). Os indicadores de processo, por sua vez, buscaram avaliar a forma de atuação do PCIH (ações de vigilância epidemiológica, assessorias, inspeções etc).
Tais indicadores, obviamente, não esgotam todas as possibilidades de avaliação dos PCIH. Outros aspectos podem e devem incorporar novos indicadores, conforme necessidades específicas de cada serviço de saúde e órgãos avaliadores.
Participaram desta fase de construção e seleção dos indicadores de PCIH, juntamente com as autoras, os seguintes profissionais, especialistas em controle de infecção hospitalar: Professora Dra. Ruth Teresa Natália Turrini, Professora Dra. Maria Clara Padoveze e Dr. Edson Illanes Manrique.
2) Procedimentos para a fundamentação de conteúdo
Esta fase de fundamentação referiu-se tanto à pertinência dos indicadores selecionados para qualificar o PCIH quanto à qualidade de sua construção. Os procedimentos foram os seguintes:
a) Pesquisa bibliográfica sobre programas de controle de infecção hospitalar
b) Ajuste dos indicadores
3) Procedimentos para validação de conteúdo
]]> Utilizou-se, nesta fase, o Método de Validade de Conteúdo, por meio de opinião de especialistas (Validação Opinativa)– nível de consenso definido em 75%.A população do estudo constituiu-se de oito profissionais especialistas na área de controle de infecção hospitalar, que realizaram a validação de conteúdo dos indicadores.
O instrumento de coleta de dados contou com quatro etapas: a) conteúdo do manual operacional; b) atributos do conjunto do indicador; c) itens do indicador; e d) relevância do (s) item (ns) para avaliação da prática de controle de infecção hospitalar a que se refere.
A análise dos dados foi estatística descritiva e implicou a construção de tabelas com o auxílio do software estatístico Statistical Package Social Sciences (SPSS).
Considerações éticas
O projeto do estudo foi submetido e recebeu aprovação da Comissão de Ética em Pesquisa da Escola de Enfermagem da Universidade de São Paulo. Todos os participantes foram previamente informados sobre os objetivos da pesquisa e sua participação voluntária, mediante assinatura de termo de compromisso e de consentimento esclarecido.
Resultados
Os resultados obtidos foram assim classificados:
1) Julgamento do manual operacional dos indicadores de avaliação de PCIH
]]> Nesta fase, os juízes avaliaram o Manual Operacional de cada um dos indicadores de PCIH, concordando ou discordando (“SIM” ou “NÃO”) com cada uma das afirmações relativas a: descrição; fundamentação; tipo de indicador; numerador e denominador; fontes de coleta de informações; e critérios para avaliação. Nos casos de discordância (“NÃO”), foram solicitadas justificativas e sugestões. Quanto ao consenso favorável, o resultado do consenso de opiniões dos juízes especialistas foi: tipo de indicador, 100%; fundamentação, 80%, exceto para o indicador PCCP; numerador, 80%, exceto para o indicador PCAE; fontes de coleta, 60%, exceto para os indicadores PCDO, PCVE e PCCP; denominador, 60%, exceto para PCDO, PCVE e PCCP; descrição do indicador, 20%, exceto para PCET, PCDO, PCCP e PCAE; e critérios de avaliação, sem consenso para todos os indicadores.2) Validação do conjunto dos indicadores de avaliação de PCIH
Nesta fase, os juizes avaliaram o conjunto de cada um dos indicadores de PCIH segundo alguns atributos pré-determinados: Atribuível; Acessível; Comunicável; Contextualizável; Efetivo/preciso; Exeqüível; e Objetivo.
O julgamento foi pautado na escala psicométrica: (1) não contempla o atributo; (2) incapaz de contemplar o atributo sem revisão; (3) contempla o atributo mas precisa de alteração mínima; e (4) contempla o atributo.
Na validação do conjunto de indicadores de PCIH, todos obtiveram consenso favorável em todos os atributos; exceto o indicador PCAE, para os atributos Efetivo e Objetivo. Apesar da solicitação para que se fizessem comentários e sugestões no julgamento desses atributos, não se registrou esse tipo de colocação por qualquer um dos juízes.
3) Validação dos componentes individuais dos indicadores de avaliação de PCIH
Nesta fase, os juízes avaliaram, individualmente, os componentes de cada um dos indicadores de PCIH, concordando ou discordando ("Sim" ou "Não") com os atributos individuais de cada componente dos indicadores: comportamento; objetividade; simplicidade; clareza; pertinência; precisão; variedade; e credibilidade.
Quanto à validação dos componentes individuais dos indicadores de PCIH, os resultados obtidos foram: 100% de consenso favorável para PCET, PCDO e PCCP; 87,5% de consenso favorável para PCVE; e 75,0% para PCAE.
4) Relevância dos componentes dos indicadores de avaliação de PCIH
Nesta fase, solicitou-se aos juizes que valorassem cada componente de cada indicador na própria planilha, segundo o grau de relevância para a mensuração do indicador em questão: (1) não relevante (peso 1) (2) pouco relevante (peso 2) (3) relevante (peso 3) e (4) muito relevante (peso 4).
]]> Para cada componente dos indicadores, a mediana e a moda foram calculadas utilizando-se os pesos dados nas avaliações dos juizes especialistas, em que a mediana foi considerada como pontuação (score) final de cada componente. O julgamento foi considerado favorável quando o consenso entre os juízes foi igual ou >75%: no item (3) relevante; no item (4) muito relevante; ou ainda, quando da somatória do percentual de (3) e (4).Sobre a relevância dos componentes dos indicadores de PCIH, os resultados obtidos foram: 100% para relevante e/ou muito relevante para PCET e PCDO; 90,0% para relevante e/ou muito relevante para PCVE; 86,0% para relevante e/ou muito relevante para PCCP; e apenas 44,0% para relevante e/ou muito relevante para PCAE.
Conclusões, recomendações e impacto potencial dos resultados em Saúde Pública
Na validação de conteúdo dos indicadores de PCIH, de que trata este estudo, houve apenas um indicador que não conseguiu ser validado, com uma performance ruim (baixa freqüência de avaliações sob consenso favorável maior ou igual a 75%): o indicador PCAE, que trata de atividades educacionais e capacitação profissional. Embora tais atividades nem sempre garantam a qualidade do PCIH, organizações internacionais na área de controle de infecção hospitalar, como Society for Healthcare Epidemiology of America (SHEA), Association for Professionasl in Infection Control and Epidemiology Inc. (APIC), Community and Hospital Infection Control Association of Canada (CHICA/Canada) e Joint Commission on Accreditation of Healthcare Organizations (JCIAHO), estabelecem padrões básicos para atividades de educação e treinamento dos profissionais de saúde na área de controle e prevenção de infecção hospitalar, assim como padrões mínimos de capacitação dos profissionais controladores de infecção hospitalar, com comprovada importância para os PCIH.
Nos fóruns de discussão, que precederam a validação de conteúdo por especialistas, o indicador PCAE também se mostrou bastante polêmico, de difícil aceitação pelo grupo de pesquisadores. Apesar da sua importância, não foi possível a obtenção de consenso sobre ele quando da avaliação dos juízes especialistas e será retirado da avaliação de PCIH.
Os demais indicadores foram validados, sem necessidade de retorno aos especialistas para novo julgamento, uma vez que os poucos aspectos que não obtiveram consenso favorável (maior ou igual a 75%), com respeito ao manual operacional, referiram-se a ajustes de formas de descrição, refinamento de critérios de avaliação e de coleta de informações, novas referências para fundamentação, entre outros. Assim, a incorporação de comentários e sugestões dos juízes foi considerada suficiente para validação dos indicadores, exceto do PCAE.
A realização da validação de conteúdo dos indicadores de PCIH, ainda após as modificações sugeridas pelos juízes, não esgota a avaliação da qualidade dos PCIH, mesmo porque, além da grande amplitude de discussão do assunto, os indicadores precisam ser testados quanto a sua confiabilidade interna e externa e aplicação empírica. Embora saiba-se que um instrumento confiável nem sempre é válido, um instrumento válido possui boas chances de ser confiável.
Este estudo contribuiu para o desenvolvimento de indicadores de avaliação de programas de controle de infecção hospitalar instituídos em serviços de saúde; e deverá permitir a realização de diagnósticos situacionais para futuras intervenções em prol da melhoria contínua, tão desejada, da assistência em saúde.
]]>