Confiabilidade dos dados de atendimento odontológico do Sistema de Gerenciamento de Unidade Ambulatorial Básica (Sigab) em Unidade Básica de Saúde do Município do Rio de Janeiro

Reliability of dental procedures data from the Outpatient Care Management System (Sigab) at a Primary Care Unit in the Municipality of Rio de Janeiro, Brazil

Leonardo Barra Luquetti^I; Josué Laguardia^II

^INúcleo de Vigilância em Saúde da Policlínica José Paranhos Fontenelle – CAP 3.1, Secretaria Municipal de Saúde do Rio de Janeiro, Rio de Janeiro-RJ, Brasil
^IIInstituto de Comunicação e Informação Científica e Tecnológica em Saúde, Fundação Oswaldo Cruz, Rio de Janeiro-RJ, Brasil

RESUMO

Este artigo estimou a confiabilidade dos dados de atendimento odontológico do Sistema de Gerenciamento de Unidade Ambulatorial Básica (Sigab) por meio de dois procedimentos: coeficiente de correlação intraclasse e coeficiente de correlação de concordância, com os respectivos intervalos de 95% de confiança. As análises compararam os dados de procedimentos clínicos ambulatoriais produzidos pelos cirurgiões-dentistas em uma amostra selecionada de 96 dias de atendimento odontológico de uma unidade básica de saúde do município do Rio de Janeiro-RJ e registrados em três diferentes instrumentos. Os resultados mostraram um alto grau de concordância entre os dados provenientes dos instrumentos avaliados no estudo. A partir das estimativas obtidas, conclui-se que há uma alta confiabilidade entre os dados relativos aos procedimentos odontológicos coletados nos instrumentos padronizados do Sigab, na planilha desenvolvida no serviço, e os dados presentes nos relatórios gerados pelo aplicativo.

Palavras-chave: reprodutibilidade; confiabilidade; sistema de informação; Sigab.

SUMMARY

This study has estimated the reliability of dental procedures data from the Outpatient Care Management System (Sigab), through two statistical procedures: intraclass correlation coefficient and concordance correlation coefficient, with corresponding 95% confidence intervals. The analysis consisted of comparing data registered at three different forms related to outpatient clinical procedures performed by general dentists in 96 working days at a primary care unit in the municipality of Rio de Janeiro. The results showed a high degree of agreement among data from the different sources taken into account in the study. Calculated estimates have led us to conclude that there is a high degree of reliability among data related to dental procedures collected in standardized forms available at Sigab, in a spreadsheet developed at the primary care unit and data from reports generated by the software.

Key words: reproducibility; reliability; information system; Sigab.

Introdução

A informatização dos sistemas de informação em saúde apóia-se na aplicação de tecnologias para o processamento automático de um conjunto de dados que auxiliam a análise da situação de saúde e a tomada de decisão por parte dos gestores.¹ Assim, a implantação de um sistema de informação desse tipo propiciaria uma gestão eficiente e eqüitativa dos programas e, conseqüentemente, uma melhoria nos níveis de saúde da população.

A estruturação do processo de construção do conhecimento a partir dos dados relativos aos distintos aspectos da saúde e nos diferentes níveis de gestão leva a um aprimoramento da capacidade de resposta dos sistemas de informação às demandas e necessidades de informação do gestor.² Mesmo nos modelos de decisão em que a solução é resultado de um processo de caráter mais pessoal, influenciado pelo "olhar" do gestor e por situações contingenciais, esses sistemas de informação podem fornecer dados que servem tanto para reiterar ou criticar os pressupostos subjacentes às medidas adotadas. Em termos de exercício da cidadania, o acesso às informações permite que o usuário e as organizações da sociedade civil possam avaliar a qualidade dos serviços. A maneira como a informação é obtida, registrada, organizada, recuperada e, posteriormente, utilizada permite que as decisões oportunas estejam embasadas em diferentes recortes analíticos. Porém, isso só é possível com a padronização, automação e integração dos processos da cadeia informacional.³

A qualidade do dado de um sistema de informação está associada à adequação do uso desse dado para determinada finalidade ou ao grau de aderência entre a representação da realidade registrada no dado do sistema de informação e esse mesmo dado no mundo real. Essa qualidade pode ser aferida por meio das seguintes características: oportunidade, relevância, completeza e confiabilidade desses dados. A oportunidade diz respeito à atualidade do dado, enquanto que a relevância remete à idéia de utilidade para a tomada de decisão em determinado contexto. A completeza refere-se à magnitude de campos em branco de cada variável do sistema de informação. Já a confiabilidade implica reprodutibilidade da informação, a representação dos dados de maneira consistente e sem ambigüidade. A qualidade dos dados de um sistema de informação pode estar comprometida por problemas no registro, atualização e uso dos dados, bem como nos processos de mudança e reestruturação do próprio sistema.

Quanto aos dados relativos à saúde bucal e sua presença nos sistemas de informação atualmente em uso, estes ficam limitados à produção ambulatorial odontológica da rede de atenção básica e de média complexidade, coletados pelo Sistema de Gerenciamento de Unidade Ambulatorial Básica (Sigab). O Sigab, por sua vez, integra a base de dados do Sistema de Informações Ambulatoriais do Sistema Único de Saúde (SIA/SUS).

A incerteza quanto à qualidade dos dados gerados pelo Sigab relativos à produção odontológica ambulatorial e a ausência de estudos para avaliação desses dados nos sistemas de informação de base nacional orientaram o objetivo do presente artigo, que buscou estimar a confiabilidade dos dados odontológicos do Sigab com o intuito de apoiar o seu uso no planejamento das ações em saúde bucal. Para tal, foram estimadas as medidas de confiabilidade dos dados de atendimentos odontológicos realizados em uma unidade de saúde do Município do Rio de Janeiro, no período de janeiro a dezembro de 2005, utilizando os dois procedimentos estatísticos mais comumente usados na literatura. A comparação entre os resultados obtidos por ambos teve o intuito de apontar se haveria alguma diferença nas estimativas, de acordo com o método utilizado.

Metodologia

Neste estudo foram utilizados três instrumentos: relatório gerado pelo Sigab; a ficha de registro odontológico (FRO) – que é o instrumento para entrada de dados da produção ambulatorial no sistema –; e uma planilha de coleta de dados de atendimento odontológico, desenvolvida e implantada por um dos autores.

Os procedimentos avaliados foram divididos em dois grupos: conclusivos (todas as ações de clínica odontológica básica) e preventivos (escovação dentária supervisionada e aplicação tópica de flúor). Os dados também foram registrados pelo profissional em uma planilha específica que apresentava campos pertinentes para o lançamento dos dados, assim como a FRO. Todos os procedimentos registrados nesses instrumentos deveriam constar no relatório final do Sigab. A seleção das ações para avaliação no estudo deve-se ao fato de estes procedimentos representarem todas as atividades realizadas por um dentista da rede pública de saúde e que são registradas no sistema de informação.

A magnitude do erro de mensuração, que afeta a análise e interpretação estatística, pode ser avaliada por meio de um índice de confiabilidade. Em geral, um estudo de confiabilidade das medidas entre duas ou mais fontes de informação é constituído por uma amostra aleatória de n alvos, que é avaliada independentemente por k observadores. No caso da avaliação da confiabilidade das medidas geradas por um ou mais sistemas de informação, o pesquisador pode estar interessado em estimar a concordância das estatísticas geradas por diferentes fontes j em uma amostra de indivíduos ou de dias de atendimento i.

Dentre os procedimentos mais empregados para medir a confiabilidade que apresentam uma única medida de magnitude da concordância, destacam-se os coeficientes de correlação intraclasse (CCI) e de correlação de concordância (CCC).^5,6

O coeficiente de correlação intraclasse (CCI) é uma medida da confiabilidade dos observadores definida como a razão da variância entre unidades de análise e a variância total. Essas variâncias são derivadas da análise de variância (Anova), cujos modelos dependem do pressuposto que os observadores são obtidos aleatoriamente de uma população maior de observadores (efeitos aleatórios) ou se são os únicos observadores de interesse (efeitos fixos) e, ainda, se cada observador se atém a cada uma das unidades de análise ou não. O CCI é empregado quando as variáveis do estudo são contínuas. O CCI tem valores que variam entre 0 e 1. Quando o valor é igual a 0 o estudo não é reprodutível, ou seja, há uma grande variabilidade intra-observador, mas não há variabilidade inter-observador. No caso do CCI ser é igual a 1, o estudo é reprodutível ao máximo, ou seja, não há variabilidade intra-observador, mas há uma grande variabilidade inter-observador. Ressalta-se que estes exemplos se aplicam à situação de confiabilidade teste-reteste.

O coeficiente de correlação de concordância (CCC) avalia a concordância entre duas leituras da mesma amostra, medindo a variação da linha de 45 graus desde a origem (linha de concordância).⁷ Para caracterizar o CCC é necessário correlacioná-lo com o coeficiente de correlação de Pearson, que quantifica a força de associação linear entre duas variáveis, ou seja, o grau de correlação entre elas. O CCC tem as seguintes características: varia de -1 a +1; é igual a zero se e apenas se o coeficiente de correlação de Pearson é igual a zero; é igual ao coeficiente de correlação de Pearson se e apenas se a variância e a média da primeira leitura é igual à variância e a média da segunda leitura; é igual a +/- 1 se e apenas se o coeficiente de correlação de Pearson for igual a +/- 1, a variância e a média da primeira leitura é igual à variância e a média da segunda leitura ou cada par estiver em concordância perfeita (1,1), (2,2), (3,3), (4,4), (5,5) ou em reverso perfeito (5,1), (4,2), (3,3), (2,4), (1,5). A simplicidade do seu uso, a consistência de suas estimativas e a normalidade assintótica para dados normais bivariados são apontados como vantagens do CCC com respeito ao CCI e, quando se assume que os observadores são fixos, o coeficiente de correlação de concordância iguala-se ao coeficiente de correlação intraclasse.

Dada a relevância da avaliação da confiabilidade dos dados oriundos de diferentes fontes de informação para o planejamento das ações em saúde bucal, assim como a pertinência do uso de coeficientes de correlação de concordância em detrimento ao coeficiente de correlação intraclasse, buscou-se nesse estudo estimar os coeficientes de correlação intraclasse para concordância absoluta, assumindo o caráter não-aleatório das fontes (modelo de dois fatores e efeitos mistos), e de correlação de concordância (CCC). Para as estimativas de concordância e de validade foram construídos intervalos de 95% de confiança (IC_95%). Em acréscimo à estimativa da confiabilidade dos dados do Sigab, a comparação das medidas de concordância entre as fontes de informação permite avaliar a magnitude das diferenças entre as estimativas dos dois coeficientes.

Considerações éticas

Vale ressaltar que nesse estudo não houve quebra de confidencialidade em decorrência dos seguintes aspectos: a) as fichas consultadas não continham o nome do paciente, pois esse campo não é preenchido – a possibilidade de vínculo entre os dados da ficha e os dados pessoais do paciente se dá pelo número do registro (código numérico); b) para identificar qualquer paciente através do número de registro é necessário que seja consultado o prontuário na documentação médica, o que não foi feito nesse estudo; c) os dados analisados estavam agregados por dia de atendimento segundo o profissional; d) o relatório do Sigab e a planilha de coleta do serviço não fazem qualquer menção aos dados do paciente, nem mesmo ao número de registro, e) o único objetivo deste estudo foi aferir a confiabilidade dos dados consolidados que dão entrada no sistema, comparando-os com aqueles que dão saída no mesmo; f) no presente estudo não foi feita qualquer citação relativa aos pacientes ou à sua individualidade, pois este não foi o alvo da pesquisa, além do fato de ser impossível para os pesquisadores distinguirem, através de números do registro, a identidade ou mesmo dados particulares dos grupos estudados. Em decorrência desses aspectos, não foi considerada necessária a submissão do projeto para avaliação por um comitê de ética.

Resultados

Quanto aos procedimentos utilizados para o cálculo da confiabilidade, a ausência de diferenças significativas entre os dois métodos mostra que a escolha de qualquer um dos coeficientes de correlação não afetaria os resultados da análise.

Discussão

As estimativas obtidas nesse estudo assinalam que há uma alta concordância entre os dados coletados por um instrumento padronizado (FRO) ou desenvolvido localmente (planilha) e os dados presentes nos relatórios gerados pelo aplicativo Sigab. Os dados do atendimento odontológico, mesmo quando analisados separadamente por tipo de procedimento e também por um profissional, apresentam alto índice de concordância e, conseqüentemente, alta confiabilidade.

Os estudos realizados no Brasil que avaliaram a confiabilidade dos dados dos sistemas de informação abrangem, predominantemente, os sistemas de informação de base nacional relativos aos dados vitais, internações hospitalares e agravos de notificação compulsória, e utilizaram a estimativa do Kappa para análise do grau de concordância entre os dados dos registros informatizados desses sistemas e aqueles presentes nos prontuários dos pacientes.^8-16

No Município do Rio de Janeiro, a comparação entre os dados dos registros da Campanha para Eliminação da Sífilis Congênita (CESC) e os dados do Sistema de Informação de Agravos de Notificação (Sinan) mostrou que a concordância variava entre boa e ótima para a variável idade (0,63-0,83), porém baixa para a data e o tipo de tratamento (0,19-0,36).¹⁰ Os resultados de um estudo em que foram comparados os dados originais e revistos da variável diagnóstico final dos casos de dengue notificados ao Sinan na epidemia ocorrida no período 2001-2002 no Município do Rio de Janeiro¹¹ apontaram níveis satisfatórios ou bons (0,68) para a confiabilidade dessa variável no Sinan, apesar da ausência de críticas internas no sistema.

Em um estudo acerca da confiabilidade dos dados do Sistema de Informação de Mortalidade (SIM),¹² os pesquisadores observaram que a concordância entre os dados da causa básica de óbitos por violência registrados no SIM e os dados revistos após agregação das informações existentes no Instituto Médico Legal (IML) do Município de Belo Horizonte-MG no período de 1998 a 2000, foi de 0,60 (IC_95%: 0,56-0,64), considerada moderada ou regular. Isto, na percepção daqueles autores, poderia apresentar algum grau de comprometimento da qualidade das informações acerca dos acidentes de transporte. Nesse Município, um estudo avaliou a confiabilidade dos dados da declaração da causa básica de mortes infantis, registradas na Declaração de Óbito e os dados anotados no prontuário hospitalar da criança.¹³ Os achados desse estudo apontaram que o índice de Kappa foi de 0,61 (IC_95%: 0,49-0,74) para os óbitos neonatais e 0,47 (IC_95%: 0,38-0,57) para os óbitos pós-neonatais, sendo que essas discordâncias seriam maiores ao separar o grupo de causas utilizadas para comparação. Já no Município do Rio de Janeiro,¹⁴ a confiabilidade dos atestados de óbito por neoplasias foi de 0,89 (IC_95%: 0,86-0,92), garantindo sua adequação para o uso em estudos epidemiológicos.

A comparação entre os dados preenchidos nos formulários de autorização de internação hospitalar (AIH) de hospitais privados contratados pelo Instituto Nacional de Previdência e Assistência Social (Inamps) na cidade do Rio de Janeiro e os prontuários dos pacientes,¹⁵ no ano de 1986, mostrou que a confiabilidade do diagnóstico aumentou com o nível de agregação da classificação: 0,72 (IC_95%: 0,68-0,76) para quatro dígitos e 0,81 (IC_95%: 0,76-0,85) para três dígitos. Os autores observaram que os diagnósticos da AIH eram freqüentemente codificados nos dígitos 8 e 9, referentes a classificações inespecíficas e residuais, e que a confiabilidade do diagnóstico principal foi menor do que a relativa ao procedimento realizado, pois esta era a fonte de dados para o reembolso pelo SUS. Nos casos de discordância, havia uma maior chance de que o hospital anotasse um procedimento com valor de reembolso maior do que aquele registrado no prontuário médico.

Um estudo sobre a morbidade hospitalar no Município de Maringá-PR no primeiro semestre de 1992¹⁶ comparou a concordância entre os dados dos diagnósticos registrados na AIH e os dados dos prontuários dos pacientes. Os achados desse estudo mostraram que as concordâncias variaram, sendo mais altas para complicações da gravidez, parto e puerpério, 0,98 (IC_95%: 0,97-0,99), e mais baixas para as neoplasias, 0,46 (IC_95%: 0,34-0,57) e anomalias congênitas, 0,43 (IC_95%: 0,18-0,69). A falta de especificação da doença, a qualidade dos dados registrados no prontuário, a falta de treinamento e desconhecimento dos funcionários dos hospitais sobre regras de codificação, uso pouco freqüente do campo do diagnóstico secundário, além do fato do formulário da AIH ter como objetivo principal o reembolso dos serviços hospitalares explicariam as variações nos níveis de confiabilidade dos dados do Sistema de Informação Hospitalar (SIH).

Nos estudos supracitados, as variáveis demográficas e clínico-epidemiológicas analisadas apresentaram graus variados de confiabilidade, enquanto que no presente estudo esses valores foram altos para todos os campos avaliados. Embora as medidas empregadas sejam distintas, a maior concordância observada nessa investigação em comparação aos estudos revistos pode ser devida ao uso de dados agregados e procedentes de um mesmo serviço de saúde, o que levaria a uma menor variabilidade entre as fontes. Os achados desse estudo vão de encontro à percepção corrente entre os profissionais de saúde envolvidos na produção e avaliação dos dados odontológicos de que o Sigab apresentaria problemas de integridade na sua base de dados, tais como apagar registros digitados, o que resultaria na subestimação da produção realizada na unidade de saúde quando avaliada pelos relatórios de saída do Sigab.

Possíveis fontes de discordância entre os dados registrados nos instrumentos de coleta e os dados emitidos pelos relatórios do Sigab podem estar relacionadas a erros na digitação dos procedimentos realizados, exclusão de dados digitalizados, problemas de hardware e ausência de rotinas de realização de cópias de segurança, que levariam à perda dos dados digitados. É importante ressaltar que os estudos que avaliam a confiabilidade de sistemas de informação utilizam medidas de correlação para estimar a concordância ou não de quaisquer variáveis passíveis de serem mensuradas. A confiabilidade dos dados digitados não corresponde à realização efetiva dos procedimentos referentes a esses dados e, por essa razão, a alta concordância detectada nessa investigação restringe-se apenas à confirmação de que as atividades registradas nos instrumentos de coleta foram digitadas no Sigab, não garantindo que elas foram, de fato, realizadas. Em razão disso, a confiabilidade estimada não informa quanto à veracidade dos dados, mas quanto à qualidade da sua transcrição e digitação no sistema.

A despeito dos achados desse estudo que sinalizam para a alta confiabilidade dos dados odontológicos no Sigab, cabem algumas considerações acerca da gestão da informação em saúde bucal. Embora não se possa afirmar que a unidade de saúde desse estudo seja representativa das unidades básicas de saúde do Município do Rio de Janeiro, pois sua seleção não foi feita através de amostragem probabilística, tanto os processos de trabalho de atendimento odontológico quanto o tratamento dado às informações são compartilhados pela maioria das unidades de saúde desse Município. No que diz respeito à qualidade dos dados no Sigab, as dúvidas referentes à codificação dos procedimentos segundo a tabela SIA/SUS podem resultar na geração de linhas de erros pelo aplicativo em decorrência do uso de códigos incompatíveis com determinados procedimentos. Outros fatores que podem contribuir para a baixa qualidade dos dados dos sistemas de informação, dentre eles o Sigab, são: o desconhecimento dos profissionais acerca dos sistemas de informação utilizados na unidade de saúde; a ausência de suporte técnico qualificado para operação desses sistemas; e a adoção de práticas que colocam em risco a integridade dos dados, tais como a reutilização dos disquetes contendo cópias de segurança recentes, em vez de armazená-los em local seguro por determinado período de tempo.

Outro aspecto a ser destacado é a relevância que os profissionais e gestores atribuem aos dados gerados na unidade e sua análise sistemática para a tomada de decisão. No tocante às instâncias gestoras, o que se observa é a ausência de uma política formal de criação de grupos de trabalho em informação nas unidades de saúde e da realimentação regular, no que diz respeito à avaliação das ações realizadas pelas unidades de saúde. Isso leva à percepção, pelos profissionais, de que o seu trabalho e conseqüentemente, as informações em saúde, não são importantes ou relevantes para a melhoria da assistência à saúde e, sendo assim, em vários modelos de decisão em saúde é possível reconhecer que esta nem sempre é resultado de um processo seqüencial, estruturado e dirigido de construção de conhecimentos a partir das informações geradas ou baseia-se na adoção de uma única solução. De qualquer modo, é possível afirmar que a informação é um recurso importante para a tomada de decisão.

Além disso, uma análise mais detalhada dos processos de coleta e registro dos dados pode apontar a ocorrência de procedimentos que comprometem a qualidade desses dados, tais como o lançamento de turnos fora do dia do plantão do profissional, mudança de datas, alteração dos números de prontuários de pacientes para suprir deficiências técnicas de entrada de dados dos programas ou mudanças nos códigos por dificuldade da leitura dos registros. Um acompanhamento da produção mensal da unidade possibilitaria a detecção de padrões inesperados, seja por mudanças na ocorrência de eventos em saúde ou falhas sistemáticas no preenchimento e codificação dos procedimentos.

Desse modo, além do atendimento ao paciente, vários procedimentos não são lançados por algum tipo de incompatibilidade entre o código e as limitações impostas pelo programa, ou ainda, porque pode ser digitado outro tipo de procedimento que não corresponda ao que foi de fato realizado. Isto vem corroborar a afirmação de que um alto grau de confiabilidade das informações não necessariamente significa que os procedimentos listados nos relatórios foram de fato executados pelos profissionais. Evidencia-se, diante de tal situação, um mútuo desconhecimento da tabela SIA/SUS pelos digitadores e profissionais de saúde, pois o erro que o digitador busca corrigir foi gerado por desconhecimento do profissional de saúde sobre o tipo de procedimento, seu código correspondente na tabela e a sua utilização correta dentro dos parâmetros aceitáveis do aplicativo. Esta situação revela a importância da qualificação dos servidores envolvidos diretamente com os processos de coleta e digitação dos dados de atendimento odontológico.

Vale ressaltar ainda que a qualificação dos servidores envolvidos nos processos de trabalho relacionados aos sistemas de informação reveste-se de maior relevância, tendo em vista as mudanças que estavam em curso no gerenciamento dos dados de atendimento ambulatorial. A partir de janeiro de 2008, o sistema Gerenciador de Informações Locais (GIL) substituiu de maneira gradativa o Sigab como ferramenta para o armazenamento e processamento das informações ambulatoriais das unidades de saúde. Fará ainda uma integração com outros sistemas de informação, tais como o HiperDia e o CadSus. Uma vez que os formulários a serem utilizados para coleta e digitação dos dados no GIL são similares àqueles empregados no Sigab, os achados desse trabalho podem servir de referência aos estudos futuros de confiabilidade dos dados do Sistema.

Concomitantemente ao GIL, o Departamento de Informática do SUS (Datasus) realizou a integração das tabelas SIA e SIH, o que contribuirá para a melhoria da codificação dos procedimentos na entrada dos dados neste novo sistema, pois os cerca de 8.000 procedimentos constantes das duas tabelas serão reduzidos à metade, com procedimentos de 10 dígitos ao invés dos 8 dígitos das tabelas supracitadas. Porém, caso os problemas relativos à utilização do Sigab não sejam considerados na avaliação desse novo sistema, corre-se o risco de serem repetidos os mesmos erros.

Por fim, há que se destacar que um sistema de informação informatizado não se restringe apenas aos aspectos técnicos do aplicativo. Como foi assinalado acima, um conjunto de fatores organizacionais e humanos influencia o uso e o desempenho de um aplicativo. Sem a devida formação de todos os atores envolvidos na coleta e digitação dos dados, bem como no gerenciamento dos sistemas de informação, de nada adiantará informatizar ou reformular os sistemas de informação atualmente existentes para esses fins. Por essa razão, além da análise de confiabilidade, as avaliações de sistemas de informação devem enfatizar nos seus estudos as questões relativas à interação homem-computador, à percepção do usuário acerca da facilidade de uso e utilidade do aplicativo, bem como os fatores que facilitam ou dificultam a implementação de estratégias de informatização nas rotinas de trabalho.

Referências

1. Silveira MH. Considerações sobre o Sistema de Informações no Setor Saúde. Revista de Saúde Pública 1974;8:119-128.

2. Moraes IHS, Gómez MNG. Informação e informática em saúde: caleidoscópio contemporâneo da saúde. Ciência & Saúde Coletiva 2007;12:553-565.

3. Cohn A, Westphal MF, Elias PE. Informação e decisão política em Saúde. Revista de Saúde Pública 2005;39:114-121.

4. Shoukri MM, Asyali MH, Donner A. Sample size requirements for the design of reliability study: review and new results. Statistical Methods in Medical Research 2004;13:251-271.

5. Mcgraw KO, Wong SP. Forming inferences about some intraclass correlation coefficients. Psychological Methods 1996;1:30-46.

6. Shrout PE, Fleiss JL. Intraclass correlation: uses in assessing rater reliability. Psychological Bulletin 1979;86:420-428.

7. Lin LI-K. A concordance correlation coefficient to evaluate reproducibility. Biometrics 1989;45:255-268.

8. Silva AAM, Ribeiro VS, Borba Jr AF, Coimbra LC, Silva RA. Avaliação da qualidade dos dados do Sistema de Informações sobre Nascidos Vivos em 1997-1998. Revista de Saúde Pública 2001;35:508-514.

9. Theme Filha MM, Gama SGN, Cunha CB, Leal MC. Confiabilidade do Sistema de Informações sobre Nascidos Vivos Hospitalares no Município do Rio de Janeiro, 1999-2001. Cadernos de Saúde Pública 2004;20:583-591.

10. Saraceni V, Vellozo V, Leal MC, Hartz ZMA. Estudo de confiabilidade do Sinan a partir das campanhas para a eliminação da sífilis congênita no Município do Rio de Janeiro. Revista Brasileira de Epidemiologia 2005;8(4):419-424.

11. Toledo ALA, Escosteguy CC, Medronho RA, Andrade FC. Confiabilidade do diagnóstico final de Dengue na epidemia 2001-2002 no município do Rio de Janeiro, Brasil. Cadernos de Saúde Pública 2006; 22(5):933-940.

12. Matos SG, Proietti FA, Barata RCB. Confiabilidade da informação sobre mortalidade por violência em Belo Horizonte, MG. Revista de Saúde Pública 2007;41(1):76-84.

13. Mendonça EF, Goulart EMA, Machado JAD. Confiabilidade da declaração de causa básica de mortes infantis em região metropolitana do sudeste do Brasil. Revista de Saúde Pública 1994;28:385-391.

14. Monteiro GTR, Koifman RJ, Koifman S. Confiabilidade e validade dos atestados de óbito por neoplasias. I. Confiabilidade da codificação para o conjunto das neoplasias no Estado do Rio de Janeiro. Cadernos de Saúde Pública 1997;13:39-52.

15. Veras CMT, Martins MS. A confiabilidade dos dados nos formulários de Autorização de Internação Hospitalar (AIH), Rio de Janeiro, Brasil. Cadernos de Saúde Pública 1994;10(3):339-355.

16. Mathias TAF, Soboll MLMS. Confiabilidade de diagnósticos nos formulários de Autorização de Internação Hospitalar. Revista de Saúde Pública 1998;32(6):526-532.

Endereço para correspondência:
Rua Antônio de Lemos, 97, Apto 103,
Olaria, Rio de Janeiro-RJ, Brasil.
CEP: 21021-500
E-mail:lbluquetti@rio.rj.gov.br