Influência de fatores ambientais na eficiência de hospitais de ensino^*

Influence of environmental factors on teaching hospitals efficiency

Maria Stella Castro Lobo^I; Angela Cristina M. Silva^II; Marcos P. Estellita Lins^II; Roberto Fiszman^I; Katia Vergetti Bloch^I

^IServiço de Epidemiologia e Avaliação, Hospital Universitário Clementino Fraga Filho, Universidade Federal do Rio de Janeiro, Rio de Janeiro-RJ, Brasil
^IIInstituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa em Engenharia, Universidade Federal do Rio de Janeiro, Rio de Janeiro-RJ, Brasil

RESUMO

OBJETIVO: medir o desempenho de hospitais de ensino por Análise Envoltória de Dados (Data Envelopment Analysis - DEA) e estudar a influência de fatores ambientais na eficiência encontrada.
METODOLOGIA: foram analisados 104 hospitais de ensino e o escore de eficiência foi gerado por DEA, modelo VRS, orientado a output, com restrição aos pesos. Em uma segunda etapa, utilizou-se regressão linear logística, usando-se o escore de eficiência DEA como variável dependente.
RESULTADOS: a média de eficiência foi 49% (DP=26%); cinco hospitais foram considerados eficientes. Na regressão, as variáveis com maior poder explicativo para eficiência foram porte hospitalar (p=0,001), alta intensidade (p=0,027) e baixa dedicação (p=0,006) de ensino. Não foi verificada associação entre eficiência e natureza jurídica ou IDH do município de entorno.
CONCLUSÃO: a eficiência hospitalar é influenciada por variáveis ambientais, nem todas suscetíveis à governabilidade do gestor, que podem ser consideradas na pactuação de metas para financiamento.

Palavras-chave: hospitais de ensino; eficiência; análise envoltória de dados; regressão logística.

SUMMARY

Key words: teaching hospitals; efficiency; data envelopment analysis; logistic regression.

Introdução

O Programa de Reestruturação dos Hospitais de Ensino do Ministério da Saúde foi criado em 2003 para enfrentar a crise de financiamento dos hospitais de ensino, pautado na busca de mecanismos que garantissem: 1) maior aporte financeiro, 2) eficiência na utilização dos recursos repassados e 3) maior integração docente-assistencial com a rede de serviços do Sistema Único de Saúde, o SUS.

Nesse contexto, os hospitais de ensino passaram por um processo de certificação pelos Ministérios da Saúde e da Educação (MS e MEC), de acordo com o cumprimento de requisitos de assistência, docência, gestão e integração ao SUS. Uma vez certificados, poderiam requerer a inserção no Programa e a mudança de modelo de financiamento. No novo modelo, a alta complexidade continuou sendo paga por procedimento mas a média complexidade passou a ser orçamentada, com valor fixo mensal acordado entre a direção do hospital de ensino e o gestor local, de acordo com a pactuação de metas de assistência, de ensino, de qualidade e de gestão acordada entre as partes.^1,2

No presente estudo, pretende-se abordar técnicas de medida de desempenho ou eficiência hospitalar a partir da construção de fronteiras de produtividade por Análise Envoltória de Dados (Data Envelopment Analysis - DEA). Os escores gerados por DEA servirão de base à categorização dos hospitais como eficientes ou ineficientes, para estudo da influência das variáveis que podem alterar o custo dos procedimentos sujeitos à orçamentação, como volume de ensino, natureza jurídica do estabelecimento e nível socioeconômico da população de entorno, mediante regressão linear logística. Acredita-se que a identificação destes fatores ambientais adicionais é importante para definir outros fatores que, na forma de incentivos, possam compor o pacote financeiro no momento da pactuação de metas.

Metodologia

Foram analisados os 104 hospitais gerais de ensino contratualizados até o final de 2006, sendo mensurada a produção de 2007, esta realizada após a assinatura dos planos operativos dos contratos de metas. Esses planos foram identificados por números, para garantir a confidencialidade dos dados.

Para definição da fronteira de eficiência, as variáveis escolhidas partiram do conceito de que a eficiência pode ser medida pela quantidade de produtos esperada para cada hospital em particular, a qual, por sua vez, está condicionada à quantidade de recursos disponíveis e/ou consumidos. A escolha das variáveis de recursos e de produtos baseou-se no trabalho pioneiro de Yasar Ozcan,³ atualizado por O'Neill e colaboradores,⁴ que mostrou a estabilidade dos escores de eficiência quando se utilizam diferentes combinações de inputs e de outputs para a análise da eficiência em hospitais.

Foram consideradas como variáveis de recursos utilizados: no de funcionários, no de leitos e o mix de serviços ofertados (proxy de diversidade de estrutura assistencial),⁵ oriundos do Cadastro Nacional de Estabelecimentos de Saúde (CNES) do Ministério da Saúde.

As variáveis de produção - no caso, as internações e os procedimentos de alta complexidade (AC) realizados - foram extraídas do Departamento de Informática do SUS (Datasus) do Ministério da Saúde e trabalhadas no Tabwin 3.0. A produção de AC como medida de output representa uma medida proxy de case-mix, ou seja, da complexidade dos casos e volume de recursos necessários para a realização desses procedimentos, como neurocirurgias, cirurgias cardíacas, ortopédicas, transplantes, etc.⁶ Segundo La Forgia e Couttolenc,⁷ o ajuste por case-mix deve considerar a heterogeneidade dos pacientes atendidos - no que se refere à quantidade de recursos utilizados e aos custos de tratamento -, fundamental para garantir a validade do modelo, existindo várias formas de procedê-lo. A necessidade desse ajuste tem sido consenso, na literatura aplicada à saúde.^8-10

A medida de eficiência em DEA foi realizada por programação linear, mediante a comparação de um conjunto de unidades similares, denominadas DMU (abreviação do inglês: Decision Making Units), as quais consomem os mesmos inputs (recursos) para produzir os mesmos outputs (produtos), diferenciando-se unicamente nas quantidades consumidas e produzidas. Uma vez que a produção é um processo, no qual os recursos são utilizados para gerar produtos, a fronteira de produtividade pode ser definida como a máxima quantidade de outputs obtida a partir dos inputs utilizados, desde que nenhuma DMU tenha eficiência superior a 1,00 (100%).¹¹

Essa definição representa o modelo dos multiplicadores, no qual as variáveis obtidas são os pesos dados a cada uma das variáveis, de modo a otimizar a eficiência da unidade.¹² A maior limitação da estrutura matemática desse modelo clássico é que, na busca da solução ótima, podem ser gerados pesos nulos para variáveis importantes e, portanto, resultados inverossímeis. No caso da variável ser tratada como essencial, ou se existir a necessidade de uma relação numérica lógica entre as variáveis, o modelo pode ser alterado com a introdução de restrições aos pesos, o que se pode decidir a partir da opinião do especialista.¹³

Geometricamente, ao definir as DMU com as melhores práticas, DEA constrói uma fronteira de produção empírica de melhores práticas que abarca, envolve as demais (daí o nome 'envoltória de dados', ou modelo do envelope).¹⁴ As DMU que se encontram sobre a fronteira, portanto eficientes, têm medida de eficiência igual a 1,00 ou 100%, enquanto as DMU localizadas abaixo da fronteira são ineficientes (valores entre 0 e 1,00 ou 100%). O escore de eficiência das DMU ineficientes pode ser calculado por suas respectivas distâncias da fronteira, ou seja, a medida de eficiência em DEA representa a proporção em que devem ser reduzidos os inputs - ou aumentados os outputs - para que a fronteira eficiente seja alcançada. Essa medida de eficiência é conhecida como eficiência técnica e a projeção espacial das unidades ineficientes na fronteira está delimitada por um conjunto de referência de unidades eficientes que se encontram próximas à projeção (daí, o termo benchmark).

O modelo de produção usado neste trabalho considera, ainda, retornos variáveis de escala (VRS), de modo que uma unidade eficiente somente seja comparada com unidades produtivas de tamanho similar ou que operam em escala semelhante.¹⁴ Também está orientado ao aumento de outputs para projeção na fronteira, ou seja, as unidades mais eficientes serão aquelas que produzirem maior volume a partir de quantidades fixas de recursos. Nas fórmulas abaixo, a variável de decisão do modelo do envelope representa a distância de cada unidade à fronteira de melhores práticas, e as variáveis de decisão do modelo dos multiplicadores representam os pesos dados a cada variável. O software utilizado para gerar o escore foi o DEA Solver PRO 5.0 (desenvolvido por Saitech, Inc.).

Dado que variações aleatórias do ambiente socioeconômico (como renda, mercado, epidemias etc.) e organizacional (coordenação e regulação de práticas, ocorrência de greves, natureza jurídica, estrutura de ensino) podem influenciar o escore de eficiência e o papel desses fatores pode ser mensurado, propôs-se uma segunda etapa de estudo dessa associação.¹⁰ A modelagem que usa a aplicação de DEA, e depois a consideração do escore de eficiência como variável dependente - tendo variáveis ambientais e/ou organizacionais para avaliação da influência dessas últimas - é chamada de duas fases ou em dois estágios.¹⁵

Atualmente, existem críticas metodológicas para a regressão de estimativas não paramétricas (caso de DEA), baseadas no trabalho recente de Simar e Wilson,¹⁶ que afirma que os estudos em dois estágios não costumam descrever um processo coerente na geração dos dados e que as abordagens convencionais de inferência utilizadas (geralmente, regressão Tobit) são inválidas pelo alto grau de correlação entre as eficiências estimadas. Para reduzir esse viés de inferência, optou-se, aqui, pela regressão logística, que promove a regressão a partir de um desfecho binário, com dados reais provenientes do Programa de Reestruturação dos Hospitais de Ensino. O uso da técnica de regressão logística para avaliar a influência de variáveis ambientais nos escores DEA já foi validado em diversas publicações.^17-19 A validade lógica dos resultados foi testada com a apresentação dos resultados para um grupo de técnicos e gestores participantes do programa.

No estudo, o escore de eficiência foi utilizado como variável dependente na regressão logística, considerando a média do escore DEA como o ponto de corte para identificar as unidades eficientes. As variáveis ambientais estudadas foram: porte (número de leitos);²⁰ dedicação de ensino (relação residentes/ médicos); intensidade de ensino (relação: residentes/ leitos);²¹ Índice de Desenvolvimento Humano (IDH) do município de entorno;²² e natureza jurídica do hospital (público - da esfera federal, estadual ou municipal -; ou privado - fundação privada e/ou filantrópico).²³ Dados sobre a residência médica foram obtidos no sítio eletrônico do Ministério da Educação;²⁴ e sobre IDH, no sítio do Programa das Nações Unidas para o Desenvolvimento (PNUD).²⁵

Na análise exploratória dessas variáveis, foi usado o teste Qui-quadrado para comparação de freqüências e o teste t-Student para comparação de médias entre hospitais eficientes e ineficientes. O software utilizado para regressão foi o SPSS 11.0.

Foram considerados 64 hospitais públicos de ensino (30 universitários, do MEC; 26 do MS; e oito hospitais de ensino estaduais/municipais), 34 hospitais filantrópicos e seis privados de ensino. Na Tabela 1, são mostrados os valores - mínimo, máximo e médio - das principais variáveis quantitativas consideradas no estudo: observa-se grande variação no porte desses hospitais, havendo tendência à concentração de unidades de maior tamanho e complexidade, com média de 347 leitos, 1.464 funcionários, mix de serviços médio de 76 e produção média de alta complexidade superior a 100 procedimentos/mês (1.363/ano). No tocante à carga de ensino, existe alto volume médio de residentes (143) - e cerca de cinco médicos - por hospital, com dois a três leitos para cada residente. Quanto ao entorno socioeconômico, o IDH variou de 0,69 a 0,89, com média em 0,82.

Pela Análise Envoltória de Dados, considerando os pesos virtuais, a média de eficiência geral foi de 0,49 (desvio padrão de 0,26); e a mediana, de 0,50. Vale mencionar que entre os hospitais públicos e os filantrópicos e privados, houve diferença das médias (0,48 versus 0,56, respectivamente; p=0,07). Dos 104 hospitais, cinco foram considerados eficientes: dois públicos (um do MEC e um do MS) e três filantrópicos. O hospital eficiente do MEC foi considerado benchmark para mais um hospital. O hospital do MS foi considerado benchmark para outros 37 hospitais. Os três hospitais filantrópicos eficientes foram considerados benchmarks para 32, 65 e 75 outros hospitais de ensino, respectivamente.

Consideradas as restrições aos pesos impostas ao modelo, e somadas as distâncias das unidades ineficientes à fronteira, todos os hospitais de ensino poderiam estar posicionados sobre essa mesma fronteira - portanto, eficientes - caso existissem no sistema menos 31.712 funcionários (10% do somatório dos números atuais), mais 16.966 leitos (47% dos valores atuais), mais 615 mil internações/ano (47% do valor atual) e, ainda, o dobro do número atual de procedimentos de alta complexidade (132%). Essas informações são especialmente úteis para os responsáveis pela condução das políticas de saúde como ferramentas para definir prioridades na alocação de recursos. Naturalmente, o gestor da unidade hospitalar terá mais interesse no valor de sua distância, em particular, à fronteira. Nesse caso, as unidades eficientes que estiverem mais próximas ao ponto geométrico de sua projeção na fronteira serão consideradas seus benchmarks e os valores individuais de suas variáveis servirão como marcos de referência para a melhoria de desempenho.

Na segunda etapa, o escore médio de eficiência definiu um ponto de corte (0,49 ou 49% de eficiência) para conformar um desfecho binário para eficiência, ou seja, a variável dependente da regressão logística. Dada a ausência de dados sobre o número de residentes em 14 hospitais, essa etapa considerou 90 unidades de ensino e não houve mudança significativa no perfil dos hospitais analisados, se comparados ao universo total de hospitais de ensino da Tabela 1. A Tabela 2 mostra a diferença das frequências e médias das variáveis ambientais de acordo com a eficiência dos hospitais de ensino: observa-se uma maior proporção de hospitais eficientes entre os hospitais privados e/ou filantrópicos (67% versus 46%; p=0,04), existindo, ainda, significância estatística na diferença do número de leitos (os hospitais eficientes têm maior porte), do IDH de entorno (média maior para os hospitais eficientes) e, possivelmente, da dedicação de ensino (hospitais eficientes têm valores mais baixos). Finalmente, a regressão logística confirmou a importância do tamanho hospitalar como variável ambiental de predição da eficiência, com coeficiente 0,006 e razão de chances de 1,006 (Tabela 3). Na mesma Tabela 3, observa-se, também, influência significativa dos indicadores de ensino: a intensidade de ensino positivamente associada a eficiência (p=0,027); o contrário acontece com a dedicação de ensino - p=0,006 -; e a natureza e o IDH, por sua vez, não se mostraram significativos.

Discussão

DEA tem sido utilizada para avaliação de eficiência de unidades de saúde desde sua primeira publicação, em 1983,²⁶ que comparou serviços de enfermagem nos Estados Unidos da América. A partir de então, as DMU mais frequentemente estudadas têm sido os hospitais (50%). Em revisão da literatura (de 2003) sobre medidas de eficiência aplicadas na avaliação de serviços de saúde, observou-se que 50% das publicações utilizaram DEA e 25% usaram regressão em segundo estágio.²⁷ Esta última proporção caiu para 19%, em revisão do mesmo autor, de 2008,²⁸ quando já haviam sido disseminados os desafios metodológicos citados por Simar e Wilson.¹⁶

De acordo com ambas as revisões, os hospitais de ensino eram menos eficientes, comparativamente aos não acadêmicos, e os hospitais de natureza pública eram sistematicamente mais eficientes do que aqueles com fins lucrativos e/ou filantrópicos. Estudo mais recente, contudo, demonstrou que, independentemente da natureza jurídica, os hospitais de ensino inseridos em mercados mais competitivos, e com convênios de planos de saúde privados, apresentavam escores mais altos de eficiência sem prejuízo das atividades de ensino.²³

A Política de Reestruturação dos Hospitais de Ensino enfatiza a vocação dessas unidades hospitalares para a realização de procedimentos de alta complexidade. No presente estudo, porte e complexidade hospitalares foram aspectos de importante poder explicativo para o grau de eficiência encontrado. Na prática, esses componentes têm sido os principais norteadores para a distribuição de recursos financeiros, tanto pelo Ministério da Saúde quanto pelo Ministério da Educação.²⁹

Conforme já descrito em pesquisa anterior com hospitais universitários do MEC, porte e complexidade também costumam estar fortemente associados a volume de ensino e atividades de pesquisa hospitalar.⁶ Este estudo não corroborou, necessariamente, a influência positiva da carga de ensino para a eficiência hospitalar. Melhor dito, na análise multivariada, a intensidade de ensino e a dedicação de ensino mostraram influências em sentidos contrários, de associação positiva e negativa com a eficiência hospitalar respectivamente. A presença de residentes é estratégica, não somente por representarem estímulo às atividades de ensino dos hospitais como também por constituírem importantes recursos humanos para a assistência prestada, por vezes substituindo a necessidade de vários médicos, mediante a preceptoria de poucos.

Sabe-se, entretanto, que as atividades de ensino geram maior consumo de recursos assistenciais e, portanto, aumentam os custos da atenção médica. Também vale assinalar que os estudos que comparam os hospitais de ensino com hospitais sem atividades acadêmicas, e que mostram a maior eficiência destes últimos, não levam em consideração outros produtos relacionados a ensino e pesquisa, prejudicando a comparação dos resultados.³⁰ São questões que merecem maior investigação, dada a possibilidade de apresentarem características não lineares. Se considerarmos apenas as variáveis de intensidade e de dedicação de ensino utilizadas, por exemplo, os valores médios de um residente para cada dois a três leitos e para cada cinco médicos são compatíveis com uma boa prática de ensino. No entanto, se pegarmos os valores mínimos, de um residente para cada cem leitos ou para cada cem médicos, e os máximos, de mais de um residente para cada leito ou de um residente para cada um a dois médicos (Tabela 1), todos são incompatíveis com um ensino de qualidade ao pecarem pela falta ou excesso de residentes.

No tocante ao ambiente socioeconômico de entorno, o IDH pode ser considerado um indicador de necessidade de cuidado, como também das dificuldades estruturais e organizacionais para o funcionamento da unidade: quanto menor o valor do índice, maior a demanda social e menor a oportunidade de aquisição

e manutenção de equipamentos, a existência de preços competitivos, etc. Até o presente momento, são raros os estudos que abordam a influência de aspectos de entorno na eficiência organizacional dos ambientes hospitalares, valendo destacar o estudo de Chen, Hwang e Chao,³¹ que demonstrou ser essa influência variável, de acordo com o setor avaliado (serviços gerais, administração, apoio diagnóstico e terapêutico, internações e ambulatório). Apesar de não se haver encontrado, aqui, nítida associação entre IDH e eficiência (p-valor em torno de 0,13), esse aspecto merece maior aprofundamento e elaboração de novas abordagens, como a substituição do IDH por outros indicadores de nível socioeconômico de entorno, como a taxa de mortalidade infantil.

Talvez, a principal limitação do presente estudo esteja na diversidade de bancos de dados administrativos para as variáveis estudadas, cada qual com sua periodicidade de crítica e de atualização. Da mesma forma, dada a necessidade de ajuste para a complexidade hospitalar e da introdução de restrição aos pesos no modelo DEA, a escolha das variáveis proxy, como a oferta de serviços (input) e de procedimentos de alta complexidade realizados (output), foi baseada na disponibilidade de dados; outras medidas de ajuste para case mix podem vir a ser propostas no futuro, visando ao aumento da precisão da medida de eficiência.

Finalmente, o estudo traz à tona a perspectiva de uso de uma metodologia pouco explorada nas publicações nacionais, de amplo espectro de aplicação no âmbito das práticas e políticas públicas em saúde. A metodologia possibilita não somente a avaliação da eficiência dos hospitais de ensino baseada nas melhores práticas, dimensão cada vez mais presente na pauta da regulação do setor Saúde. Ela também proporciona orientações adicionais sobre os caminhos necessários para a melhoria da eficiência de cada hospital considerado ineficiente (redução de funcionários; aumento de leitos e de internações). Esses caminhos podem servir de referência para a definição e escolha das metas físicas, a serem pactuadas entre o gestor e a direção do hospital de ensino.

O resultado do segundo estágio pode trazer novos subsídios à tomada de decisão na Política de Reestruturação de Hospitais de Ensino. A identificação de fatores ambientais que influenciam o grau de eficiência encontrado pode gerar critérios para a introdução de novos incentivos - ou de penalizações, se for o caso -, para compor a cesta dos componentes do orçamento de cada hospital de ensino. Sob essa lógica, a escolha da regressão logística permite identificar, quantificar e predizer como esses critérios podem influenciar a eficiência encontrada.

Em um primeiro exemplo, poderíamos propor um incentivo no contrato para a abertura de leitos específicos, principalmente naqueles hospitais que devem aumentar o número leitos para atingir a fronteira de eficiência. Outros mecanismos de incentivo poderiam ser orientados para o desenvolvimento das atividades de ensino e de pesquisa nos hospitais com essa vocação, considerando o papel indutor positivo da intensidade de ensino no escore de eficiência hospitalar. Também a influência do entorno socioeconômico poderia ser um parâmetro adicional para o controle e avaliação do contrato de metas, definindo o grau de flexibilidade para aceitação do cumprimento parcial de metas por motivos de baixa governabilidade para o gestor da unidade. São apenas alguns exemplos de aplicação a mostrar como o desdobramento dessa metodologia tem a capacidade de trazer novas ferramentas para a construção da Política de Reestruturação dos Hospitais de Ensino.

Referências

1. Portaria n° 1.006, de 27 de maio de 2004. Cria o Programa de Reestruturação de Hospitais de Ensino. Diário Oficial da União, Brasília, 28 maio 2004. Seção 1.

2. Portaria n° 2.400, de 2 de outubro de 2007. Dispõe sobre a certificação dos hospitais de ensino para inserção no Programa de Reestruturação de Hospitais de Ensino. Diário Oficial da União, Brasília, p. 102, 3 de out. 2007. Seção 1.

3. Ozcan YA. Sensitivity analysis of hospital efficiency under alternative output/Input combinations and peer groupings. Journal of Knowledge and Policy. 1993;5(4):1-21.

4. O'Neill L, Rauner M, Heidenberger K, Kraus M. A cross-national comparison and taxonomy of DEA-based hospital efficiency studies. Socio-Economic Planning Sciences. 2007;42(3):158-189.

5. Ozcan YA. Efficiency of hospital service production in local markets: the balance sheet of U.S. medical armament. Socio-Economic Planning Sciences. 1995;29(2):139-150.

6. Lobo MSC, Bloch KV, Fiszman R, Oliveira MR, Ribeiro VJP. Sistema de informações dos hospitais universitários (SIHUF/MEC): um banco de dados administrativo. Cadernos de Saúde Coletiva. 2006;14(1):149-162.

7. La Forgia GM, Coutollenc BF. Hospital performance in Brazil: the search for excellence. Washington: The World Bank Publications; 2008.

8. Rosko MD, Chilingerian JA. Estimating hospital inefficiency: Does case mix matter? Journal of Medical Systems. 1999;23(1):51-71.

9. Ozcan YA. Health Care Benchmarking and Performance Evaluation: An Assessment using Data Envelopment Analysis (DEA). Massachusetts: Springer; 2008.

10. Chilingerian JA, Sherman D. Health Care Applications From Hospitals to Physicians; From Productive Efficiency to Quality Frontiers. In: Cooper WW, Seiford LM, Zhu J, editors. Handbook on data envelopment analysis. Boston: Kluwer Academic Publishers; 2004.

11. Lins MPE, Meza LA. Análise envoltória de dados e perspectivas de integração no ambiente de apoio à decisão. Rio de Janeiro: UFRJ; 2000.

12. Banker RD, Charnes A, Cooper WW. Some Models for Estimating Technical and Scale Inefficiencies in Data Envelopment Analysis. Management Science. 1984;30(9):1078-1092.

13. Allen R, Athanassopoulos A, Dyson RG, Thanassoulis E. Weights restrictions and value judgments in Data Envelopment Analysis: evolution, development and future directions. Annals of Operations Research. 1997;73:13-34.

14. Cooper WW, Seiford LM, Tone K. Data Envelopment Analysis-A Comprehensive Text with Models, Applications, References and DEA Solver Software. 2^a ed. Massachusetts: Springer; 2007.

15. Coelli TJ, Prasada RDS, Battese GE. An Introduction to Efficiency and Productivity Analysis. Boston: Kluwer Academic Publishers; 1998.

18. Simar L, Wilson PW. Estimation and inference in two-stage, semi-parametric models of production processes. Journal of Econometrics. 2007; 136(1):31-64.

19. Lynch JR, Ozcan YA. Hospital closure: an efficiency analysis. Hospital Health Service Administration. 1994;39(2):205-220.

20. Ozcan YA, Wogen SE, Mau LW. Efficiency evaluation of skilled nursing facilities. Journal of Medical Systems. 1998;22(4):211-24.

21. Ozgen H, Ozcan YA. A national study of efficiency for dialysis centers: an examination of market competition and facility characteristics for production of multiple dialysis outputs. Health Services Research. 2002;37(3):711-732.

22. Paganini JM. Calidad y Eficiencia de la atención hospitalaria. Washington: Organization Panamericana de la Salud; 1993.

23. Rogowski J, Newhouse J. Estimating the Indirect Costs of Teaching. Journal of Health Economic. 1992;11(2):153-171.

24. Retzlaff-Roberts D, Chang C, Rubin RM. Technical efficiency in the use of health care resources: a comparison of OECD countries". Health Policy. 2004;69(1):55-72.

25. Grosskopf S, Margaritis D, Valdmanis V. Competitive effects on teaching hospitals. European Journal of Operational Research. 2004;154(11):515-525.

26. Ministério da Educação. Informações de Residência Médica. [acessado durante o ano de 2009, para informações de 2007]. Disponível em www.mec.gov.br

27. Programa das Nações Unidas para o Desenvolvimento. Informações de Índice de Desenvolvimento Humano. [acessado durante o ano de 2009, para informações de 2007]. Disponível em www.pnud.org.br

28. Nunamaker TR. Measuring routine nursing service efficiency - a comparison of cost per patient day and data envelopment analysis. Health Services Research. 1983;18(2):541-551.

29. Hollingsworth B. Non-Parametric and Parametric Applications Measuring Efficiency in Health Care. Health Care Management Science. 2003; 6(4):203-218.

30. Hollingsworth B. The measurement of efficiency and productivity of health care delivery. Health Economics. 2008;17(10):1107-1128.

31. Lins MPE, Lobo MSC, Fiszman R, Silva ACM, Ribeiro VJP. O Uso da Análise Envoltória de Dados - DEA -para Avaliação de Hospitais Universitários Brasileiros. Revista Ciência e Saúde Coletiva. 2007; 12(4):985-998.

32. Grosskopf S, Margaritis D, Valdmanis V. Comparing teaching and non-teaching hospitals: a frontier approach. Health Care Management Science. 2001;4(2):83-90.

33. Chen A, Hwang Y, Chao B. Measurement and sources of overall and input inneficiences: Evidences and Implications in hospital services. European Journal of Operational Research. 2005;161(2):447-468.

Endereço para correspondência:
Universidade Federal do Rio de Janeiro,
Hospital Universitário Clementino Fraga Filho,
Serviço de Epidemiologia e Avaliação,
Rua Professor Rodolfo Rocco, 255, ]]> 5° andar, salas 5 a 47,
Cidade Universitária,
Ilha do Fundão, Rio de Janeiro-RJ, Brasil.
CEP: 21941-913
E-mail:clobo@hucff.ufrj.br

Recebido em 13/01/2010
Aprovado em 01/11/2010

^*Artigo subvencionado pelo projeto do Departamento de Ciência e Tecnologia do Ministério da Saúde, por intermédio do Conselho Nacional de Desenvolvimento Científico e Tecnológico do Ministério da Ciência e Tecnologia. Edital n° 033/2007. Avaliação de Tecnologias em Saúde. Processo no 551422/2007-6.