Resumo

Objetivo:

construir um modelo para avaliar o uso do Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) no Brasil.

Métodos:

análise documental e revisão da literatura, seguida de oficina de consenso com 19 especialistas, selecionados pela experiência docente ou de pesquisa, atuação profissional ou publicações na temática. A validação ocorreu em plataforma on-line, solicitando-se aos participantes que analisassem a proposta avaliativa e atribuíssem seu julgamento a partir das categorias ‘concordo totalmente’, ‘concordo parcialmente’ e ‘discordo’.

Resultados:

15 especialistas confirmaram participação; ao final de três rodadas, os especialistas enfatizaram a clareza da proposta e do objeto de avaliação apresentados nos Modelos Lógico e Teórico-Lógico; a Matriz Avaliativa recebeu concordância total dos especialistas, que apontaram a consistência teórica da construção.

Conclusão:

este modelo será aplicado para avaliar o uso do PMAQ-AB nas ações da gestão da Atenção Básica e das equipes de saúde.

Palavras-chave:
Atenção Primária à Saúde; Avaliação de Programas e Projetos de Saúde; Avaliação em Saúde; Pesquisas sobre Serviços de Saúde

Resumen

Objetivo:

presentar un modelo para evaluar el uso del Programa Nacional de Mejoramiento del Acceso y Calidad de la Atención Básica (PMAQ-AB) en Brasil.

Métodos:

análisis documental y bibliográfico revisión seguido de taller de consenso con especialistas.

Resultados:

se invitaron 19 especialistas, seleccionados por la experiencia docente o de investigación, actuación profesional o publicaciones relacionadas a la temática; de este total, 15 confirmaron su participación; la validación ocurrió en la plataforma online SurveyMonkey®, solicitando a los participantes que analizaran la propuesta de evaluación y atribuyeran su juicio a partir de las categorías ‘estoy totalmente de acuerdo’, ‘estoy de acuerdo parcialmente’ y ‘discrepo’; al final de tres rondas, los expertos enfatizaron la claridad de la propuesta y del objeto de evaluación presentados en los Modelos Lógico y Teórico-Lógico; la Matriz evaluativa recibió concordancia total de los especialistas que señalaron la consistencia teórica de la construcción.

Conclusión:

este modelo será aplicado para evaluar el uso del PMAQ-AB en las acciones de la gestión de Atención Básica y de los equipos de salud.

Palabras clave:
Atención Primaria de Salud; Evaluación de Programas y Proyectos de Salud; Evaluación en Salud; Encuestas de Atención de la Salud

Abstract

Objective:

to build a model to evaluate use of the National Program for Improving Primary Health Care Access and Quality (PMAQ-AB) in Brazil.

Methods:

document analysis and literature review followed by a consensus workshop with specialists, 19 specialists were invited who were selected because of their teaching or research experience, professional activities or publications related to the subject; validation took place on an online platform where participants were asked to analyze the evaluation proposal and to give their opinion based on the categories ‘I totally agree’, ‘partially agree’, and ‘disagree’.

Results:

15 specialists confirmed their participation; at the end of three rounds, the specialists emphasized the clarity of the proposal and the clarity of the object of evaluation presented in both the Logic Model and the Theoretical Logic Model; the specialists fully agreed with the Evaluation Matrix and confirmed its theoretical consistency.

Conclusion

this model will be applied to evaluate the use of PMAQ-AB in Primary Health Care management and health team actions.

Keywords:
Primary Health Care; Program Evaluation; Health Evaluation; Health Care Surveys

Introdução

A modernização da administração pública, a gestão por resultados, a introdução de mecanismos regulatórios e financiamentos concedidos mediante avaliação constituem aspectos importantes para o destaque da avaliação em saúde a partir de 1990, no Brasil.¹1. Figueiró AC, Felisberto E, Dubeux LS, Samico I. Avaliando as avaliações: meta-avaliação, uma introdução ao tema. In: Samico I, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p. 161-70. Nesse sentido, também foram importantes as mudanças legais e administrativas na gestão do Sistema Único de Saúde (SUS), a descentralização de responsabilidades, ações e recursos pelo sistema, e maior complexidade do perfil epidemiológico a requerer novas abordagens e incorporação tecnológica.²2. Figueiró AC, Frias PG, Navarro LM. Avaliação em saúde: conceitos básicos para a prática nas instituições. In: Samico I, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook ; 2010:p. 1-13.

Em 2003, teve início uma agenda nacional de pesquisas e iniciativas para aprimoramento e consolidação do SUS, como o Projeto de Expansão e Consolidação do Programa Saúde da Família (Proesf), visando ao fortalecimento da capacidade técnica de avaliação, com o objetivo de impulsionar a sistematização, coordenação e integração das atividades gestoras nos municípios e estados.³3. Felisberto E. Análise da implantação e da sustentabilidade da política nacional de monitoramento e avaliação da atenção básica no Brasil, no período de 2003 a 2008 [doutorado]. Recife: Centro de Pesquisas Aggeu Magalhães; 2009. Disponível em: https://www.arca.fiocruz.br/handle/icict/10511
https://www.arca.fiocruz.br/handle/icict... ^,44. Natal S, Santos E, Alves C, Felisberto E, Santos E, Sousa A. A implementação do projeto estratégico de fortalecimento da capacidade técnica em monitoramento e avaliação das secretarias de saúde: avaliação formativa e auto-avaliação. In: Hartz ZMA, Felisberto E, Vieira da Silva LM, organizadores. Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Editora Fiocruz; 2008. p.341-67. A partir de 2011, destaca-se o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) no incentivo a gestores e equipes, para melhorar a qualidade e o acesso aos serviços de saúde, com pactuação de compromissos e indicadores.⁵5. Brasil. Ministério da Saúde. Portaria MS/GM no 1645, de 2 de outubro de 2015. Dispõe sobre o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) [Internet]. Diário Oficial União, Brasília, 2015 out 2 [citado 2019fev 4]. Disponível em: Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/gm/2015/prt1645_01_10_2015.html
http://bvsms.saude.gov.br/bvs/saudelegis...

O PMAQ-AB se propõe a introduzir a cultura avaliativa no cotidiano da Atenção Básica à Saúde, vinculando o repasse financeiro ao desempenho alcançado, identificado na avaliação. Após três ciclos avaliativos, mostra-se relevante verificar se o PMAQ-AB foi capaz de assimilar as conclusões e recomendações da avaliação, seu uso e impacto nas mudanças ocorridas no programa.

Para subsidiar investigações capazes de responder a tais questões, este estudo objetivou construir um modelo para avaliar o uso do PMAQ-AB nas ações da gestão municipal da Atenção Básica e das equipes de saúde.

Métodos

Este estudo de avaliabilidade⁶6. Thurston WE, Ramaliu A. Evaluability assessment of a survivors of torture program: lessons learned. Can J Program Eval [Internet]. 2005 [cited 2019 Jun 21];20(2):1-25. Available from: Available from: https://evaluationcanada.ca/secure/20-2-001.pdf
https://evaluationcanada.ca/secure/20-2-... consiste na primeira etapa do projeto de Avaliação do Uso do Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) em municípios de Santa Catarina, no âmbito do Programa de Pós-Graduação em Saúde Coletiva da Universidade Federal de Santa Catarina (PPGSC/UFSC). A construção do modelo, objeto dessa etapa, considerou (i) a delimitação do programa quanto às diretrizes, fases de desenvolvimento e resultados esperados, (ii) a construção do Modelo Teórico-Lógico a partir dos componentes do programa e inter-relações do construto do uso da avaliação, e (iii) a validação do modelo proposto.

A pesquisa documental incluiu os seguintes documentos: Constituição Federal de 1988; Leis Orgânicas da Saúde n^o 8.080 e n^o 8.142; Política Nacional de Atenção Básica (PNAB) e Portaria n^o 2.488/11; portarias específicas do PMAQ-AB - n^os 1.654/11, 1.089/12 e 1.645/15 -; manuais instrucionais e instrumentos de avaliação externa do programa. Na literatura, conduziu-se uma revisão em bases de dados eletrônicas com o propósito de identificar estudos aplicados ao uso, utilização e influência da avaliação em saúde. Ao final, buscou-se relacionar a descrição, objetivos, metas e fases de desenvolvimento do programa com o construto do uso do processo e resultados da avaliação, propondo um modelo teórico-lógico para uso do PMAQ-AB.

A validação do modelo aconteceu em Oficina de Consenso pelo Método Delphi na plataforma Survey Monkey®. Os especialistas foram selecionados entre pesquisadores, técnicos e docentes com publicações e ações desenvolvidas no tema, experiência de avaliação em saúde e na Atenção Básica, e institucionalização da avaliação. Foi solicitado a eles que analisassem os itens inicialmente propostos para o Modelo Teórico-Lógico e atribuíssem um julgamento com base em categorias previamente estabelecidas (‘concordo totalmente’; ‘concordo parcialmente’; ‘discordo’), seguido de comentários e sugestões opcionais. Foram realizadas três rodadas, entre novembro de 2017 e junho de 2018, com síntese de pontos convergentes e divergentes em cada uma delas, incluindo aprofundamentos e reformulações indicadas e acatadas.

O projeto da pesquisa obedeceu à Resolução n^o 422/2016 do Conselho Nacional de Ética e Pesquisa com Seres Humanos e foi aprovado pelo Comitê de Ética em Pesquisa com Seres Humanos da Universidade Federal de Santa Catarina: Parecer CEPSH/UFSC n^o 2.229.055, de 20 de agosto de 2017.

Resultados

Os resultados desta construção são fruto de análise documental, revisão da literatura e pactuações de consenso. Para este consenso, 19 especialistas foram convidados: 15 confirmaram participação; dois não aceitaram participar, por motivos pessoais; e dois não responderam ao convite.

Na primeira rodada, dez especialistas deram retorno à proposta. Em relação ao Modelo Teórico, quatro concordaram parcialmente e seis totalmente. As contribuições, apresentadas na forma de sugestões, foram as de detalhar o programa e estabelecer relação direta entre resultados intermediários, efeitos e resultados esperados do PMAQ-AB. Para o Modelo Lógico, discordância e concordância parcial foram manifestadas por dois especialistas, quatro concordaram totalmente e um não respondeu. As divergências foram atribuídas à compreensão do foco da avaliação, circunscrito ao uso do PMAQ-AB e não ao programa em si.

Na segunda rodada, o retorno partiu de sete especialistas. Para o Modelo Teórico, quatro concordaram totalmente e três parcialmente. Suas sugestões foram: justificar a construção do modelo e encadear os resultados esperados do PMAQ-AB. O Modelo Lógico recebeu concordância total de cinco especialistas e dois concordaram parcialmente, solicitando convergência dos resultados do modelo com os indicadores da matriz.

Na terceira rodada, sete especialistas deram retorno à proposta. Houve total concordância com as adequações do Modelo Teórico, ênfase na clareza da proposta e no objeto avaliado. Para o Modelo Lógico, cinco especialistas concordaram totalmente e dois parcialmente, sugerindo que fossem mantidos no modelo os resultados esperados do programa e também do uso do PMAQ-AB.

A Figura 1 apresenta, graficamente, essa construção.

Figura 1
- Modelo Teórico-Lógico da Avaliação do Uso do Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB)

Discussão

Os pressupostos do modelo consideram que o SUS, enquanto política de Estado prevista na Carta Magna de 1988, baseia-se na definição constitucional da saúde como ‘direito de todos e dever do Estado’, fundamentada nos princípios da universalidade, equidade, integralidade, descentralização, regionalização, hierarquização e participação social.⁷7. Brasil. Constituição da República Federativa do Brasil [Internet]. Brasília: Senado Federal; 1988 [citado 2019 jun 21]. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm
http://www.planalto.gov.br/ccivil_03/con...

No contexto organizacional e operacional da Saúde, encontra-se a Atenção Básica, orientada pela acessibilidade, vínculo, continuidade do cuidado, integralidade da atenção, responsabilização e humanização. A Atenção Básica à Saúde é realizada com alto grau de descentralização e capilaridade, sob responsabilidade direta dos gestores municipais. O processo de trabalho das equipes busca ampliar a resolutividade das ações, auxiliando no manejo das necessidades de maior frequência e relevância no território, impactando positivamente a situação de saúde da população.⁸8. Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Política nacional de atenção básica [Internet]. Brasília: Ministério da Saúde; 2012 [citado 2019 jun 21]. 110 p. Disponível em: Disponível em: http://189.28.128.100/dab/docs/publicacoes/geral/pnab.pdf
http://189.28.128.100/dab/docs/publicaco...

Com o propósito de induzir a ampliação do acesso e melhorar a qualidade desse nível de atenção, o Ministério da Saúde implementou o PMAQ-AB. O programa apresenta caráter voluntário de adesão, e seu êxito depende da motivação e proatividade dos atores envolvidos. A mudança na cultura de gestão e qualificação da Atenção Básica prevê envolvimento e mobilização de gestores, equipes e usuários para o desenvolvimento de uma cultura de planejamento, negociação e contratualização com repasse financeiro em função dos compromissos e resultados apresentados. As diretrizes do programa apontam para um processo contínuo de aprimoramento dos padrões e indicadores, transparência nas ações e definição de um parâmetro de qualidade, para maior capacidade resolutiva das equipes.⁵5. Brasil. Ministério da Saúde. Portaria MS/GM no 1645, de 2 de outubro de 2015. Dispõe sobre o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) [Internet]. Diário Oficial União, Brasília, 2015 out 2 [citado 2019fev 4]. Disponível em: Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/gm/2015/prt1645_01_10_2015.html
http://bvsms.saude.gov.br/bvs/saudelegis...

São três fases sucessivas e um eixo transversal: a ‘Adesão e Contratualização’ firma compromissos entre equipes, gestores municipais e Ministério da Saúde; a ‘Certificação’ verifica a autoavaliação das equipes e os indicadores contratualizados, a avaliação externa das equipes e da gestão; e a ‘Recontratualização’, encaminhada a partir do resultado da certificação, repactua padrões e indicadores.⁵5. Brasil. Ministério da Saúde. Portaria MS/GM no 1645, de 2 de outubro de 2015. Dispõe sobre o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) [Internet]. Diário Oficial União, Brasília, 2015 out 2 [citado 2019fev 4]. Disponível em: Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/gm/2015/prt1645_01_10_2015.html
http://bvsms.saude.gov.br/bvs/saudelegis...

O Eixo Estratégico Transversal inclui autoavaliação, monitoramento, educação permanente, apoio institucional e cooperação horizontal, e visa assegurar o desenvolvimento das ações para a melhoria do acesso e da qualidade em todas as fases da Atenção Básica.⁵5. Brasil. Ministério da Saúde. Portaria MS/GM no 1645, de 2 de outubro de 2015. Dispõe sobre o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) [Internet]. Diário Oficial União, Brasília, 2015 out 2 [citado 2019fev 4]. Disponível em: Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/gm/2015/prt1645_01_10_2015.html
http://bvsms.saude.gov.br/bvs/saudelegis...

Os resultados esperados com o PMAQ-AB incluem: mudanças no processo de trabalho, na capacidade de gestão e na situação de saúde da população; trabalhadores capacitados; serviços orientados às necessidades dos usuários; e participação da sociedade civil fortalecida.⁵5. Brasil. Ministério da Saúde. Portaria MS/GM no 1645, de 2 de outubro de 2015. Dispõe sobre o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) [Internet]. Diário Oficial União, Brasília, 2015 out 2 [citado 2019fev 4]. Disponível em: Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/gm/2015/prt1645_01_10_2015.html
http://bvsms.saude.gov.br/bvs/saudelegis...

Ao articular o programa com a teoria de avaliação, o PMAQ-AB adota uma estratégia de avaliação de desempenho, condicionando o incentivo financeiro para os municípios à pactuação de compromissos com a ampliação do acesso e a melhoria da qualidade da Atenção Básica no SUS.⁵5. Brasil. Ministério da Saúde. Portaria MS/GM no 1645, de 2 de outubro de 2015. Dispõe sobre o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) [Internet]. Diário Oficial União, Brasília, 2015 out 2 [citado 2019fev 4]. Disponível em: Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/gm/2015/prt1645_01_10_2015.html
http://bvsms.saude.gov.br/bvs/saudelegis... A prática de avaliação em saúde, quando integrada a uma cultura avaliativa combinada com a incorporação dos resultados, qualifica as decisões tomadas pela gestão pública.²2. Figueiró AC, Frias PG, Navarro LM. Avaliação em saúde: conceitos básicos para a prática nas instituições. In: Samico I, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook ; 2010:p. 1-13.

Nesse sentido, foram inseridas no modelo as tipologias de uso, categorizadas na literatura como instrumental, conceitual e simbólica. O uso instrumental se reflete diretamente no subsídio à tomada de decisão ou na promoção de mudanças no programa;⁹9. Hartz ZMA, Santos E, Matida A. Promovendo e analisando o uso e a influência das pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a avaliação em saúde. In: Hartz ZMA, Felisberto E, Vieira-da-Silva LM, organizadores. Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Editora Fiocruz ; 2008. p. 325-40. o uso conceitual é considerado um efeito de médio ou longo prazo na produção do conhecimento, aprofundando discussões sobre a intervenção e indicando mudança de pensamento;⁹9. Hartz ZMA, Santos E, Matida A. Promovendo e analisando o uso e a influência das pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a avaliação em saúde. In: Hartz ZMA, Felisberto E, Vieira-da-Silva LM, organizadores. Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Editora Fiocruz ; 2008. p. 325-40. e o uso simbólico é aplicado para legitimar decisões predefinidas ou subsidiar argumentação sobre determinada ação.¹⁰10. Sandison P. The utilisation of evaluations. In: Slim H, Bonwick A. Protection: an ALNAP guide for humanitarian agencies. London: Oxfam; 2006 [cited 2019 Jun 21]. Chapter 3. p. 89-144. Available from: Available from: https://www.alnap.org/help-library/protection-an-alnap-guide-for-humanitarian-agencies
https://www.alnap.org/help-library/prote... Considerando-se que todo processo avaliativo pode ser útil ao programa, o uso processual está ligado às mudanças no comportamento dos indivíduos ou da organização, a partir da avaliação, a exemplo do compartilhamento de experiências e comprometimento dos interessados.¹¹11. Patton MQ. Utilization-focused evaluation. Thousand Oaks: Sage publications; 2008.^,1212. Mark MM. Toward better research on-and thinking about-evaluation influence, especially in multisite evaluations. N Direct Eval [Internet]. 2011 Mar [cited 2019 Jun 21];2011(129):107-19. Available from: Available from: https://onlinelibrary.wiley.com/doi/abs/10.1002/ev.359 . doi: 10.1002/ev.359
https://onlinelibrary.wiley.com/doi/abs/...

Com o uso do PMAQ-AB, espera-se: fundamentação à tomada de decisão; aprimoramento do processo de trabalho; qualificação da comunicação; aprendizado; apoio à gestão do conhecimento; prestação de contas; certificação de melhores práticas; negociação estratégica; empoderamento das partes interessadas; receptividade à avaliação; e mudanças de pensamentos e na cultura organizacional.

Uma importante contribuição do programa foi o incremento de recursos destinados à Atenção Básica, além da capacitação da avaliação embasada na utilização da autoavaliação e da avaliação externa.¹³13. Pinto HA, Sousa ANA, Ferla AA. O programa nacional de melhoria do acesso e da qualidade da atenção básica: várias faces de uma política inovadora. Saúde Debate [Internet]. 2014 out [citado 2019 jun 21];38(esp):358-72. Disponível em: Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext_pr&pid=S0103-11042014000600358&tlng=pt . doi: 10.5935/0103-1104.2014S027
http://www.scielo.br/scielo.php?script=s... Porém, estudos nessa linha ainda não foram publicados. Existe uma lacuna nesse conhecimento e, por conseguinte, a necessidade de identificar o uso de um programa com estas dimensões. Para tanto, será realizado um estudo de casos múltiplos, mediante aplicação de entrevistas semiestruturadas em municípios catarinenses com mais de 100 mil habitantes, dotados de equipes de saúde certificadas como ‘acima da média’ e ‘muito acima da média’ segundo os ciclos I e II do PMAQ-AB, para aprofundamento do uso do programa.

Referências

Editado por

Datas de Publicação

Histórico