Análise Comparada entre 2008 e 2011 da Avaliação de
Desempenho dos Serviços do Ministério da Saúde
Análise Comparada entre 2008 e 2011 da Avaliação de Desempenho
dos Serviços do Ministério da Saúde, emitido pela Direção‐Geral da
Saúde ‐ Núcleo de Planeamento Estratégico e Avaliação (de acordo
com Despacho do Ministro da Saúde nº5/2012 de 22 de Março).
1. ENQUADRAMENTO
De acordo com o n.º 2 do artigo 8.º da Lei n.º 66‐B/2007, de 28 de dezembro, que aprovou o
Subsistema de Avaliação do Desempenho dos Serviços da Administração Pública (SIADAP 1),
compete ao serviço com atribuições em matéria de planeamento, estratégia e avaliação assegurar a
coerência, coordenação e acompanhamento do ciclo de gestão dos serviços com os objetivos globais
do ministério e sua articulação com o SIADAP.
Conforme estipula o Despacho do Ministro da Saúde (Despacho nº5/2012, de 22 de março), compete
à Direção‐Geral da Saúde (DGS), no âmbito dos Serviços do Ministério da Saúde (MS), a emissão de
parecer com análise crítica da autoavaliação constante do relatório de atividades elaborado por cada
um dos Serviços do MS. De acordo com o referido Despacho, tal processo ocorre enquanto
instituição integradora do apoio, coordenação e acompanhamento do SIADAP 1, assim como no
domínio da coordenação do planeamento estratégico, da monitorização e avaliação das políticas,
prioridades e objetivos do MS.
Deve referir‐se ainda que, nos termos do n.º 2 do Despacho, que replicou a solução plasmada no
Despacho n.º 33/2008, da Ministra da Saúde, datado de 13 de Março de 2008 e publicado como
Circular Informativa pela Secretaria‐Geral do MS, continuou a atribuir‐se competências à
Administração Central do Sistema de Saúde, I.P. (ACSS) pela aplicação do SIADAP 1 aos serviços e
estabelecimentos do Serviço Nacional de Saúde aos quais seja aplicável a Lei n.º 66‐B/2007, de 28 de
dezembro (nomeadamente, os hospitais integrados no sector público administrativo).
Assim, a ACSS é competente no que respeita à aplicação do SIADAP 1 aos serviços e
estabelecimentos do Serviço Nacional de Saúde, aos quais seja aplicável a Lei n.º 66‐B/2007, de 28 de
dezembro, sem prejuízo da coordenação global da DGS.
Até à publicação do Despacho nº5/2012, de 22 de março, as atribuições de coordenação e
acompanhamento do SIADAP 1 estavam cometidas ao Alto Comissariado da Saúde (ACS), organismo
que, nos termos da nova lei orgânica do MS, aprovada pelo Decreto‐Lei n.º 124/2011, de 29 de
dezembro, seria extinto, por fusão com a DGS.
Entre 2008 e 2011 o ACS acompanhou, ao longo das diferentes fases do ciclo de gestão, os diferentes
Serviços do MS abrangidos pelo SIADAP 1, nomeadamente:
• ACS ‐ Alto Comissariado da Saúde (2008‐2010);
• ACSS ‐ Administração Central do Sistema de Saúde, I.P. (2008‐2011);
• ARS Alentejo ‐ Administração Regional de Saúde Alentejo, I.P. (2008‐2011);
• ARS Algarve ‐ Administração Regional de Saúde do Algarve, I.P. (2008‐2011);
• ARS Centro ‐ Administração Regional de Saúde do Centro, I.P. (2008‐2011);
• ARS LVT ‐ Administração Regional de Saúde de Lisboa e Vale do Tejo, I.P. (2008‐2011);
• ARS Norte ‐ Administração Regional de Saúde do Norte, I.P. (2008‐2011);
• ASST ‐ Autoridade para os Serviços do Sangue e da Transplantação (2008‐2010);
• DGS ‐ Direção‐Geral da Saúde (2008‐2011);
• EMPS ‐ Estrutura de Missão Parcerias Saúde (2009);
• IDT ‐ Instituto da Droga e da Toxicodependência, I.P. (2008‐2011);
• IGAS ‐ Inspeção Geral das Atividades em Saúde (2008‐2011);
• INEM ‐ Instituto Nacional de Emergência Médica, I.P. (2008‐2011);
• INFARMED ‐ Autoridade Nacional do Medicamento e Produtos de Saúde I.P. (2008‐2011);
• INSA ‐ Instituto Nacional de Saúde Dr. Ricardo Jorge, I.P. (2008‐2011);
• IPS ‐ Instituto Português do Sangue, I.P. (2008‐2011);
• MCSP ‐ Missão dos Cuidados de Saúde Primários (2009);
• SGMS ‐ Secretaria‐Geral do Ministério da Saúde (2008‐2011);
• UMCCI ‐ Unidade de Missão dos Cuidados Continuados Integrados (2009‐2010);
Conforme prevê o Despacho n.º 16568/2011, do Ministro das Finanças, publicado em Diário da
República, 2.ª Série de 7 de dezembro, os serviços objeto de extinção com a aplicação das novas leis
orgânicas ficaram dispensados da obrigatoriedade de elaboração e envio do Relatório de
Autoavaliação de 2011 e do Relatório de Atividades de 2011
1
. Ou seja, dos 17 organismos objeto de
monitorização durante o ano de 2011, apenas foram avaliados 14 Serviços.
Adicionalmente, segundo comunicado do Secretário de Estado da Administração Pública, na
sequência do procedimento escrito iniciado em 29 de Abril de 2011 e finalizado a 6 de Maio de 2011,
foi aprovado pelo Conselho Coordenador de Avaliação dos Serviços (CCAS), a fixação da taxa máxima
de realização de objetivos e indicadores em 135%, mantendo‐se a taxa de realização associada ao
valor crítico em 125%, com aplicação na avaliação de desempenho dos organismos a partir de 2011,
inclusive.
1
Ainda que o Despacho n.º 16568/2011 parta do pressuposto – que se verificou – de que as leis orgânicas de cada serviço
seriam aprovadas até ao final de 2011 e que, por esse motivo, ficavam dispensados da obrigatoriedade de elaboração e
envio do Relatório de Autoavaliação de 2011 e Relatório de Atividades de 2011 os serviços objeto de extinção naquele ano,
verificou‐se que a entrada em vigor dos diplomas orgânicos apenas ocorreu em 2012. Assim, a extinção dos serviços não
teve lugar em 2011, mas sim em 2012. Deve, pois, entender‐se que o despacho se refere à extinção de instituições ocorrida
O presente parecer consubstancia a análise comparada do Núcleo de Planeamento Estratégico e
Avaliação (NPEA) ‐ DGS ‐ sobre os resultados finais da avaliação de desempenho dos Serviços do MS,
entre os anos de 2008 e 2011, sustentada na autoavaliação dos mesmos e informação
complementar, a qual tem caráter obrigatório.
De referir
que a
avaliação final de desempenho dos serviços é expressa qualitativamente, nos termos
do artigo 18.º da Lei n.º 66‐B/2007, de 28 de dezembro, segundo a menção de: Desempenho Bom, se
o serviço atingiu todos os objetivos e superou alguns; Desempenho Satisfatório, se o serviço atingiu
todos os objetivos ou os mais relevantes; Desempenho Insuficiente, se o serviço não atingiu os
objetivos mais relevantes. Estas menções são propostas pelo dirigente máximo do serviço como
resultado da autoavaliação e, após o parecer com análise crítica do NPEA‐DGS, são homologadas as
propostas ou alteradas pelo respetivo membro do Governo.
Em cada ministério pode ainda ser atribuída aos serviços com avaliação de Desempenho Bom uma
distinção de mérito reconhecendo Desempenho Excelente, a qual significa superação global dos
objetivos. Nos termos do artigo 19.º da Lei n.º 66‐B/2007, de 28 de dezembro “em cada ministério
podem ser selecionados os serviços que mais se distinguiram no seu desempenho para atribuição da
distinção de mérito, reconhecendo o Desempenho Excelente até 20 % dos serviços que o integram ou
estão sob sua superintendência”. Ou seja, entre 2008 e 2011 a distinção de mérito foi atribuída num
máximo de três Serviços do MS.
2. ANÁLISE COMPARADA DOS SERVIÇOS DO MINISTÉRIO DA SAÚDE
Com base nos resultados dos QUAR (Quadro de Avaliação e Responsabilização) e na informação
adicional constante da autoavaliação que integra os Relatórios de Atividades de 2008 a 2011 dos
Serviços do MS, e considerando os critérios constantes na Lei n.º 66‐B/2007, de 28 de dezembro, o
NPEA‐DGS produziu uma análise comparada da avaliação de desempenho destes mesmos serviços,
durante este período. A opção recaiu na sintetização da informação em forma de gráficos.
Em cumprimento da alínea 7) do ofício nº 4808, de 10 de maio de 2013, do Secretário de Estado
Adjunto do Ministro da Saúde (SEAMS), o NPEA‐DGS complementa a análise elaborada regularmente
com o registo, sempre que possível, da evolução dos indicadores nos anos transatos.
2.1. Avaliação Global do Grau de Cumprimento dos Objetivos
No gráfico 1 está representada a evolução da Taxa de Realização de cada serviço do MS, entre os
anos de 2008 e 2011. De referir que a aplicação do limite máximo de taxa de realização de 135%
entra em vigor apenas em 2011.
Os valores nulos (0%) estão associados à ausência de dados
2.2. Avaliação Global do Grau de Utilização dos Meios Disponíveis
No gráfico 2 está representada a evolução da utilização de Recursos Humanos de cada serviço do
MS, entre os anos de 2008 e 2011. Estes resultam do diferencial entre o planeado e o realizado em
cada ano, respetivamente. Os resultados nulos (0%) estão associados à dificuldade de acesso aos
dados disponíveis.
ACS ACSS ARS Alentej ARS Algarve ARS CentroARS LVT ARS
Norte ASST DGS EMPS IDT IGAS INEM INFAR
MED INSA IPS MCSP SGMS UMCCI SIADAP 2008 117% 137% 132% 42% 101% 82% 168% 93% 152% 0% 134% 158% 105% 122% 139% 178% 0% 112% 0% SIADAP 2009 111% 113% 114% 90% 101% 92% 97% 112% 122% 85% 119% 144% 115% 126% 98% 123% 84% 129% 110% SIADAP 2010 104% 103% 118% 106% 105% 102% 107% 111% 111% 0% 118% 124% 100% 115% 101% 124% 0% 115% 96% SIADAP 2011 0% 96% 116% 111% 106% 108% 112% 0% 113% 0% 101% 124% 118% 119% 100% 97% 0% 118% 0% Tx Realização 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100%
Gráfico 1: Evolução da Taxa de Realização Global por Serviço entre 2008‐2011
ACS ACSS ARS Alentej ARS Algarve ARS CentroARS LVT ARS
Norte ASST DGS EMPS IDT IGAS INEM INFAR
MED INSA IPS MCSP SGMS UMCCI SIADAP 2008 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% SIADAP 2009 80% 120% 0% 93% 86% 93% 101% 100% 79% 125% 101% 8% 65% 69% 82% 52% 100% 95% 100% SIADAP 2010 78% 56% 84% 89% 67% 82% 100% 100% 88% 0% 90% 85% 62% 85% 87% 82% 0% 88% 100% SIADAP 2011 0% 80% 69% 97% 82% 75% 102% 0% 85% 0% 88% 87% 67% 81% 88% 74% 0% 59% 0% Tx Realização 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100%
Gráfico 2: Evolução da Utilização de Recursos Humanos por Serviço entre 2008‐2011
No gráfico 3 está representada a evolução da execução de Recursos Financeiros de cada serviço do
MS, entre os anos de 2008 e 2011. Estes resultam do diferencial entre o orçamentado e o executado
em cada ano, respetivamente. Os resultados nulos (0%) estão associados à dificuldade de acesso aos
dados disponíveis.
2.3. Análise Qualitativa de Desempenho
No gráfico 4 estão representadas as menções qualitativas homologadas de cada serviço do MS,
entre os anos de 2008 e 2011. A menção é baseada nos resultados de desempenho de cada serviço,
assim como no exposto no artigo 18.º da Lei n.º 66‐B/2007, de 28 de dezembro, salvaguardando que,
passa por um processo de análise critica e posteriormente homologação ou alteração pela Tutela.
ACS ACSS AlentejARS AlgarveARS CentroARS ARS LVT NorteARS ASST DGS EMPS IDT IGAS INEM INFARMED INSA IPS MCSP SGMS UMCCI SIADAP 2008 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% SIADAP 2009 88% 83% 102% 118% 101% 107% 96% 54% 97% 67% 102% 87% 77% 72% 127% 127% 100% 112% 62% SIADAP 2010 72% 277% 95% 117% 89% 106% 94% 69% 91% 0% 98% 95% 91% 64% 100% 80% 0% 95% 49% SIADAP 2011 0% 283% 83% 109% 108% 98% 104% 0% 85% 0% 96% 81% 84% 62% 76% 87% 0% 93% 0% Tx Realização 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 0% 25% 50% 75% 100% 125% 150% 175% 200% 225% 250% 275% 300%
Gráfico 3: Evolução da Execução de Recursos Financeiros por Serviço entre 2008‐2011
Insuficiente Satisfatório Bom Excelente AC S AC SS AR S Al en te jo AR S Al ga rv e AR S Ce nt ro AR S LV T AR S No rt e A SST DGS EM PS IDT IGAS INEM INF A RM ED INS A IP S MC SP SG M S UM CC IGráfico 4: Evolução das Menções Qualitativas por Serviço entre 2008‐2011
2.4. Análise Quantitativa de Desempenho
Nos gráficos 5, 6 e 7 estão representados a pontuação final do grau de excelência dos serviços do MS
com menção de Bom, no ano de 2009, 2010 e 2011, respetivamente. Esta resulta do apuramento da
pontuação dos critérios da matriz de excelência, tendo por base o Relatório de Atividades entre 2008
e 2011 de cada serviço. Em 2008 não foi efetuada esta análise quantitativa por ser um ano de
arranque do processo SIADAP 1, e não existir orientações neste sentido.
ACS
5,25
ACSS
5,66
ARS
Alentejo
4,43
ARS
Centro
4,48
ARS
Norte
3,75
ASST
4,74
DGS
6,31
IDT
5,02
IGAS
5,17
INEM
6,01
INFARMED
6,99
IPS
5,05
SGMS
5,65
UMCCI
6,06
3,00
3,50
4,00
4,50
5,00
5,50
6,00
6,50
7,00
7,50
8,00
8,50
9,00
9,50
10,00
P
ont
ua
çã
o
Fi
na
l ‐
Gr
au
de
E
xc
e
lê
nc
ia
Serviços com Menção de Desempenho Bom
Gráfico 5: Análise Quantitativa de Desempenho dos Serviços ‐ 2009
ACS
5,53
ACSS
4,89
ARS
Alentejo
6,39
ARS
Algarve
5,02
ARS
Centro
5,81
ARS
Norte
5,42
ASST
6,22
DGS
7,05
IDT
6,74
IGAS
6,69
INFARMED
7,07
INSA
5,68
IPS
6,69
SGMS
6,99
3,00
3,50
4,00
4,50
5,00
5,50
6,00
6,50
7,00
7,50
8,00
8,50
9,00
9,50
10,00
Po
nt
u
aç
ã
o
Fi
n
al
‐
Gra
u
de
Ex
ce
lê
n
ci
a
Serviços com Menção de Desempenho Bom
Gráfico 6: Análise Quantitativa de Desempenho dos Serviços ‐ 2010
Nas tabelas 1, 2 e 3 está representado o detalhe da matriz de apuramento do grau de excelência
dos serviços do MS no ano de 2009, 2010 e 2011, respetivamente.
Os critérios de análise e ponderações foram definidos pelo CCAS (2010 ‐ anexo 6), sendo o grau de
excelência aferido numa escala de 1 a 10 valores. Os critérios em análise são agrupados em critérios
de resultado e critérios de meios (ver detalhe em anexo).
ARS Alentejo
6,60
ARS Centro
5,92
DGS
6,99
IGAS
6,72
INEM
6,10
INFARMED
7,86
INSA
5,68
SGMS
6,70
3,00
3,50
4,00
4,50
5,00
5,50
6,00
6,50
7,00
7,50
8,00
8,50
9,00
9,50
10,00
Po
nt
ua
çã
o
Fi
n
al
‐
Gra
u
de
Ex
cel
ê
n
ci
a
Serviços com Menção de Desempenho Bom
Gráfico 7: Análise Quantitativa de Desempenho dos Serviços ‐ 2011
Tabela 1: Matriz de Apuramento do Grau de Excelência dos Serviços do Ministério da Saúde tendo por base o Relatório de Atividades 2009
ACS ACSS ARS
ALENTEJO ARS CENTRO ARS NORTE ASST DGS IDT IGAS INEM INFARMED IPS SGMS UMCCI
C1. Análise da "Produtividade" 0,11 9 3 1 9 3 5 8 3 6 9 8 9 8 5
C2. Análise "Custo-Eficácia" 0,11 7 8 4 4 6 10 6 4 7 9 10 1 2 10
C3. Evolução positiva e significativa nos resultados obtidos pelo serviço em comparação com anos anteriores (aplicar também o critério às unidades homogéneas, caso existam).
0,11 4 1 2 4 2 2 2 2 3 3 3 3 5 1 C R IT É R IOS D E R ESU L T A D O S
C4. Excelência dos resultados obtidos, demonstrada designadamente por comparação com padrões nacionais ou internacionais, tendo em conta igualmente melhorias de eficiência.
0,11 2 3 2 1 2 1 5 3 1 1 6 1 1 1
C5. Superação global dos parâmetros de avaliação (Eficácia, Eficiência e Qualidade).
0,11 10 10 8 8 3 10 10 10 9 8 9 10 9 10
C6. Análise dos desvios. 0,11 8 7 7 10 7 6 7 8 3 9 6 9 6 10
C7. Impacto na Sociedade (contributo do serviço para a prossecução das políticas públicas).
0,11 2 6 6 1 5 2 7 7 1 4 7 9 7 6
C8. Satisfação dos utilizadores. 0,05 1 8 8 1 1 1 8 8 8 9 9 1 8 1
C9. Satisfação dos colaboradores. 0,05 1 1 1 1 1 1 1 1 9 1 1 1 9 9
C10. Processos e sistema de indicadores de desempenho. 0,05 1 9 9 1 7 10 7 1 10 8 9 1 1 5 C11. Planeamento e estratégia. 0,05 5 9 2 2 2 2 9 6 9 4 9 2 6 8 1,00 5,25 5,66 4,43 4,48 3,75 4,74 6,31 5,02 5,17 6,01 6,99 5,05 5,65 6,06 CRI T ÉRI O S DE M E IO S PONTUAÇÃO
Serviços com menção "Desempenho bom" homologada pela tutela em 2009 Pesos
Tabela 2: Matriz de Apuramento do Grau de Excelência dos Serviços do Ministério da Saúde tendo por base o Relatório de Atividades 2010
ACS ACSS ARS Alentejo ARS Algarve ARS Centro ARS Norte ASST DGS IDT IGAS INFARMED INSA IPS SGMS
C1. Análise da "Produtividade" 0,11 9 9 9 9 9 5 5 9 9 9 9 9 9 9
C2. Análise "Custo-Eficácia" 0,11 10 1 6 2 7 7 10 7 6 6 10 5 8 6
C3. Evolução positiva e significativa nos resultados obtidos pelo serviço em comparação com anos anteriores (aplicar também o critério às unidades homogéneas, caso existam).
0,11 4 2 4 3 5 3 4 2 6 4 4 4 8 5 CRI T É RI O S DE RE SUL T ADO
S C4. Excelência dos resultados obtidos,
demonstrada designadamente por comparação com padrões nacionais ou internacionais, tendo em conta igualmente melhorias de eficiência.
0,11 1 1 3 1 2 1 1 6 4 6 5 3 2 2
C5. Superação global dos parâmetros de avaliação (Eficácia, Eficiência e Qualidade).
0,11 9 8 10 10 10 10 10 10 10 10 10 8 10 10
C6. Análise dos desvios. 0,11 8 10 10 10 10 10 10 10 10 10 10 10 10 10
C7. Impacto na Sociedade (contributo do serviço para a prossecução das políticas públicas).
0,11 5 6 6 5 5 6 6 5 5 5 5 5 8 6
C8. Satisfação dos utilizadores. 0,05 1 1 6 1 1 1 2 9 6 2 5 9 2 9
C9. Satisfação dos colaboradores. 0,05 1 1 1 1 1 1 1 1 1 1 2 1 1 6
C10. Processos e sistema de
indicadores de desempenho. 0,05 1 7 8 3 1 7 10 9 7 10 7 1 1 7
C11. Planeamento e estratégia. 0,05 2 4 4 4 3 3 5 10 8 8 7 3 5 9
1,00 5,53 4,89 6,39 5,02 5,81 5,42 6,22 7,05 6,74 6,69 7,07 5,68 6,69 6,99
PONTUAÇÃO
Serviços com menção "Desempenho bom" homologada pela tutela em 2010
CRI T É RI O S DE ME IO S Pesos
Tabela 3: Matriz de Apuramento do Grau de Excelência dos Serviços do Ministério da Saúde tendo por base o
Relatório de Atividades 2011
ARS Alentejo ARS Centro DGS IGAS INEM INFARMED INSA SGMS
C1. Análise da "Produtividade" 0,11 8,00 9,00 8,00 7,00 7,00 8,00 9,00 8,00
C2. Análise "Custo-Eficácia" 0,11 8,00 3,00 7,00 8,00 8,00 10,00 9,00 7,00
C3. Evolução positiva e significativa nos resultados obtidos pelo serviço em comparação com anos anteriores (aplicar também o critério às unidades homogéneas, caso existam).
0,11 7,60 8,20 4,60 9,40 5,40 10,00 1,40 6,40
C4. Excelência dos resultados obtidos, demonstrada designadamente por comparação com padrões nacionais ou internacionais, tendo em conta igualmente melhorias de eficiência.
0,11 2,80 1,80 5,60 1,60 2,80 6,40 1,20 1,40
C5. Superação global dos parâmetros de
avaliação (Eficácia, Eficiência e Qualidade). 0,11 10,00 10,00 10,00 9,00 9,00 10,00 3,00 10,00
C6. Análise dos desvios. 0,11 7,00 9,00 7,00 4,00 5,00 7,00 10,00 7,00
C7. Impacto na Sociedade (contributo do serviço para a prossecução das políticas públicas).
0,11 7,00 7,00 7,00 7,00 7,00 7,00 7,00 7,00
C8. Satisfação dos utilizadores. 0,05 1,00 1,00 5,00 1,00 1,00 5,00 4,00 6,00
C9. Satisfação dos colaboradores. 0,05 1,00 1,00 4,00 10,00 1,00 1,00 1,00 4,00
C10. Processos e sistema de indicadores de
desempenho. 0,05 9,00 1,00 9,00 10,00 10,00 10,00 10,00 10,00
C11. Planeamento e estratégia. 0,05 5,75 5,75 9,25 8,25 9,00 7,75 5,75 7,00
1,00 6,60 5,92 6,99 6,72 6,10 7,86 5,68 6,70 PONTUAÇÃO
Serviços com menção "Desempenho bom " homologada pela tutela em 2011
CRI T É RI O S DE M E IO S CRI T É RI O S D E RESUL T ADO S Pesos
ANEXO
SIADAP 1 ‐ CRITÉRIOS DA MATRIZ DE EXCELÊNCIA (Modelo)
A B C …
escalaDesempenho acima do planeado e … (%RH) (% indicadores desvio >=25%)
10 utilização dos recursos humanos abaixo do planeado em pelo menos 50% e % de indicadores com desvio>=25%
inferior ou igual a 25%.
9 utilização dos recursos humanos abaixo do planeado e % de indicadores com desvio>=25% inferior ou igual a 25%. 8 utilização dos recursos humanos abaixo do planeado e % de indicadores com desvio>=25% entre 26% e 50%. 7 utilização dos recursos humanos abaixo do planeado e % de indicadores com desvio>=25% entre 51% e 75%. 6 utilização dos recursos humanos abaixo do planeado e % de indicadores com desvio>=25% superior a 75%. 5 utilização dos recursos humanos tal como planeado.
4 utilização dos recursos humanos acima do planeado e % de indicadores com desvio>=25% inferior ou igual a 25%. 3 utilização dos recursos humanos acima do planeado e % de indicadores com desvio>=25% entre 26% e 50%. 2 utilização dos recursos humanos acima do planeado e % de indicadores com desvio>=25% entre 51% e 75%. 1 utilização dos recursos humanos acima do planeado e % de indicadores com desvio>=25% superior a 75%.
escalaDesempenho acima do planeado e … (%RF)
10 execução dos recursos financeiros inferior a 75% do inicialmente planeado. 9 execução dos recursos financeiros entre 75% a 79% do inicialmente planeado. 8 execução dos recursos financeiros entre 80% a 84% do inicialmente planeado. 7 execução dos recursos financeiros entre 85% a 89% do inicialmente planeado. 6 execução dos recursos financeiros entre 90% a 94% do inicialmente planeado.
5 execução dos recursos financeiros entre 95% e 100% (exclusivé) do inicialmente planeado. 4 execução dos recursos financeiros tal como planeado.
3 execução dos recursos financeiros excedendo o inicialmente planeado até 5%. 2 execução dos recursos financeiros excedendo o inicialmente planeado até 10%. 1 execução dos recursos financeiros excedendo o inicialmente planeado em mais de 10%.
Fórmula A: 0,6x3A+0,4x3B (p/ serviços que não têm U.H.)
Fórmula B: 0,6x3A+0,2x3B+0,2x3C (p/ serviços que têm U.H.) (2011: ARS; IPS; IDT. 2012: ARS) escala3A) indicadores do QUAR
10 100% dos indicadores do QUAR dispõe de histórico. Todos apresentam uma evolução positiva dos resultados em
comparação com o/o(s) ano(s) anterior(es).
9 Entre 75% (incl.) a 100% (excl.)dos indicadores do QUAR dispõe de histórico. Desses, todos apres entam uma
evolução positiva dos resultados em comparação com o/o(s ) anos anterior(es ).
8 Entre 75% (incl.) a 100% dos indicadores do QUAR dispõe de histórico. Desses , alguns apresentam uma evolução
positiva dos resultados em comparação com o/o(s) anos anterior(es).
7 Entre 50 (incl.) a 75% (excl.) dos indicadores do QUAR dispõe de histórico. Desses, todos apres entam uma evolução
positiva dos resultados , em comparação com o/os ano(s) anterior(es ).
6 Entre 50 (incl.) a 75% (excl.) dos indicadores do QUAR dispõe de histórico. Desses, alguns apresentam uma
evolução positiva dos resultados, em comparação com o/os ano(s) anterior(es).
5 Entre 25 (incl.) e 50% (excl.) dos indicadores do QUAR dispõe de histórico. Desses, todos apres entam uma evolução
positiva dos resultados , em comparação com o/os ano(s) anterior(es ).
4 Entre 25 (inclusive) e 50% (exclusive) dos indicadores do QUAR dis põe de histórico. Desses, alguns apresentam
uma evolução positiva dos res ultados, em comparação com o/os ano(s ) anterior(es).
3 Apenas uma percentagem inferior a 25% dos indicadores do QUAR dispõe de histórico. Desses, todos apresentam uma evolução positiva dos res ultados, em comparação com o/os ano(s ) anterior(es).
2 Apenas uma percentagem inferior a 25% dos indicadores do QUAR dispõe de histórico. Desses, alguns apresentam uma evolução positiva dos res ultados, em comparação com o/os ano(s ) anterior(es).
1 Não existe histórico (pelo menos, informação para o ano imediatamente anterior ou para os dois anos precedentes
ao ano em avaliação) em 100% dos indicadores constantes do QUAR.
C3. Evolução positiva e significativa nos resultados obtidos pelo serviço em comparação com anos anteriores (aplicar também o critério às unidades homogéneas, caso existam).
SERVIÇOS DO MINISTÉRIO DA SAÚDE C1. Análise da "Produtividade"
escala3B) informação incluída no RA10, para além do QUAR
10 O relatório contém informação histórica maioritariamente com evolução positiva e significativa sobre os resultados das acções desenvolvidas pelo serviço; é usada na auto-avaliação e es tá relacionada com os objectivos do QUAR. 9 O relatório contém boa nota introdutória com descrição da evolução temporal do serviço em matérias relac. com sua
missão, com evolução positiva.
8 O relatório contém nota introdutória razoavel com sintese dos resultados relevantes, por comparação com ano
anterior.
7 O relatório contém nota introdutória sem análise da evolução temporal do serviço mas existe informação histórica
abrangente e relevante mas nem toda com evolução positiva.
6 O relatório contém nota introdutória s em análise da evolução temporal, mas exis te informação his tórica de vários
indicadores relacionados com a missão do serviço, com evolução positiva.
5 O relatório contém nota introdutória s em análise da evolução temporal, mas exis te informação his tórica de vários
indicadores relacionados com a missão do serviço, nem todos com evolução positiva.
4 O relatório contém nota introdutória s em análise da evolução temporal, mas exis te informação his tórica de poucos
indicadores relacionados com a missão do serviço, com evolução positiva.
3 O relatório contém nota introdutória s em análise da evolução temporal, mas exis te informação his tórica de poucos
indicadores relacionados com a missão do serviço, nem todos com evolução positiva.
2 O relatório contém informação histórica usada na auto-avaliação mas apenas sobre recursos utilizados pelo serviço (humanos, financeiros, materiais).
1 O relatório não contém informação histórica, ou existindo, não é usada na auto-avaliação para justificar a evolução positiva nos resultados obtidos pelo serviço.
escala3C) informação das Unidades Homogéneas, caso se aplique
10 O relatório contém informação histórica maioritariamente com evolução positiva e significativa sobre os resultados das acções desenvolvidas pelas UH; é usada na auto-avaliação e foi incluída nos objectivos de qualidade do QUAR.
9 O relatório contém informação histórica maioritariamente com evolução claramente positiva sobre os resultados das acções desenvolvidas pelas U.H.; é us ada na auto-avaliação e foi incluída nos objectivos de qualidade do QUAR 2012. 8 O relatório contém informação histórica com evolução positiva sobre os resultados das acções desenvolvidas pelas
U.H.; é usada na auto-avaliação e foi incluída nos objectivos de qualidade do QUAR 2012. 7
O relatório contém informação histórica s obre os resultados das acções desenvolvidas pelas U.H.; es sa evolução é positiva mas maioritariamente moderada, é usada na auto-avaliação e foi incluída nos objectivos de qualidade do QUAR 2012.
6 O relatório contém informação histórica com evolução positiva sobre os resultados das acções desenvolvidas pelas U.H.; é usada na auto-avaliação mas não foi incluída nos objectivos de qualidade do QUAR 2012.
5 O relatório contém informação histórica com evolução positiva e significativa sobre acções desenvolvidas pelas U.H. (não sobre os resultados); é usada na auto-avaliação e foi considerada nos objectivos de qualidade do QUAR 2012.
4
O relatório contém informação histórica com evolução positiva, mas moderada, sobre acções desenvolvidas pelas U.H. (não sobre os resultados); é us ada na auto-avaliação e foi considerada nos objectivos de qualidade do QUAR 2012.
3 O relatório contém informação histórica com evolução positiva sobre acções des envolvidas pelas U.H. (não s obre os resultados); é usada na auto-avaliação mas não foi considerada nos objectivos de qualidade do QUAR 2012. 2 O relatório contém informação histórica usada na auto-avaliação mas apenas sobre recursos utilizados pelas U.H.
(humanos, financeiros, materiais).
1 O relatório não contém informação sobre as UH, ou existindo essa informação, não é usada na auto-avaliação para justificar a evolução positiva nos resultados obtidos pelas UH.
Fórmula: 0,60x4A + 0,20x4B+ 0,20x4C escala4A) comparações nacionais ou internacionais
10 Os resultados da comparação referem-se ao serviço no seu todo; está entre os melhores; manteve nível de excelência antes atingido.
9 Resultados da comparação referem-se ao serviço no seu todo; está acima do meio da tabela e progrediu favoravelmente.
8 Resultados da comparação referem-se a uma área core do serviço; está entre os melhores; manteve nível de excelência antes atingido.
7 Resultados da comparação referem-se a uma área core do serviço; está acima do meio da tabela e progrediu favoravelmente.
6 Resultados da comparação referem-se a uma área core do serviço; está acima do meio da tabela mas não melhorou posição.
5 Resultados da comparação referem-se a uma área de suporte (processos internos, formação, sistemas de informação,…); está entre os melhores; manteve nível de excelência antes atingido.
4 Resultados da comparação referem-se a uma área de suporte (processos internos, formação, sistemas de informação,…); está no meio ou acima do meio da tabela; evolui favoravelmente.
3
Resultados da comparação referem-se a: i) uma área de suporte (processos internos, formação, sistemas de informação,…); está no meio ou acima do meio da tabela mas não melhorou posição. ii) todo o serviço ou uma área core: está abaixo do meio da tabela mas evoluiu favoravelmente.
2 Resultados da comparação referem-se ao serviço no seu todo, a uma área core ou a uma área de s uporte: situa-se abaixo do meio da tabela e não evoluiu favoravelmente.
C4. Excelência dos resultados obtidos, demonstrada designadamente por comparação com padrões nacionais ou internacionais, tendo em conta igualmente melhorias de eficiência.
escala
4B) prémios e/ou menções de entidades externas destacando a relevância/excelência dos resultados obtidos pelo serviço (por área premiada: o serviço no seu todo; uma iniciativa desenvolvida numa área core ou uma iniciativa desenvolvida numa área de suporte).
10 Premeia o serviço no seu todo: 1º prémio.
9 Premeia o serviço no seu todo: 2º prémio.
8 1) Premeia o serviço no seu todo: 3º prémio ou 2) premeia uma área core do serviço: 1º prémio.
7 Premeia uma área core do serviço; 2º prémio.
6
1) premeia uma área core do serviço=3º prémio ou 2) premeia uma área de suporte (processos internos, melhor s ite,…)=1º prémio ou 3) pela menos uma menção atribuída por fonte externa destacando a excelência do s erviço numa área específica de actuação.
5 2) premeia uma área de suporte (proces sos internos, melhor s ite,…)=2º prémio ou 2) pelo menos uma menção atribuída por fonte externa destacando a relevância do serviço numa área específica de actuação.
4 2) premeia uma área de suporte (proces sos internos, melhor s ite,…)=3º prémio.
3 Obtenção, em qualquer das situações, de um prémio inferior ao 3ª prémio.
2 Integração de uma short-lis t/ nomeação.
1 Não s ão mencionados prémios nem menções de entidades externas destacando a relevância/excelência dos resultados obtidos pelo serviço.
escala4C) Melhorias de eficiência
10 O indicador que traduz o rácio entre outputs e inputs evoluiu favoravelmente e os inputs ficaram aquém do planeado. O indicador está incluído no QUAR.
9 O rácio outputs/inputs evoluiu favoravelmente e os inputs ficaram aquém do planeado. O indicador não figura no QUAR.
8 O rácio outputs/inputs evoluiu favoravelmente. O indicador es tá no QUAR.
7 O rácio outputs/inputs evoluiu favoravelmente. O indicador não está no QUAR.
6 Não existe indicador "outputs/inputs". O QUAR apresenta um indicador de produtividade (utente/funcionário; s erviço/funcionário; produto/funcionário): evoluiu favoravelmente com denominador aquém do planeado.
5
Não existe indicador "outputs/inputs". O QUAR não apresenta indicador de produtividade (utente/funcionário; s erviço/funcionário; produto/funcionário) mas a informação está no RA. Evoluiu favoravelmente com denominador aquém do planeado.
4 Não existe indicador "outputs/inputs".O indicador de produtividade (utente/funcionário; serviço/funcionário; produto/funcionário) evoluiu favoravelmente.
3 Não existem indicadores do tipo dos referidos acima. Os indicadores do tipo: tempo médio de res posta, grau de cumprimento de respostas apresentam evolução pos itiva.
2 Os indicadores de eficiência do tipo dos referidos acima não apresentam evolução positiva.
1 Os indicadores de eficiência apresentados no QUAR não permitem aferir sobre melhorias de eficiência (ex: redução de custos; sistemas de gestão documental implementados, etc).
nº parâmetros superados
escala (% indicadores desvio >=25%)
10 Superados todos os parâmetros de avaliação e % indicadores com desvio >=25% é inferior a 50%. 9 Superados todos os parâmetros de avaliação e % indicadores com desvio >=25% superior ou igual a 50%. 8 Superados os dois parâmetros de avaliação com maior peso e % de indicadores (no total dos dois parâmetros) com
desvio >=25% inferior a 50%.
7 Superados os dois parâmetros de avaliação com maior peso e % de indicadores (no total dos dois parâmetros) com desvio >=25% superior ou igual a 50%.
6 Superados o parâmetro de avaliação com maior peso e o parâmetro de avaliação com menor peso e % de indicadores (no total dos dois parâmetros) com des vio >=25% inferior a 50%.
5 Superados o parâmetro de avaliação com maior peso e o parâmetro de avaliação com menor peso e % de indicadores (no total dos dois parâmetros) com des vio >=25% superior ou igual a 50%.
4 Superados o parâmetro de avaliação com segundo maior peso e o parâmetro de avaliação com menor peso. 3 Superado apenas o parâmetro de avaliação com maior peso.
2 Superado apenas o parâmetro de avaliação com segundo maior peso. 1 Os parâmetros de avaliação com maior peso não foram superados .
escala (% indicadores desvio >=25%)
10 0-10% 9 11-20% 8 21-30% 7 31-40% 6 41-50% 5 51-60% 4 61-70% 3 71-80% 2 81-90% 1 91-100%
escalaNo QUAR estão incluídos indicadores (de eficácia e qualidade) directamente relacionados com a missão do serviço
e são:
10 maioritariamente de impacto, s endo os restantes de resultados, todos atingidos e/ou superados.
9 Maioritáriamente, indicadores de impacto, restantes indicadores resultados atingidos.
8 Maioritáriamente, indicadores de impacto, atingidos e/ou superados .
7 Maioritáriamente, indicadores de resultados, alguns de impacto, atingidos e/ou s uperados.
6 Indicadores de resultados entre 51% e 75%, atingidos e/ou superados. 5 Indicadores de resultados entre 31% e 50%, atingidos e/ou superados. 4 Indicadores de resultados entre 16% e 30%, atingidos e/ou superados. 3 Indicadores de resultados <= 15%, atingidos e/ou superados. 2 Todos indicadores de realização, atingidos e/ou superados. 1 Todos indicadores de realização, alguns não atingidos.
Indicadores de realização: descrevem a actividade desenvolvida pelo serviço, não fornecendo qq indicações dos efeitos dessas acções sobre a sociedade
(v.g. nº de acções de formação)
NOTA: Nos indicadores de qualidade não consideramos os inquéritos nem reclamações, pois estes resultados são considerados no critério C8. Satisfação dos utilizadores.
Indicadores de impacto: referem-se às consequências das acções desenvolvidas pelos serviços na sociedade (v.g. nº formandos colocados em
empresas/serviços) C6. Análise dos desvios
Indicadores de resultados: traduzem efeitos directos e imediatos sobre a população-alvo das acções desenvolvidas pelos serviços (v.g. nº de formandos
com aproveitamento)
escalaGrau de satisfação dos utilizadores aferido através de inquéritos/questionários ou outros instrumentos de aferição
de opinião:
10
Abrangência do inquérito/questionário de opinião: global; taxa de respostas superior a 50%; class ificação obtida igual ou superior a bom ou pelo menos 70% res postas >=bom. evolução positiva do grau satis fação dos
utilizadores/"clientes".
9 Inquérito global; taxa de res postas superior a 50%; manutenção da classificação obtida de bom ou superior a bom ou pelo menos 70% res postas >=bom.
8
1) Inquérito global: taxa de respostas entre 25% e 50% (inclusive); classificação obtida de bom ou superior a bom ou pelo menos 70% res postas >=bom; 2) Inquérito parcial: taxa de respostas >50%; class ificação obtida de bom ou s uperior a bom ou pelo menos 70% respostas >=bom. 3) caso não exista aus cultação da opinião dos utilizadores por inquérito analisar reclamações: apresenta tipificação das reclamações (motivos); apresentam evolução positiva e existe política de tratamento de reclamações.
7
1) Inquérito global: taxa de respostas até 25%; classificação obtida de bom ou superior a bom ou pelo menos 70% respostas >=bom; 2) Inquérito parcial: taxa de res postas >50%; classificação obtida de bom ou superior a bom ou pelo menos 70% respostas >=bom. 3) caso não exista aus cultação da opinião dos utilizadores por inquérito analisar reclamações: não apresenta tipificação das reclamações (motivos); apresentam evolução positiva e existe política de tratamento de reclamações .
6
1) Inquérito global; evolução positiva do grau satisfação dos utilizadores/"clientes"; taxa de res postas superior a 50%; class ificação obtida equivalente a satisfaz ou pelo menos 70% respostas >=satisfaz. 2) Inquérito parcial: taxa de respostas <50%; classifação obtida de bom ou superior a bom ou pelo menos 70% das respostas >=bom. 3) caso não exis ta auscultação da opinião dos utilizadores por inquérito analisar reclamações: não apresenta tipificação das reclamações (motivos); apres entam evolução pos itiva e não existe/não menciona política de tratamento de reclamações.
5
1) Inquérito global ou parcial; taxa de respostas superior a 50%; manutenção da clas sificação obtida equivalente a s atisfaz. 2) cas o não exista auscultação da opinião dos utilizadores por inquérito analis ar reclamações: não apresenta tipificação das reclamações (motivos); apresentam evolução pos itiva e não existe/não menciona política de tratamento de reclamações.
4
1) Inquérito global: taxa de respostas inferior a 50%; clas sificação obtida de satisfaz ou pelo menos 70% respostas >=satisfaz; 2) Inquérito parcial: taxa de respostas >50%; classificação obtida de satis faz ou pelo menos 70% respostas >=satisfaz. 3) caso não exista auscultação da opinião dos utilizadores por inquérito analisar reclamações: não apresenta tipificação das reclamações (motivos); o indicador das reclamações não tem his tórico mas foi superado; não exis te/não menciona política de tratamento de reclamações.
3
1) Inquérito global ou parcial: classificação obtida inferior ou igual a satisfaz ou % respostas >=satisfaz < 50% mas evoluiu favoravelmente; 2) caso não exista auscultação da opinião dos utilizadores por inquérito analisar reclamações: não apres enta tipificação das reclamações (motivos); o indicador das reclamações não tem histórico mas foi atingido; não exis te/não menciona política de tratamento de reclamações.
2
1) Inquérito global ou parcial: classificação obtida inferior ou igual a satisfaz ou % respostas >=satisfaz < 50% e evolução desfavoravel; 2) cas o não exista auscultação da opinião dos utilizadores por inquérito analis ar reclamações: não apres enta tipificação das reclamações (motivos); o indicador das reclamações não tem histórico, apresenta evolução negativa ou não foi atingido; não existe/não menciona política de tratamento de reclamações. 1 Não apresenta resultados de auscultação da opinião dos utilizadores (inquéritos/ques tionários de opinião,
reclamações, etc).
C9. Satisfação dos colaboradores.
escalaA opinião dos colaboradores é auscultada através de inquéritos ou outros instrumentos de medição do grau de
satisfação:
10
Taxa de respostas superior a 50%; classificação obtida igual ou superior a bom ou pelo menos 70% res postas >=bom. evolução pos itiva do grau satisfação dos colaboradores. Se existir comparação com outros serviços: ocupa lugares cimeiros (último quartil).
9
Taxa de respostas inferior a 50%; classificação obtida igual ou superior a bom ou pelo menos 70% respos tas >=bom. Evolução positiva do grau satisfação dos colaboradores. Se existir comparação com outros serviços: ocupa lugares acima do meio da tabela.
8 Taxa de respostas superior a 50%: classificação obtida igual ou superior a bom mas com evolução desfavorável. 7 Taxa de respostas inferior a 50%: classificação obtida igual ou superior a bom mas com evolução desfavorável. 6 Taxa de respostas superior a 50%: classificação obtida igual ou equivalente a satisfaz ou pelo menos 70% respostas
>=satisfaz. Evolução positiva do grau satisfação dos colaboradores.
5 Taxa de respostas inferior a 50%; 1) classificação obtida igual ou equivalente a satisfaz ou pelo menos 70% respostas >=satisfaz. Evolução positiva do grau satisfação dos colaboradores.
4 Taxa de respostas superior a 50%: classificação obtida igual ou equivalente a satisfaz mas com evolução desfavorável ou sem histórico.
3 Taxa de respostas inferior a 50%: classificação obtida igual ou equivalente a s atisfaz mas com evolução desfavorável ou sem histórico.
2 Class ificação obtida inferior a satisfaz.
1 Não é feita qualquer referência à aus cultação da opinião dos colaboradores. Ajustamentos: abrangencia, análise resultados
C10. Processos e sistema de indicadores de desempenho.
escalaAvaliação com base no anexo A do relatório de auto-avaliação sobre o sistema de controlo interno
10 Mais de 90% das res postas ao questionário A s ão afirmativas
9 Entre 81% e 90% (inclusivé) das respostas ao questionário A são afirmativas 8 Entre 71% e 80% (inclusivé) das respostas ao questionário A são afirmativas 7 Entre 61% e 70% (inclusivé) das respostas ao questionário A são afirmativas 6 Entre 51% e 60% (inclusivé) das respostas ao questionário A são afirmativas 5 Entre 41% e 50% (inclusivé) das respostas ao questionário A são afirmativas 4 Entre 31% e 40% (inclusivé) das respostas ao questionário A são afirmativas 3 Entre 21% e 30% (inclusivé) das respostas ao questionário A são afirmativas 2 Entre 11% e 20% (inclusivé) das respostas ao questionário A são afirmativas 1 Entre 0% e 10% (inclusivé) das respostas ao questionário A são afirmativas
Fórmula: 0,5xA+0,25xB+0,25xC
escala11A. informação incluída no relatório de auto-avaliação de acordo com n.º 2 do art. 15º Lei 66/B, 28 dezembro
10 s im para todas as alíneas a) a f). 9 s im ou sim, em parte, para todas.
8 maioritariamente sim, incluindo alínea e) comparações nacionais ou internacionais.
7 maioritariamente sim ou sim em parte, incluindo alínea e) comparações nacionais ou internacionais. 6 maioritariamente sim ou sim em parte.
5 3 sim e 3 não.
4 3 sim ou sim em parte e 3 não. 3 2 sim ou sim em parte. 2 1 sim ou sim em parte. 1 Não para todas as alíneas a) a f). escala11B. coerência entre PA e RA e QUAR
10 No RA existe análise analítica da concretização global do PA. Existe comparação entre acções/projectos planeados e realizados, incluindo desvios e grau de concretização por projecto e global. Grau de concretização global do PA > 85%.
9
No RA existe análise analítica da concretização global do PA. Existe comparação entre acções/projectos planeados e realizados, incluindo desvios e grau de concretização por projecto e global. Grau de concretização global do PA entre
71% e 85% (inclusivé).
8
No RA existe análise analítica da concretização global do PA. Existe comparação entre acções/projectos planeados e realizados, incluindo desvios e grau de concretização por projecto e global. Grau de concretização global do PA entre
50% e 70% (inclusivé).
7 No RA existe análise analítica da concretização global do PA. Existe comparação entre acções/projectos planeados e realizados, incluindo desvios e grau de concretização por projecto e global. Grau de concretização global do PA< 50%.
6 No RA é apresentada uma comparação entre acções/projectos planeadas e o realizado, com base nos mesmos quadros /listagem do PA, incluindo desvios e grau de concretização por projecto/actividade mas não o global. 5 No RA existe secção analítica com balanço do PA mas sem grau de execução. É apresentada a lista das
acções/projectos mas apenas com o realizado, não permitindo aferir o grau de concretização do PA.
4 No RA não existe secção analítica com balanço do PA. Não é apresentada a lista das acções/projectos do PA, é apenas feita uma descrição das acções executadas, pontualmente é referido o grau de cumprimento.
3 No RA não existe secção analítica com balanço do PA. Não é apresentada a lista das acções do PA, é apenas feita uma descrição das acções executadas, pontualmente é referido se estava planeada, sem grau de execução. 2 No RA não existe secção analítica com balanço do PA. Não é feita nenhuma referência ao que estava planeado, mas
o GPEARI verificou aleatoriamente o PA e encontrou alguma conformidade.
1 Não existe PA; ou: o GPEARI verificou aleatoriamente o PA e concluiu pela ausência de conformidade entre os dois
documentos .
escala11C. desvio na entrega do RA09 (incluindo o RAA) relativamente à data estabelecida na Lei (15 de Abril) (dias úteis)
10 0 9 1 8 2 7 3 6 4 5 5 4 6 C11. Planeamento e estratégia
