O nível de qualidade oferecido pelos serviços eletrónicos na Administração Pública Local em Portugal. Um caso de estudo na NUTS II - Lisboa

(1)

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 03 e 04 de Outubro de 2014, Évora, Portugal

ISSN 2183-489X

DOI http://dx.doi.org/10.18803/capsi.v14.225-248

225

O nível de qualidade oferecido pelos serviços eletrónicos na

Administração Pública Local em Portugal. Um caso de estudo na NUTS

II - Lisboa

Electronic services quality level in Local Portuguese Administration. A

case study in NUTSII- Lisboa

Rita Luís Falcão, Câmara Municipal de Tomar, Portugal, rita.luisfalcao@sapo.pt Maria Helena Monteiro, Instituto Superior Ciências Sociais e Políticas, Universidade de Lisboa,

Portugal, hmonteiro@iscsp.ulisboa.pt

Célio Gonçalo Marques, Instituto Politécnico de Tomar, Portugal, celiomarques@ipt.pt

Resumo

A Administração Pública em Portugal evoluiu graças ao desenvolvimento tecnológico e às experiências de aplicação dos serviços eletrónicos a que esteve sujeita. Assim iniciaram-se processos sistemáticos de avaliação da qualidade dos serviços prestados com recurso aos sistemas de informação, salvaguardando a privacidade dos dados dos indivíduos e preservando os valores das instituições. A qualidade destes serviços está agora centrada nas necessidades e motivações das interações e transações eletrónicas realizadas pelos diversos atores, quer se designem por clientes, utentes ou simplesmente cidadãos. O estudo de caso apresentado nesta comunicação resulta da investigação realizada aos sítios digitais dos 18 municípios que constituem a NUTS II - Lisboa. A investigação consistiu em observar a presença dos critérios e subcritérios do modelo de análise por nós desenvolvido para avaliar a qualidade dos serviços eletrónicos prestados aos munícipes na ótica do utilizador. Nos resultados obtidos não foram encontradas diferenças relevantes na qualidade percebida dos serviços eletrónicos destes municípios.

Palavras-chave: Sistema de Informação, Tecnologias de Informação e Comunicação, Governação Eletrónica, Serviços Eletrónicos, Avaliação da Qualidade de Serviços Eletrónicos.

Abstract

Public Administration in Portugal has evolved thanks to the technological development and the experiences of application of electronic services to which it was subjected. Systematic processes for the assessment of the quality of services provided using information systems were thus initiated, preserving the confidentiality of individual data and the values of institutions. The quality of such services is now focused on the needs and motivations of the electronic interactions and transactions performed by the different actors, referred to either as clients, users or mere citizens. The case study presented in this report is the result of research of the digital sites of the 18 municipalities that constitute the NUTS II – Lisboa (NUTS: Nomenclature of Territorial Units for Statistics). Said research consisted in observing the presence of the criteria and sub criteria of the analysis model we developed to assess the quality of the electronic services provided to citizens, from the user’s perspective. The results obtained showed no relevant differences in the perceived quality of the electronic services of the involved municipalities.

Key words: Information System, Information and Communication Technologies, Electronic Government, Electronic Services, Quality Assessment of Electronic Services.

(2)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 226

1. I

NTRODUÇÃO

O paradigma emergente da sociedade do conhecimento e da informação exige a reconsideração das funções do Estado e a adaptação da Administração Pública às novas realidades [Janssen & Estevez 2013]. Importa ter em conta que, face à rápida desatualização do conhecimento técnico adquirido é fundamental hoje em dia, ajudar a criar formas de pensar que possibilitem aos indivíduos anteciparem e adaptarem-se às turbulências dos vários contextos em que atuam [Alves & Moreira 2004].

No mundo atual, a Administração Autárquica é estimulada pelos progressos já feitos na ciência política, nomeadamente, os novos desafios da cidadania participativa, onde o orçamento participativo, em contexto de elevadas contenções orçamentais, é já um exemplo com provas dadas, e o continuado apelo a novos modelos de gestão pública [Pollitt 2012].

O que está em causa é a obtenção de um serviço público de qualidade, definido pelos olhos dos munícipes, prestado com eficiência, eficácia e economicidade. Aumentar a qualidade e reduzir os custos é o segredo, estes objectivos fomentam os processos de inovação tecnológica e social [Bilhim 2004].

Esta mudança de postura da Administração Autárquica, de uma cultura de hierarquias e de regras rígidas para uma cultura de serviço de qualidade e flexibilidade, exige que sejam criadas condições novas de interação entre a tecnologia e as dimensões sociais, económicas e culturais, ou seja, exige inovação [Bilhim 2004].

O trabalho que desenvolvemos vem nesta continuidade e decorre principalmente do artigo A Mutiple-Item Scale for Assessing E-Government Services Quality [Papadomichelaki & Mentzas 2009].

O trabalho teve como questão de partida “Qual o nível de qualidade oferecido pelos serviços eletrónicos na Administração Pública Local em Portugal?” e um conjunto de questões adicionais: Quais os critérios mais usuais de avaliação da qualidade das interações eletrónicas? Quais as interações dos serviços eletrónicos da Administração Local? Qual a qualidade percebida dos sítios selecionados?

2. E

NQUADRAMENTO

T

EÓRICO

Numa sociedade que cada vez mais privilegia a informação como um dos ativos mais relevantes, há necessidade das organizações darem atenção a requisitos de infra-estrutura e de gestão adequados ao ciclo de vida da informação, nomeadamente, à recolha, armazenamento, processamento, representação e distribuição da informação. Uma parcela apreciável do esforço das organizações é

(3)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 227 destinada a estas preocupações. Desta forma, pensar e decidir os recursos que assegurem de forma eficiente, a qualidade e a eficácia da obtenção, distribuição e apresentação da informação é determinante para o desempenho das pessoas e das organizações [Gouveia 2004].

Um dos paradoxos do ambiente digital prende-se com a renovação da importância do território. É nele que se fixam os recursos humanos, se concentram competências e se criam dinâmicas de partilha e circulação de informação. A lógica das cidades e regiões digitais não pode perverter a identificação do território enquanto espaço vital de cada indivíduo [Gouveia 2003].

É notório o aumento de consciência por parte do poder local e dos organismos da Administração Pública Local para as oportunidades das Tecnologias de Informação e Comunicação (TIC) [Gouveia 2004].

O objetivo fundamental de qualquer Estado democrático é aproximar o Estado dos Cidadãos. As TIC possibilitam de forma mais ampla a concretização deste objetivo. São múltiplas as formas em que estas tecnologias podem contribuir para tal desiderato. Uma delas é através da disponibilização pelos organismos públicos de páginas na Internet [Presidência do Conselho de Ministros 2001]. É através desta consciência que a Administração Pública Local tem vindo a adaptar-se para responder aos desafios, tirando partido das oportunidades que se colocam com a evolução crescente das TIC para um maior fortalecimento na interação entre munícipe e município.

As TIC fornecem infraestruturas e ferramentas essenciais para a criação, partilha e difusão de conhecimento. Reforçam a capacidade de inovação de todos os setores e, contribuem, para mais de 40% do crescimento geral de produtividade [Monteiro 2010]. Jane Fountain em Building the Virtual State: Informaion Technology and Institutional Change refere “When information is digitized and shared, geographic distance becomes less relevant – in most cases irrelevant – to information flows, making possible geographically distributed partnerships, collaborative problem-solving, and highly coherent organization” [Fountain 2001:33].

Em Portugal, o Governo Eletrónico é apresentado como uma área estratégica para a construção da Sociedade do Conhecimento e da Informação assumindo-se como um processo vital para a modernização da Administração Pública. A sua grande prioridade é a melhoria significativa da qualidade dos serviços públicos através do uso das TIC [Marques, Silva & Campos 2007].

As constantes preocupações com o nível de qualidade da prestação dos serviços e da relação com os utilizadores é visível nas Agendas Digitais quer na Europa quer em Portugal. Nestes documentos estão previstas medidas que promoverão mais qualidade e comodidade para os cidadãos, pois um dos impactos pretendido prende-se com a melhoria da qualidade dos serviços públicos.

(4)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 228 Para que os utilizadores se sintam confortáveis e confiantes no uso de ambientes Web será necessário que estes gozem de direitos, como a liberdade de expressão e informação, a proteção de dados pessoais e de privacidade, transparência, serviço telefónico e serviços de Internet funcionais [Comissão Europeia, 2010].

A Agenda Digital para a Europa vem relembrar que se deverá potenciar a confiança e a segurança digital recorrendo ao uso das TIC, pois os cidadãos gozam de direitos que, por se encontrarem dispersos e nem sempre serem de fácil compreensão, os impedem de encontrarem explicações simples dos seus direitos e obrigações [Comissão Europeia 2010].

A Comissão Europeia, através da Agenda Digital, pretende antecipar o importante papel que a utilização das TIC terá como recurso fundamental da atividade económica e social. As TIC são um pilar na estratégia Europa 2020 [Comissão Europeia 2010].

A Resolução do Conselho de Ministros n.º 112/2012 aprova a Agenda Portugal Digital que vai ao encontro das metas traçadas na Agenda Digital para a Europa. A Agenda Digital 2015 lançada em 2010 ainda no XVIII Governo Constitucional também já tinha sido desenhada tendo por base o fortalecimento dos serviços digitais [XVIII Governo Constitucional 2010]. Esta nova versão da Agenda Digital para Portugal – Agenda Portugal Digital – para além do Governo e da Administração Pública, passa a ter um forte envolvimento do setor privado, em especial, das entidades ligadas ao setor das TIC [XIX Governo Constitucional 2012].

Na Agenda Portugal Digital é referido que existem aspetos a desenvolver para disponibilizar serviços públicos de qualidade, com custos inferiores para os cidadãos e para as empresas, e que simultaneamente reduzam a despesa pública, pelo que um dos seus objetivos seja “Promover a utilização dos serviços públicos on-line, para que sejam utilizados por 50% da população, até 2016” [XIX Governo Constitucional 2012].

A filosofia da qualidade hoje, não se confina às organizações, e passou a ser considerada fomentadora do desenvolvimento económico e social, em geral. Contudo na Administração Pública, a qualidade, era inicialmente vista como um conceito distante, como estivesse condenada a viver num modelo burocrático, pouco racional, em que não se colocavam problemas da qualidade [Bilhim 2000].

Salienta-se que ao incrementar um modelo gestionário da Administração Pública, através da procura da qualidade, da eficácia e da eficiência nos serviços públicos, da utilização das TIC enquanto instrumentos com potencial para a redefinição de processos e para uma maior aproximação da Administração aos cidadãos, serão reforçados os valores essenciais a um Estado democrático como a accountability e a transparência [Carvalho 2008].

(5)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 229 Para atingir este objetivo é fundamental perceber qual o nível de qualidade oferecido pelos serviços eletrónicos na Administração Pública e é neste contexto que se encontra a relevância deste trabalho. A qualidade dos e-services e dos sítios digitais é um tema bastante complexo e rico em definições e instrumentos de medidas. Os vários estudos desenvolvidos até ao momento apontam para modelos de avaliação com estruturas multidimensionais direcionados para o modo como os serviços são prestados e utilizados.

O modelo de análise em que nos baseámos está fundamentado nas necessidades de quem vai usar os serviços, ou seja, a dimensão que se pretende atingir está relacionada com a qualidade do serviço prestado em termos de disponibilidade, de usabilidade, de segurança entre outras caraterísticas relevantes para os cidadãos [Papadomichelaki & Mentzas 2009].

O modelo desenvolvido no decorrer desta investigação baseia-se no trabalho de Papadomichelaki e Mentzas (2009) intitulado A Mutiple- Item Scale for Assessing E-Government Service Quality e responde às inquietações da Administração Pública em Portugal. Este artigo considera o desenvolvimento de sítios digitais um elemento crítico na evolução da governação e da administração pública eletrónica por viabilizar meios especializados e focados no atendimento das necessidades dos cidadãos e nas possibilidades de interacção mútua [Papadomichelaki & Mentzas 2009].

3. M

ETODOLOGIA DE

I

NVESTIGAÇÃO

A metodologia aplicada foi iniciada a partir do desenvolvimento de cinco questões a que chamámos pilares da investigação.

Primeiro Pilar – O que investigar?

Este pilar tem por objetivo delimitar e situar a investigação. As questões que nos ajudaram a traçar o rumo da investigação foram: O quê? – Os e-services; Onde? – Na Administração Local, mais propriamente, na Nomenclatura das Unidades Territoriais para Fins Estatísticos o NUTS II – Lisboa [Instituto de Gestão do Fundo Social Europeu 2014]; Quem? – Os 18 municípios que constituem a NUTS II – Lisboa [Instituto de Gestão do Fundo Social Europeu 2014]; Quando? – De fevereiro de 2012 a janeiro de 2013.

Com a resposta a estas questões iniciámos a investigação que teve como suporte o modelo já referido de Papadomichelaki e Mentzas [2009]. Este modelo coloca a problemática da qualidade dos e-services e a importância de avaliar os sítios dos municípios na perspetiva de quem os utiliza, para tal são propostos seis critérios identificados no quadro 1.

(6)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

Critério (Ci) Designação

C1 Facilidade de utilização

C2 Confiança

C3 Funcionalidade e interação

C4 Fiabilidade

C5 Conteúdo e apresentação da informação

C6 Suporte ao cidadão (interatividade)

Quadro 1 - Identificação dos critérios em estudo [Papadomichelaki & Mentzas 2009]

Segundo Pilar – Onde encontrar a informação?

Identificámos como unidade de observação e análise o sítio de cada um dos 18 municípios que constituem a NUTS II – Lisboa.

O estudo foi realizado nas unidades territoriais de Lisboa e Península de Setúbal que compõem a Área Metropolitana de Lisboa e a NUTS II – Lisboa. Cada unidade territorial é composta por 9 municípios pelo que o estudo aqui desenvolveu-se sobre 18 municípios.

As câmaras municipais que constituem a NUTS II – Lisboa, ordenadas por ordem alfabética são: Alcochete; Almada; Amadora; Barreiro; Cascais; Lisboa; Loures; Mafra; Moita; Montijo; Oeiras; Odivelas; Palmela; Seixal; Sesimbra; Setúbal; Sintra; Vila Franca de Xira.

Optámos por analisar os sítios das respetivas Câmaras Municipais uma vez que estas estruturas de gestão municipais apresentam responsabilidades críticas na gestão local.

No quadro 2 encontram-se os endereços eletrónicos dos 9 municípios que compõem a unidade territorial de Lisboa.

Unidade territorial - Lisboa Município Endereço eletrónico

Amadora www.cm-amadora.pt Cascais www.cm-cascais.pt Lisboa www.cm-lisboa.pt Loures www.cm-loures.pt Mafra www.cm-mafra.pt Oeiras www.cm-oeiras.pt Odivelas www.cm-odivelas.pt Sintra www.cm-sintra.pt

(7)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 231 Quadro 2 - Endereços eletrónicos dos municípios que compõem a unidade territorial de Lisboa estudados em

2012

No quadro 3 identificam-se os 9 municípios e respetivos endereços eletrónicos que compõem a unidade territorial da Península de Setúbal.

Quadro 3 - Endereços eletrónicos dos municípios que compõem a unidade territorial da Península de Setúbal estudados em 2012

A região estatística de Lisboa, NUTS II – Lisboa, é constituída por duas sub-regiões estatísticas: Lisboa e Península de Setúbal, agregando 18 concelhos distribuídos por uma área geográfica total aproximada de 2962,4 km².

A sub-região estatística Lisboa é composta por 9 concelhos (Amadora, Cascais, Lisboa, Loures, Mafra, Odivelas, Oeiras, Sintra e Vila Franca de Xira) onde habitam, de acordo com os Censos de 2011, 2.042.326 pessoas [Instituto Nacional de Estatística, IP 2011].

A sub-região estatística da Península de Setúbal é também ela constituída por 9 concelhos (Alcochete, Almada, Barreiro, Moita Montijo, Palmela, Seixal, Sesimbra e Setúbal), contudo o número de habitantes é bastante inferior, 779.373 pessoas [Instituto Nacional de Estatística, IP 2011].

Vila Franca de Xira www.cm-vfxira.pt

Unidade territorial – Península de Setúbal Município Endereço eletrónico Alcochete www.cm-alcochete.pt Almada www.m-almada.pt Barreiro www.cm-barreiro.pt Moita www.cm-moita.pt Montijo www.mun-montijo.pt Palmela www.cm-palmela.pt Seixal www.cm-seixal.pt Sesimbra www.cm-sesimbra.pt Setúbal www.mun-setubal.pt

(8)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 232 Para uma melhor perceção das caraterísticas dos diversos municípios construímos o 4, com os seguintes atributos: localização geográfica, dimensão, número de freguesias (em 2012) e população residente. Identificação dos Municípios Localização geográfica Dimensão (km2₎ N.º Freguesias População residente Alcochete Península de Setúbal 128,5 3 17569 Almada Península de Setúbal 70,2 11 174030 Amadora Lisboa 23,79 11 175135 Barreiro Península de Setúbal 31,6 8 78764 Cascais Lisboa 99,07 6 206429 Lisboa Lisboa 83,84 53 547631 Loures Lisboa 169,12 18 205054 Mafra Lisboa 291,42 17 76685 Moita Península de Setúbal 55,38 6 66029 Montijo Península de Setúbal 348,09 8 51222 Oeiras Lisboa 45,84 10 172120 Odivelas Lisboa 26,6 7 144549 Palmela Península de Setúbal 462,87 5 62805 Seixal Península de Setúbal 94 6 158269 Sesimbra Península de Setúbal 194,89 3 49500

(9)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 233 Setúbal Península de

Setúbal

230,3 8 121185

Sintra Lisboa 317 20 377837

Vila Franca de Xira Lisboa 317,7 11 136886

Quadro 4 - Caraterização dos municípios em estudo em fevereiro de 2012

Através da análise do quadro 4 surgem algumas conclusões tais como, a NUTS II – Lisboa é composta por municípios com dimensões territoriais e densidades populacionais muito diferentes. Há dois exemplos opostos, por exemplo, o município de Lisboa com uma densidade populacional elevada na ordem das 6.531 pessoas por km2_{e o município de Palmela com uma densidade}

populacional baixa, cerca de 136 pessoas por km2_.

Os diversos municípios em estudo revelam realidades sociais muito diferentes, existem concelhos bastante industrializados onde o nível de escolaridade é elevado e outros há onde a atividade dominante é a agricultura e a escolaridade é baixa.

Nestes dois espaços territoriais, Lisboa e Península de Setúbal, para além das dimensões territoriais verificam-se diferenças demográficas e sociais nos vários municípios.

Terceiro Pilar – Qual o modelo de análise?

O terceiro pilar diz respeito ao modelo de análise que elaborámos com base no artigo A Mutiple-Item Scale for Assessing E-Government Services Quality de Papadomichelaki e Mentzas [Papadomichelaki & Mentzas 2009]. Através da pesquisa bibliográfica e da análise documental identificámos outros documentos relevantes para a nossa investigação, como, por exemplo, Classification and synthesis of quality approaches in e-government services [Halaris et al. 2007] e “O Ranking Gávea / Interface 2002” desenvolvido pelo Departamento de Sistemas de Informação da Universidade do Minho [Oliveira, Santos & Amaral 2002].

O modelo desenvolvido foi elaborado tendo por base os seis critérios apresentados no primeiro pilar - o que investigar. Por sua vez cada critério foi dividido em subcritérios que estão associados a funcionalidades dos sítios digitais. Para avaliar cada um destes subcritérios, para além de os termos definido previamente, utilizámos uma medida relacionada com a presença ou ausência da respetiva funcionalidade procurada.

Para a presença da funcionalidade atribuímos o valor 1 e para a ausência atribuímos o valor 0.

(10)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 234 Os respondentes ao inquérito sobre a avaliação da qualidade destes 18 sítios foram indivíduos de ambos os sexos com idades compreendidas entre os 24 e os 65 anos e com um nível de escolaridade que variou entre o 12.º ano e a licenciatura. Todos os inquiridos tinham alguns conhecimentos na área das TIC. A amostra de respondentes foi obtida por conveniência e foi constituída por 11 indivíduos.

Quinto Pilar – Qual o desenho de questionário mais apropriado? Qual o modelo de avaliação e análise?

O quinto pilar, o desenho do inquérito, foi elaborado tendo por base os 6 critérios já referidos anteriormente no quadro 1.

No quadro 5 apresentamos para cada um dos critérios de análise e a sua decomposição em subcritérios. Estes subcritérios foram identificados através do artigo A Mutiple-Item Scale for Assessing E-Government Services Quality de Papadomichelaki e Mentzas [2009].

C1 - Facilidade de utilização

Sc1.1 - Mapa do sítio

Sc1.2 - Funções de pesquisa personalizadas Sc1.3 - Estabelecer ligações com motores de busca

Sc1.4 - URL (endereço eletrónico) fácil de lembrar

Sc1.5 - Informação personalizada

Sc1.6 - Capacidade de fazer personalizações

C2 - Confiança

Sc2.1 - Arquivo seguro de dados pessoais Sc2.2 - Rejeição da autenticação das partes envolvidas

Sc2.3 - Procedimento para adquirir/obter utilizador e palavra-chave

Sc2.3 - Transação correta, encriptação de mensagens

Sc2.4 - Assinaturas digitais, controlo de acessos

C3 - Funcionalidade do ambiente interativo

Sc3.1 - Existência de ajudas on-line (formulários)

Sc3.2 - Reutilização da informação do cidadão para futura interação

Sc3.3 - Formulários com cálculos automáticos Sc3.4 - Formatos de resposta adequados

C4 - Fiabilidade

Sc4.1 - Exatidão na execução dos serviços solicitados

Sc4.2 - Prestação de serviços in time (a tempo/na hora)

Sc4.3 - Acessibilidade ao sítio

Sc4.4 - Compatibilidade com os diferentes navegadores (browsers)

(11)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

C5 - Conteúdo e apresentação da informação

Sc5.1 - Apresentação do organismo Sc5.2 - Coerência dos dados

Sc5.3 - Precisão e consistência dos dados Sc5.4 - Relevância dos dados

Sc5.6 - Informação atualizada Sc5.7 - Ligações

Sc5.8 - Facilidade de compreensão/interpretação dos dados

Sc5.9 - Cores, gráficos, animações Sc5.10 - Tamanho da página web

C6 – Suporte ao cidadão (interatividade)

Sc 6.1 – Guias amigos do utilizador/guias fáceis de consultar pelos utilizadores

Sc6.2 – Novidades

Sc6.3 – Páginas de ajuda, perguntas frequentes Sc6.4 – Ferramentas/facilidade em fazer o seguimento / acompanhamento de transação Sc6.5 – Existência de informação com contactos

Sc6.6 – Resolução de problemas

Sc6.7 – Resposta pronta/rápida aos inquéritos dos cidadãos

Sc6.8 – Preenchimento e entrega de documentos on-line

Sc6.9 – Conhecimento e delicadeza dos funcionários

Sc6.10 – Funcionários que transmitem confiança e segurança

Sc6.11 – Pagamentos on-line

Sc6.12 – Segurança nos pagamentos on-line

Quadro 5 - Identificação dos subcritérios que compõem cada um dos critérios em análise [Papadomichelaki & Mentzas 2009].

O modelo de análise é composto por 6 critérios subdividindo-se cada um deles em subcritérios que perfazem na totalidade 41.

Os subcritérios “Sc6.9 – Conhecimento e delicadeza dos funcionários” e “Sc6.10 – Funcionários que transmitem confiança e segurança”, não foram avaliados aquando da consulta do sítio do município pelo que o modelo foi desenvolvido para 39 subcritérios.

Finda a definição de cada um dos critérios e subcritérios em estudo focámo-nos na determinação do valor da qualidade de cada um dos 18 municípios em análise.

Este é conseguido pela visita e averiguação da existência ou não, de cada um dos subcritérios nos sítios digitais.

No modelo em estudo foi avaliada a presença dos 39 subcritérios nos sítios dos 18 municípios em análise.

 Cada subcritério foi avaliado com 0 se não houve evidências do subcritério e com 1 se houve evidências do subcritério.

(12)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

 O valor mínimo da avaliação de um sítio é 0 se não existirem evidências de nenhum subcritério.

 O valor máximo, por município, é o produto do número total dos subcritérios (39) partindo do pressuposto que todos têm presença da respetiva funcionalidade, pelo número total de respondentes (11), ou seja, 429.

 Cada critério i terá um valor Vci, que se obtém pelo somatório dos respetivos valores dos

subcritérios do critério i, Vsci atribuídos pelos 11 respondentes ou seja Vci = Σt Vscit onde o

t é o índice que varia consoante o total de subcritérios do critério i.

 Como cada critério i tem um número diferente de subcritérios foi ajustada a avaliação para cada critério em termos de percentagem. Assim o valor final de cada critério i não fica influenciado pelo maior ou menor número de subcritérios em que se decompõe. Todos os critérios são normalizados para o mesmo valor base de 100 independentemente dos temas que referem e do total de subcritérios em que estão decompostos.

 Ficámos assim com o que designamos por valor ajustado do critério i ou seja, Vaci = (Vci /Vmax do Ci) / 100

 O valor da qualidade percebida pela totalidade dos 11 respondentes, para cada município1_,

foi obtido através da média aritmética dos valores ajustados dos diversos critérios, ou seja QM=Σi V aci / n

Em que:

Vaci – Valor ajustado do critério i;

i – índice dos critérios (varia de 1 a n);

n – Número total de critérios (neste caso são 6).

 O valor da qualidade percebida e ajustada para a totalidade dos municípios obtém-se por média aritmética da qualidade percebida e ajustada dos municípios que a compõem.

1_{Por exemplo para o município de Sesimbra o valor da qualidade percebida é de 59,08 que é obtido por média aritmética de V}

ac1 =

68,18; Vac2 = 76,36; Vac3 = 43,18; Vac4 = 43,64; Vac5 = 6,77 e Vac6 = 46,36. Estes valores ajustados em percentagem advieram da

avaliação inicial dos 11 respondentes cujos valores agregados dos critérios foram Vc1 = 45,00; Vc2 = 42,00; Vc3 = 19,00; Vc4 = 24,00; Vc5

= 76,00 e Vc6 = 51,00. Para melhor exemplificação referimos que o Vc1 é o somatório de 11+11+4+8+11+0, resultados agregados das

(13)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

4. A

PRESENTAÇÃO E ANÁLISE DE DADOS

a) Análise do valor da qualidade percebida e ajustada por Município

Depois de aplicado o modelo de classificação acima apresentado aos dados dos inquéritos provenientes das observações feitas pelos respondentes obtiveram-se resultados que evidenciam que a sub-região estatística da Península de Setúbal apresenta um valor de qualidade percebido superior à sub-região estatística da Lisboa, como se pode ver no quadro 6.

Localização geográfica Valor médio da qualidade percebida

ajustada (%)

Lisboa 50,93

Península de Setúbal 55,02

NUTS II - Lisboa 52,97

Quadro 6 - Valor médio da qualidade percebida na NUTS II – Lisboa

Aplicado o modelo a todos os municípios concluímos que não existem diferenças significativas na qualidade percebida dos sítios, como se pode constatar no quadro 7.

Município Localização geográfica Valor da qualidade

percebida ajustada (%)

Alcochete Península de Setúbal 53,91

Almada Península de Setúbal 55,47

Amadora Lisboa 50,32

Barreiro Península de Setúbal 53,29

Cascais Lisboa 57,45

Lisboa Lisboa 62,89

Loures Lisboa 50,94

Mafra Lisboa 56,28

Moita Península de Setúbal 61,10

Montijo Península de Setúbal 54,67

Oeiras Lisboa 44,86

Odivelas Lisboa 45,39

(14)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

Seixal Península de Setúbal 53,66

Sesimbra Península de Setúbal 59,08

Setúbal Península de Setúbal 51,62

Sintra Lisboa 46,11

Vila Franca de Xira

Lisboa 44,10

Quadro 7 - Valor da qualidade percebida por município

b) Análise do valor da qualidade percebida (e não ajustada) por Critério

Analisámos seguidamente os resultados da qualidade percebida dos sítios dos Municípios Critério a Critério. Para esta análise horizontal não utilizámos a qualidade percebida ajustada mas sim a qualidade percebida direta com o peso de diferença entre critérios por uns terem mais subcritérios que outros. Como a análise é horizontal preferimos utilizar os valores não ajustados (quadro 8).

Critério (Ci)

Média aritmética para a sub-região estatística de Lisboa

Média aritmética para a sub-região estatística da Península de Setúbal Média aritmética aplicada à NUTS II - Lisboa C1 - Facilidade de utilização 47,44 48,00 47,72 C2 - Confiança 18,33 36,56 27,44 C3 - Funcionalidade do ambiente interativo 17,33 17,89 17,61 C4 - Fiabilidade 25,11 22,33 23,72 C5 - Conteúdo e apresentação da informação 74,33 75,44 74,89 C6 - Suporte ao cidadão 44,22 45,89 45,06 Total da média aritmética da qualidade percebida por critério 37,80 41,02 39,41

(15)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 239 Se pensarmos que os totais de qualidade percebida por critério (devido à decomposição em subcritérios) seriam: 66 para o C1; 55 para o C2; 44 para o C3; 55 para o C4; 99 para o C5 e 100 para

o C6; e se analisarmos as diferenças dos valores obtidos nas avaliações para estes totais chegamos

às seguintes conclusões:

 Os critérios “C1 – Facilidade de Utilização” e “C5 – Conteúdo e apresentação da informação”

são os que apresentam valores de qualidade mais altos uma vez que apresentam distâncias mais reduzidas dos valores máximos da qualidade dos respetivos critérios. Apresentam um nível de qualidade percebida de cerca de 75% do total. Ambas as sub-regiões têm comportamentos equivalentes.

 Segue-se o critério “C2 – Confiança” que apresenta um nível de qualidade percebida de cerca

de 50% do total. Contudo os valores de qualidade percebida são muito diferentes na área de Lisboa e na Península de Setúbal. A qualidade percebida do critério Confiança para Lisboa (18,33 em 55) está a metade da qualidade percebida do critério Confiança para a Península de Setúbal (36,56 em 55).

 Seguem-se os critérios “C3 – Funcionalidade do Ambiente Interativo”, “C4 - Fiabilidade” e

“C6 – Suporte ao Cidadão” com valores de qualidade percebida cerca de 40% do valor

máximo da qualidade para cada um destes critérios. Ambas as sub-regiões têm comportamentos equivalentes.

c) Análise do valor da qualidade percebida (e não ajustada) por subcritério

Para melhor entendermos como foi alcançado o valor da qualidade por critério detalham-se os valores obtidos para os subcritérios observados em cada sítio e daí determinámos o seu valor. Este foi calculado para a sub-região estatística de Lisboa e da Península de Setúbal bem como o valor total da NUTS II – Lisboa.

Da análise do quadro 9 é possível concluir que apesar da sub-região estatística de Lisboa assumir na maioria dos subcritérios valores superiores é a sub-região estatística da Península de Setúbal que atinge o valor superior da média aritmética dos subcritérios, motivado principalmente pelo subcritério “informação personalizada”.

Critério

(Ci) Subcritérios (Sci)

Média aritmética para a sub-região estatística de Lisboa Média aritmética para a sub-região estatística da Península de Setúbal Média aritmética aplicada à NUTS II - Lisboa C 1 – Mapa do sítio _F a _ci _li d a d e d e 10,78 _ut _ili z a ç ã 10,56 o 10,67

(16)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 240 Funções de pesquisa

personalizados 10,67 10,56 10,61

Estabelecer ligações

com motores de busca 4,89 4,11 4,50

URL (endereço do sítio)

fácil de lembrar 10,89 9,89 10,39

Informação

personalizada 8,67 11,00 9,83

Capacidade de fazer

personalizações 1,56 1,89 1,72

Subtotal da qualidade percebida para o critério 1 através da média aritmética dos subcritérios

47,44 48,00 47,72

Quadro 9 - Valor da média aritmética dos subcritérios que compõe o critério “Facilidade de utilização” aplicado à NUTS II – Lisboa

No quadro 10 para o critério “C2 – Confiança”, verifica-se que a sub-região estatística da Península

de Setúbal assume o valor de 36,56 cerca do dobro da sub-região de Lisboa 18,33, esta diferença é motivada principalmente pelos subcritérios ”Arquivo seguro de dados pessoais”, “Rejeição da autenticação das partes envolvidas” e “Procedimento para adquirir / obter de utilizador e palavra passe”.

Critério

Média aritmética para a sub-região estatística de Lisboa Média aritmética para a sub-região estatística da Península de Setúbal Média aritmética aplicada à NUTS II - Lisboa C2 C onf ianç a Arquivo seguro de dados pessoais 4,00 9,22 6,61 Rejeição da

autenticação das partes envolvidas 3,78 9,22 6,50 Procedimento para adquirir / obter de utilizador e palavra passe 3,89 8,33 6,11

(17)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 241 Transação correta, encriptação de mensagens 3,44 4,00 3,72 Assinaturas digitais, controlo de acessos 3,22 5,78 4,50

18,33 36,56 27,44

Quadro 10 - Valor da média aritmética dos subcritérios que compõe o critério “Confiança” aplicado à NUTS II – Lisboa

No critério “C3 – Funcionalidade do ambiente interactivo” não se verificam grandes diferentes entre

as duas sub-regiões, apesar da sub-região estatística da Península de Setúbal assumir um valor ligeiramente superior, 17,89 (quadro 11).

Critério

Média aritmética para a sub-região estatística de Lisboa Média aritmética para a sub-região estatística da Península de Setúbal Média aritmética aplicada à NUTS II - Lisboa C3 – Funci o nal ida de do am bi en te int er at ivo

Existência de ajudas

on-line (formulários) 8,00 7,22 7,61

Reutilização da informação do cidadão para futura interação

1,56 0,11 0,83

Formulários com

cálculos automáticos 3,11 3,44 3,28

Formatos de resposta

adequados 4,67 7,11 5,89

17,33 17,89 17,61

Quadro 11 - Valor da média aritmética dos subcritérios que compõe o critério “Funcionalidade do ambiente interativo” aplicado à NUTS II – Lisboa

(18)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 242 No quadro 12, critério “C4 – Fiabilidade”, constata-se que a sub-região estatística de Lisboa assume

pela primeira vez um valor superior em relação à sub-região estatística da Península de Setúbal motivado por diferenças em todos os subcritérios.

Critério

Média aritmética para a sub-região estatística de Lisboa Média aritmética para a sub-região estatística da Península de Setúbal Média aritmética aplicada à NUTS II - Lisboa C4 - Fi abi li d ade Exatidão na execução

dos serviços solicitados 6,44 5,78 6,11

Prestação de serviços "in time" (a tempo/ na hora) 2,78 2,22 2,50 Acessibilidade do sítio 5,00 4,78 4,89 Compatibilidade com os diferentes navegadores ("browsers") 9,00 8,56 8,78 Velocidade de carregamento / transação 1,89 1,00 1,44

25,11 22,33 23,72

Quadro 12 - Valor da média aritmética dos subcritérios que compõe o critério ”Fiabilidade” aplicado à NUTS II – Lisboa

No critério “C5 – Conteúdo e apresentação da informação” os subcritérios “Apresentação do

organismo” e “Precisão e consistência dos dados” assumem valores um pouco superiores na sub-região estatística da Península de Setúbal o que contribui para uma qualidade percebida um pouco mais elevada (quadro 13).

(19)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 243 Critério

Média aritmética para a sub-região estatística de Lisboa Média aritmética para a sub-região estatística da Península de Setúbal Média aritmética aplicada à NUTS II - Lisboa C5 – C ont eúdo e apr es en ta ção da i nf o rm aç ão Apresentação do organismo 3,67 4,78 4,22

Coerência dos dados 10,78 11,00 10,89

Precisão e consistência

dos dados 10,44 11,00 10,72

Relevância dos dados 11,00 10,67 10,83

Informação atualizada 10,78 11,00 10,89 Ligações 8,00 8,33 8,17 Facilidade de compreensão / interpretação dos dados 10,33 10,00 10,17 Cores, gráficos, animação 4,00 3,89 3,94 Tamanho da página da web 5,33 4,78 5,06

74,33 75,44 74,89

Quadro 13 - Valor da média aritmética dos subcritérios que compõe o critério ”Conteúdo e apresentação da informação” aplicado à NUTS II – Lisboa

Apesar dos subcritérios “Guias amigos do utilizador/guias fáceis de consultar pelos utilizadores” e “Preenchimento e entrega de documentos on-line” assumirem valores mais elevados na sub-região estatística de Lisboa é a sub-região da Península de Setúbal que contabiliza o valor mais elevado no critério “C6 – Suporte ao cidadão (interatividade) ” devido aos subcritérios relacionados com

(20)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 244 “pagamentos online” que à data da avaliação já estavam disponíveis em Setúbal e ainda não em Lisboa (quadro 14).

Critério

Média aritmética para a Sub-região de Lisboa Média aritmética para a Sub-região da Península de Setúbal Média aritmética para a NUTS II C6 – Supor te a o ci d adã o (i n ter at ivi dade ) Guias amigos do utilizador / guias fáceis de consultar pelos utilizadores 6,89 5,78 6,33 Novidades 10,00 9,33 9,67 Páginas de ajuda, perguntas frequentes 5,11 5,22 5,17 Ferramentas / facilidade em fazer o seguimento / acompanhamento da transação 6,22 5,89 6,06 Existência de informação com contactos 4,22 5,33 4,78 Resolução de problemas 8,89 8,22 8,56

Resposta pronta / rápida aos inquéritos dos clientes 0,67 2,44 1,56 Preenchimento e entrega de documentos on-line 2,22 1,56 1,89 Pagamentos on-line 0,00 1,11 0,56 Segurança nos pagamentos on-line 0,00 1,00 0,50

44,22 45,89 45,06

Quadro 14 -Valor da média aritmética dos subcritérios que compõe o critério ”Suporte ao cidadão (interatividade) ” aplicado à NUTS II – Lisboa

(21)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 245 Se considerarmos os intervalos de amplitude: de 0,0 a 2,2 como baixo; de 2,2 a 4,4 como médio baixo; de 4,4 a 6,6 como médio alto; de 6,6 a 8,8 com elevado; e de 8,8 a 11 como muito elevado, é possível concluir da análise dos quadros anteriores, no conjunto dos subcritérios, que:

- Os subcritérios “Arquivo seguro de dados pessoais”, “Existências de ajudas on-line (formulários) ”, “Compatibilidade com os diferentes navegadores (browsers)”, “Ligações” e “Resolução de problemas” apresentam um valor que se pode considerar elevado;

- Os subcritérios “Mapa do sítio”, “Funções de pesquisa personalizados”, “URL (endereço eletrónico) fácil de lembrar”, “Informação personalizada”, “Coerência dos dados”, “Precisão e consistência dos dados”, “Relevância dos dados”, “Informação atualizada”, “Facilidade de compreensão/interpretação dos dados” e “Novidades”, apresentam um valor que se pode considerar muito elevado.

Com base no valor da qualidade percebida dos 18 municípios que constituem a NUTS II – Lisboa é possível afirmar que os sítios se apresentam para o cidadão de forma diferente, embora as regiões digitais tendem a englobar vários sítios num projeto e dar-lhes configurações semelhantes e que o processo de desenvolvimento dos sítios já não se baseia fundamentalmente em elementos tecnológicos. É conseguida uma articulação entre esses elementos com os objetivos da Administração Local e com o desenvolvimento da relação com o munícipe que carece de passar por uma importante abertura. No entanto, não deve ser esquecido que um obstáculo importante é de raiz cultural e tal desenvolvimento é impossível sem um envolvimento eficaz dos agentes da gestão autárquica, designadamente, presidente, vereadores e deputados municipais [Vieira 2007].

5.

C

ONCLUSÕES

O estudo aqui apresentado teve a sua génese na questão “Qual o nível de qualidade oferecido pelos serviços eletrónicos na Administração Pública Local em Portugal? Um caso de estudo na NUTS II - Lisboa”. Esta foi o mote para desencadear a avaliação da qualidade percebida nos 18 municípios que constituem a NUTS II – Lisboa.

Para proceder à avaliação da qualidade na perspetiva do utente/utilizador elaborámos um inquérito que foi aplicado a cada sítio dos 18 municípios que constituem a NUTSII - Lisboa. No modelo de análise desenvolvido introduzimos o resultado das observações feitas pelos 11 respondentes. Através dos resultados obtidos aferimos a qualidade percebida por município, por sub-região estatística e num sentido mais lato na NUTS II – Lisboa.

Do modelo de análise desenvolvido observa-se que de uma forma geral não existem grandes diferenças entre a perceção da qualidade nas duas sub-regiões que constituem a NUTS II –Lisboa, embora, a sub-região estatística da Península de Setúbal assume um valor da qualidade percebida

(22)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 246 ligeiramente superior à sub-região estatística de Lisboa. Esta discrepância foi motivada pela diferença de valores entre as duas sub-regiões nos critérios “Confiança” e “Suporte ao Cidadão”. Do estudo realizado e fazendo uma análise por critério verifica-se que existem três grupos, nomeadamente:

1 – Os Critérios “C1 – Facilidade de utilização” e “C5 – Conteúdo e apresentação da informação”

são os que apresentam uma diferença menor para o máximo da qualidade percebida. Estes Critérios apresentam um comportamento equivalente em Lisboa e em Setúbal.

2 – O Critério “C2 – Confiança” apresenta uma qualidade percebida de cerca de metade do máximo

da qualidade para este Critério. O comportamento do critério “C2 – Confiança” é distinto em Lisboa

e em Setúbal. Em Setúbal a qualidade percebida neste critério é cerca do dobro da de Lisboa; 3 – Os Critérios “C3 – Funcionalidade do ambiente interativo”, “C4 – Fiabilidade” e “C6 – Suporte

ao Cidadão” assumem uma diferença para o máximo da qualidade percebida de cerca de 60% cada. Estes Critérios apresentam um comportamento equivalente em Lisboa e em Setúbal.

Estes resultados mostram os níveis de investimento nos sítios até à data. Tem vindo a ser desenvolvidas funcionalidades que estão dentro de estratégias que potenciam a usabilidade por parte dos cidadãos e que têm como objetivo primário desenvolver o hábito do uso dos sítios dos municípios.

A NUTS II - Lisboa encontra-se no primeiro nível de desenvolvimento com a valorização da Internet como canal privilegiado para a troca de informação entre a Administração Pública Local e os cidadãos.

É visível o esforço para acompanhar a evolução do e-government, pois pretende-se transformar as relações entre o setor público e os cidadãos, explorando novos canais e formas de prestar os serviços. As organizações públicas terão, no entanto, de estar sempre focadas nos cidadãos, na forma como prestam os serviços e nos resultados da aplicação destes serviços na sociedade.

Como sugestões de temas a desenvolver em processos de investigação futuros propomo-nos tornar o estudo aqui apresentado mais abrangente, dotá-lo de novos mecanismos de avaliação e ampliar a escala de avaliação. Assim, apresentam-se os seguintes temas: Expandir o estudo a todos os municípios; Estudar simultaneamente o comportamento de variáveis de qualidade dos e-services e das caraterísticas qualitativas de índole socio/económico/demográfico dos diversos municípios; Aplicar este tipo de avaliação a partes de sítios relacionados com as vertentes sociais do Município (educação, saúde, património, lazer e participação pública); Acrescentar ao modelo novos critérios e subcritérios; Aumentar a escala de avaliação dos sítios de 0-1 para 0-3 ou 0-4; Comparar o modelo agora desenvolvido com outros modelos já reconhecidos.

(23)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

R

EFERÊNCIAS

Alves, A. A., & Moreira, J. M. (2004). Cidadania Digital e Democratização Electrónica. Porto: SPI - Sociedade Portuguesa de Inovação.

Bilhim, J. A. (2000). Ciência da Administração. Lisboa: Universidade Aberta.

Bilhim, J. A. (2004). A governação nas autarquias locais. Porto: SPI - Sociedade Portuguesa de Inovação.

Campos, R., & Marques, C. (2006). O Governo Electrónico e os Sistemas de Informação Públicos em Portugal. In M. M. Cunha & A. Rocha (Eds.) Sistemas e Tecnologias de Informação no Espaço Ibérico. Actas da 1º Conferência Ibérica de Sistemas e Tecnologias de Informação. Ofir: Microsoft. Vol. 1, pp. 421-437.

Carvalho, E. R. (fevereiro de 2008). Reforma Administrativa sob o Mote do New Public Management. Administração Pública e Competitividade numa Perspetiva Comparada, p. 35. Halaris, C.; Magoutas, B.; Papadomichelaki, X.; & Mentzas, G. (2007). Classification and synthesis

of quality approaches in e-goverment services.

Comissão Europeia. (26 de agosto de 2010). Comunicação da Comissão ao Parlamento Europeu ao Conselho, ao Comité Económico e Social Europeu e ao Comité das Regiões. Uma Agenda Digital para a Europa. Bruxelas.

Fountain, J. (2001). Building the Virtual State : Informaion Technology and Institutional Change. Washington : Brookins Institution.

Gouveia, L. B. (27 de Junho de 2003). Internet - Como democratizar o seu uso e as suas práticas. Autarquias Digitais: promessas e desafios, pp. 1-2.

Gouveia, L. B. (2004). Local E-Government - A governação digital na autarquia. Porto: SPI - Sociedade Portuguesa de Informação.

Instituto de Gestão do Fundo Social Europeu (4 de maio de 2014). Instituto de Gestão do Fundo Social Europeu. Obtido em 4 de maio de 2014, de www.igfse.pt.

Instituto Nacional de Estatística, IP. (2011). Obtido em outubro de 2012, de www.ine.pt.

Janssen, M., & Estevez, E. (2013 ). Lean Government and platform-based governance - Doing more with less. Government Information Quarterly 30, 51-58.

Marques, C. G., Silva, V. G., & Campos, R. (2007). Um Estudo Caso com Alunos do Ensino Superior sobre o Governo Electrónico em Portugal. In R. P. C. Nascimento, A. Berquia, P. Serendero & E. Carrillo (Eds.), ACM-DL Proceedings of EATIS 2007 - Euro American

(24)

Falcão, Monteiro e Marques / O nível de qualidade oferecido pelos serviços eletrónicos

14ª Conferência da Associação Portuguesa de Sistemas de Informação (CAPSI 2014) 248 Conference on Telematics and Information Systems. Faro: ACM - Association for Computing Machinery.

Monteiro, M. H. (2010). A Adopção da eHealth nos Hospitais Públicos em Portugal 1996-2007. Tese de Doutoramento em Ciências Sociais na especialidade de Administração Pública. Lisboa, Portugal.

Oliveira, J. N., Santos, L. D., & Amaral, L. A. (2003). Universidade do Minho, Escola de Engenharia da Universidade do Minho. Obtido em 15 de Abril de 2012, de http://repositorium.sdum.uminho.pt/.

Papadomichelaki, X., & Mentzas, G. (2009). A Mutiple-Item Scale for Assessing E-Government Services Quality.

Pollitt, C. (2012). New perspectives on public services - Place and Technology. UK: Oxford University Press.

Presidência do Conselho de Ministros. (27 de fevereiro de 2001). Resolução do Conselho de Ministros n.º 22. Diário da República. Lisboa, Portugal.

Vieira, L. M. (julho de 2007). Evolução da maturidade dos serviços de informação no período de 2006-2007. ISEG/UTL - Universidade Técnica de Lisboa, Departamento de Economia. XIX Governo Constitucional. (31 de dezembro de 2012). Agenda Portugal Digital. Diário da

República, Resolução do Conselho de Ministros n.º 112/2012. Lisboa, Portugal.

XVIII Governo Constitucional. (19 de Novembro de 2010). Resolução do Conselho de Ministros nº91/2010. Diario da República. Lisboa, Portugal