A avaliação do desenvolvimento, funcionamento e impacte dos SIG e IDE

Nos processos de consciencialização, reconhecimento, alinhamento, persuasão, decisão, participação e utilização dos WEBSIG e das IDE (Rodriguez-Pabon, 2005) convergem fatores que favorecem ou limitam a ocorrência ou o alcance do desenvolvimento e adoção de SIG e IDE, relativamente à capacitação das entidades envolvidas. Embora o reconhecimento da importância verifica-se uma grande dificuldade de conceber mas acima de tudo, de formalizar modelos, ferramentas e instrumentos práticos de avaliação dos WEBSIG e IDE (Crompvoets et al., 2008c), em particular em modelos sistémicos e de natureza multidimensional (Crompvoets, 2007). Os conceitos e as metodologias de natureza formal publicadas apresentam perspetivas relevantes (Crompvoets et al., 2008c) sobre âmbitos e objetos de avaliação

concretos e neste sentido, redutores quando comparados com a complexidade interna e externa ao contexto e evolução das IDE (Grus, 2010).

Os modelos desenvolvidos exemplificam a variabilidade quanto ao âmbito espacial, contexto institucional e territorial, a escala temporal, momentos e períodos de avaliação (Masser, 2009). Esta dinâmica corresponde à produção considerável de literatura técnico-científica, à constituição de comunidades de investigadores e de realização de eventos sobre esta temática (Annoni et al., 2011). Estas metodologias de avaliação representam múltiplas abordagens relacionadas com os diferentes âmbitos, características e especificidades das IDE. Neste sentido, embora privilegiem a escala nacional, cada abordagem inclui pressupostos e perspetivas distintas (Crompvoets, 2007) no quadro da complexidade e da natureza dinâmica destas infraestruturas. Algumas das abordagens e modelos são propostas teóricas que precisam ser testadas em condições reais de aplicação (Steudler et al., 2004). Entre estas destacam-se as metodologias de desenvolvimento geracional, cadastral e as abordagens de desempenho e organizacional. Para as abordagens de aptidão (SDI-readiness e Clearinghouse) e mesmo de adequação (Clearinghouse

Suitability) existem práticas, experiências e estudos de casos de aplicação (Rajabifard e Coleman, 2012).

No método de Avaliação do Programa, embora a maturidade concetual da abordagem, os protocolos de observação, medição e avaliação precisam ainda ser definidos e desenvolvidos (Grus, 2010). A investigação e a experiência prática mostram ainda: i) o interesse e as limitações das abordagens parciais e redutoras da complexidade funcional e evolutiva destes sistemas e/ou infraestruturas digitais (Eoyang e Berkas, 1998) como sistemas complexos adaptativos (Bregt e Meerkerk, 2007; Cilliers, 1998) e; ii) a dificuldade de percecionar, diagnosticar e medir a dimensão transformadora e o impacte indireto e intangível das infraestruturas digitais de dados espaciais (Craglia e Nowak, 2006a). Neste sentido, verifica- se a evolução das metodologias de avaliação específicas para abordagens mais sistémicas, multidisciplinares que podem assumir diferentes perspetivas (Grus et al., 2010a). As abordagens focadas em âmbitos e processos concretos, quando aplicados isoladamente, permitem visualizarem perspetivas interessantes mas redutores da complexidade e do carácter dinâmico dos WEBSIG e IDE (Grus, 2010). Neste contexto, desenvolveu-se um modelo de avaliação multiperspetiva das IDE baseado na avaliação dos sistemas adaptativos complexos que inclui a soma dos múltiplos métodos anteriores com o objetivo de uma visão mais completa, realista e menos tendenciosa/enviesada do que as abordagens singulares anteriores de âmbito de análise mais restrito (Grus et al., 2011). Estes processos de avaliação reconhecem os resultados e os avanços no conhecimento mas também, melhorias nas propostas a realizar (Crompvoets et al., 2008c) (Quadro 3.10).

Esta plataforma mantem as diversas abordagens, modelos, as formas de recolha e os tipos de dados recolhidos em cada modelo e processo (ex. estudos de caso, investigações bibliográficas, entrevistas e inquéritos a informantes-chave) assumindo a natureza multifacetada e complexa da IDE. Desta forma, um conjunto de investigadores, académicos, decisores políticos e técnicos visam contribuir para a melhoria dos processos de avaliação das IDE (Rajabifard e Coleman, 2012) considerando metodologias e instrumentos

validados em âmbitos científicos e em alguns casos, por aplicação prática, mas sempre num número muito limitado de contextos e de repetições (Andrade, 2009) (Fig. 3.5).

Quadro 3.10 – Características espaciais, temporais, organizacionais e momentos de avaliação de diferentes modelos de avaliação de IDE.

Modelo de Avaliação IDE

Âmbito Espacial e escala Escala temporal frequência Contexto Institucional e organizacional Natureza Avaliação Momento e Fase de Avaliação Avaliação do nível de acesso às bases de

dados de dados espaciais Clearinghouse

approach suitability Nacional/local

Natureza dinâmica

Autoridades

nacionais e locais Prática Ex-post

Avaliação da abordagem geracional Generational assessment approach

Nacional/regiona l/global Abordagem estática Autoridades nacionais Teórica Ex-ante; on- going and ex- post Avaliação do Programa de Desenvolvimento

Programme Evaluation Nacional/global

Natureza dinâmica

Autoridades

nacionais Prática

Ex-ante; on- going and ex- post Avaliação do índice de prontidão para o

desenvolvimento da IDE SDI Readiness Index Nacional

Abordagem estática

Autoridades

nacionais Prática Ex-ante

Avaliação do Método de Avaliação Cadastral

Cadastral Assessment Approach Local

Abordagem estática

Autoridades

nacionais e locais Teórica

Ex-ante; on- going and ex- post Avaliação do Método Organizacional/Institucional Organizational perspective Local/institucion al Natureza dinâmica Autoridades

nacionais e locais Prática

Ex-ante; on- going and ex- post Abordagem da Performance/Desempenho Local/nacional

Natureza dinâmica

Autoridades

nacionais e locais Prática Ex-post

Descrição, análise e monitorização das atividades relacionadas com as Infraestruturas de Dados Espaciais Nacionais (IDEN) em países europeus no quadro da implementação da Diretiva INSPIRE

INSPIRE State of Play Nacional

Natureza dinâmica

Autoridades

nacionais Prática Ex-post

Identificação e descrição dos fatores críticos de sucesso comuns das IDE

Rodrigues Pabón Dimensão de Qualidade e Virtude Nacional/instituci onal Natureza dinâmica Autoridades nacionais Teórica Ex-ante; on- going and ex- post

O desenvolvimento de modelos e métodos multidimensionais e multiperspetiva de avaliação de SIG e IDE inserem-se numa tendência e necessidade de convergência dos conceitos, das nomenclaturas, dos critérios, dos métodos e das dinâmicas associados aos processos de normalização e de criação de políticas de incentivo e regulamentação à escala global. Esta tendência acontece pela interação e capacidade dos agentes envolvidos (van Loenen et al., 2009) e pela pressão da sociedade (Rodriguez-Pabon, 2005). A avaliação multiperspetiva de IDE apresenta-se como um plataforma e quadro concetual que se mostra muito pertinente e adequado às características dos objetos de análise (IDE), mais do que aos objetivos e processos de avaliação (Crompvoets et al., 2008c). Embora esta plataforma de avaliação seja muito promissora, carece do desenvolvimento e de exercícios de meta-avaliação em diferentes realidades e envolvendo diversos utilizadores (Grus, 2010), como por exemplo a experimentação prática da exequibilidade, assim como do potencial significado prático dos resultados obtidos (Grus, 2010; Hanssen et al., 2008).

Fig. 3.5 – Esquema de plataforma de avaliação multiperspetiva de IDE (adap. de Grus, 2010).

Esta plataforma de avaliação multiperspetiva de IDE ao considerar diferentes abordagens e metodologias e sem as integrar num único instrumento operativo, apresenta várias limitações que se relacionam com: i) a redundância em termos dos dados necessários para instruir os diversos métodos e

consequentemente a possibilidade de originar lacunas e pontos críticos de sucesso da implementação mas também, leituras sobrepostas e conflituosas;

ii) a exigência de equipas multidisciplinares, de tempo e elevados custos para uma adoção e aplicação de forma alargada;

iii) a dificuldade de implementar processos de recolha de indicadores periódicos e como tal, de obter e implementar procedimentos de natureza diacrónica que estejam implícitos à monitorização de cada ou do conjunto das componentes e dos processos envolvidos na implementação de uma IDE;

iv) a ausência de atenção e a incapacidade de avaliar e modelar os processos de inovação, difusão e adoção espacial, à escala regional e local;

v) o facto de não considerar a natureza evolutiva da passagem e dos contributos dos projetos de desenvolvimento de WEBSIG, em particular de WEBSIG organizacionais para as IDE Locais.

Esta meta-avaliação crítica da avaliação multiperspetiva deve contribuir para a formulação, propostas e experimentação de modelos de avaliação multidimensional da capacitação individual, institucional e territorial no desenvolvimento de IDEL. Estas metodologias de avaliação representam múltiplas abordagens relacionadas com os diferentes âmbitos, características e especificidades das IDE. Neste sentido, cada abordagem inclui um ponto de vista e uma perspetiva distinta (Crompvoets et al., 2007). Algumas das abordagens e modelos apresentados existem somente como propostas teóricas e precisam ser elaboradas

Âmbito da avaliação QUAD RO DE AV AL IAÇÃ O A va lia çã o multidim ens iona l de WB S IG e IDE Métodos de avaliação

Outras abordagens e métodos

Disponibilidade Clearinghouse

Baseado na performance

IDE Cadastral

Prontidão para o Desenvolvimento da IDE

INSPIRE State of Play

Avaliação do programa Geracional. Orientado a metas indicador Avaliação Indicadores indicador indicador indicador indicador indicador indicador indicador indicador indicador Avaliação Avaliação Avaliação Avaliação Avaliação Avaliação Avaliação Avaliação Avaliação Aplicação A van ços con he cime nto A val ia ção de r esul tad os Prop ost a m etod oló gica s e instrume ntais A val ia ção Mul ti- pe rspe tiva de aval ia ção d as IDE

e testadas em condições reais de aplicação (Steudler et al., 2004). Entre estas realidades destacam-se as metodologias de desenvolvimento geracional, cadastral e a abordagens de desempenho e organizacional. Um aspeto importante relaciona-se com o fato de todas as abordagens utilizarem um ou mais métodos de recolha de indicadores entre os quais estudos de caso, investigações bibliográficas, análises de documentos e entrevistas. Ao mesmo tempo, cada abordagem compreende pelo menos uma de três finalidades: i) avaliação do estado de avanço e das responsabilidades inerentes; ii) geração de conhecimento sobre os processos; e iii) como suporte a propostas e melhorias no desenvolvimento (Chelimsky, 1997; Grus, 2010).

Em síntese, estas metodologias de investigação visam avaliar o desempenho das IDE, aprofundar o conhecimento e melhorar as propostas sobre os mecanismos de apoio ao desenvolvimento de IDE (Grus et al., 2010a). Cada um dos modelos e métodos de avaliação anteriores associam-se a abordagens focadas a âmbitos e a processos concretos. Desta forma, quando aplicados isoladamente estas abordagens e métodos garantem visualizar perspetivas interessantes mas redutoras da complexidade e do carácter dinâmico dos WEBSIG e IDE. De acordo com as possibilidades mas também as limitações destas abordagens e métodos desenvolveu-se e apresentou-se a avaliação multiperspetiva de IDE que incorpora os objetivos, os métodos incluindo os indicadores e os propósitos de cada uma das metodologias indicada anteriormente (Grus, 2010).

A necessidade de analisar as diversas componentes, fases e dimensões no desenvolvimento de SIG e IDE implica a avaliação das tecnologias mas em particular, da atenção sobre os processos de capacitação pessoal e organizacional. Estes modelos e procedimentos de avaliação podem contribuir para a melhoria dos arquétipos mas também, para a concretização e melhoria dos processos de implementação e efetivação das vantagens destes instrumentos de ação territorial. Mesmo assim, deve considerar-se as vantagens das perspetivas de avaliação mais recentes que reconhecem as IDE como sistemas complexos e adaptativos. Em simultâneo verifica-se a evolução das metodologias de avaliação específicas para abordagens mais sistémicas, multidisciplinares e de multiperspetiva (Grus, 2010).

A multiplicidade destes modelos e abordagens permitem verificar a diversidade de perspetivas possíveis de formulação, concretização, e o interesse em conciliar os métodos, os resultados e as respetivas leituras, no sentido de acrescentar conhecimento a cada um dos pontos. Ao mesmo tempo esta heterogeneidade de abordagens e métodos permite verificar, numa análise, atenta que os diversos métodos apresentam interesse em acompanhar o desenvolvimento concetual (Noucher, 2009; Rodriguez-Pabon, 2005), a aplicação e implementação pela aceitação ou adopção (Rajabifard, 2002), os impactes socioeconómicos (European Commission and Institute for Environment and Sustainability (IES), 2006), consciência (Thellufsen et al., 2009), o nível de prontidão e disponibilidade (Delgado-Fernández et al., 2005), a responsabilidade (Lance et al., 2011; Lance, 2008), os estádios de evolução geracional (Grus et al., 2007), maturidade do desenvolvimento (Mäkelä, 2012), avaliação e evolução do desempenho ou performance (Giff, 2006) em paralelo à tentativa de implementar modelos de avaliação multiperspetiva (Grus et al., 2011), de resposta aos utilizadores (Georgidou, 2006), de avaliação de alternativas (Macharis e Bernardinir, 2015),

de monitorização (Castelein e Callejo, 2010) ou mesmo da realização de testes de stress (Nushi et al., 2012) conforme as possíveis respostas e impactes das IDE.

3.4 Os processos de avaliação da capacitação na implementação de IDE