See discussions, stats, and author profiles for this publication at: http://www.researchgate.net/publication/269334637
Revisão entre pares e pensamento crítico:
percurso para uma metodologia transversal
CHAPTER · JANUARY 2014 DOWNLOADS 26 VIEWS 70 7 AUTHORS, INCLUDING: Caroline Dominguez Universidade de Trás-os-Montes e Alto Douro 39 PUBLICATIONS 11 CITATIONS SEE PROFILE Rita Payan Carreira Universidade de Trás-os-Montes e Alto Douro 62 PUBLICATIONS 69 CITATIONS SEE PROFILE Maria Nascimento Universidade de Trás-os-Montes e Alto Douro 31 PUBLICATIONS 9 CITATIONS SEE PROFILE Daniela Pedrosa Universidade de Trás-os-Montes e Alto Douro 7 PUBLICATIONS 9 CITATIONS SEE PROFILEFICHA TÉCNICA Organizadores
Rui Marques Vieira (Coord.), Celina Tenreiro-Vieira, Idália Sá-Chaves, Celeste Machado
Comissão Científica
Amélia Marchão – Instituto Politécnico de Portalegre, Portugal; Ana Isabel Moniz – Universidade da Madeira, Portugal; António Moreira – Universidade de Aveiro, Portugal; Blanca Puig – Universidade de Santiago de Compostela, Espanha; Cecília Galvão – Universidade de Lisboa, Portugal
Celina Tenreiro-Vieira – Universidade de Aveiro, Portugal; Flávia Vieira – Universidade de Minho, Portugal Gabriela Portugal – Universidade de Aveiro, Portugal; Gerson Mol – Universidade de Brasília, Brasil Idália Sá-Chaves – Universidade de Aveiro, Portugal; Isabel Alarcão – Universidade de Aveiro, Portugal Isabel P. Martins – Universidade de Aveiro, Portugal; Luís Pedro – Universidade de Aveiro, Portugal Nilza Costa – Universidade de Aveiro, Portugal; Oscar Brenifier – Institut de Pratiques Philosophique de Argenteuil, França; Pedro Reis – Universidade de Lisboa, Portugal; Rui Marques Vieira – Universidade de Aveiro, Portugal; Silvia Coicaud – Universidade Nacional da Patagónia, Argentina
Equipa Editorial
Alexandra Ribeiro, Maria João Pinheiro, Sílvia Gomes
UA Editora
Universidade de Aveiro
Serviços de Biblioteca, Informação Documental e Museologia
Impressão Formas Digitais Tiragem 200 exemplares Depósito legal 378590/14 ISBN 978-972-789-424-6 Catalogação recomendada
Pensamento crítico na educação: perspetivas atuais no panorama internacional / orgs. Rui Marques Vieira...[et al.]. - Aveiro: UA Editora, 2014. - 423 p. : il.
ISBN 978-972-789-424-6 (brochado)
Pensamento crítico – Educação // Objetivos educativos // Estratégias da aprendizagem CDU 371.3
©CIDTFF - Centro de Investigação “Didática e Tecnologia na Formação de Formadores” Universidade de Aveiro, 2014
23.REVISÃO ENTRE PARES E PENSAMENTO CRÍTICO: PERCURSO PARA UMA
METODOLOGIA TRANSVERSAL
Caroline Dominguez | carold@utad.pt Rita Payan-Carreira | ritapay@utad.pt Maria da Felicidade Morais | mmorais@utad.pt
Maria Manuel Nascimento | mmsn@utad.pt Ana Maia | margaridam@utad.pt Daniela Pedrosa | dpedrosa@utad.pt
Gonçalo Cruz | goncaloc@utad.pt
Universidade de Trás-os-Montes e Alto Douro
Resumo
O pensamento crítico (PCr) é cada vez mais reconhecido como parte integrante das competências a aprofundar pelos alunos universitários durante o seu percurso de aprendizagem, por forma a melhorar as suas capacidades de julgamento e de argumentação e a prepará-los para o mercado profissional enquanto elementos mais ativos. Por outro lado, as competências de comunicação – nomeadamente a escrita – continuam a ser fundamentais na dinâmica de aprendizagem, estando intimamente relacionadas com as de pensamento crítico.
Considerando os resultados de experiências efetuadas em outros países e em Portugal sobre pensamento crítico, assim como os benefícios da avaliação entre pares, desde há algum tempo estudados na comunidade científica, este trabalho tem como objetivos: 1) descrever como um pequeno grupo constituído por professores de diversas áreas científicas da Universidade de Trás-os-Montes e Alto Douro, auxiliados por membros do gabinete e-learning, está a implementar um sistema de revisão entre pares on-line orientado para o desenvolvimento do pensamento crítico dos seus alunos; 2) apresentar as adaptações metodológicas do modelo inicial e os motivos que levaram às mesmas.
O sistema agora apresentado foi sendo desenvolvido com o objetivo de vir a recolher, analisar e disseminar indicadores de desempenho no PCr e em comunicação escrita, bem como de conhecer a perceção dos alunos sobre as competências desenvolvidas e sobre o processo em si. Este trabalho apresenta ainda uma reflexão sobre o papel dos professores na preparação e no acompanhamento da atividade e procura contribuir para o debate científico sobre o pensamento crítico e a avaliação entre pares.
Palavras-Chave: avaliação entre pares, novas tecnologias, pensamento crítico, competências,
comunicação.
Abstract
Increasing importance has being paid to critical thinking and to the need to strengthen this skill in university students along their learning process, as a way to develop better judgments, to reason and improve their writing skills, and to prepare them to the professional market. Moreover, communication skills, including
the writing ability, are viewed as central to learning process and closely related to critical thinking. Taking into consideration previous studies developed worldwide and in Portugal on critical thinking and on the peer-assessment benefits, this article aims:
1) to describe how a small group of professors with different scientific background, with the support of members from the e-learning office of UTAD, is implementing an on-line transversal peer-review methodological strategy to develop critical thinking among their students;
2) to discuss the drives for modification of the initial model.
The system described here has been progressively developed to allow the collection, the analysis and the dissemination of some performance indicators in critical thinking and written communication, as well as to retrieve the students perception on the skills developed and the usefulness of the process itself. In this paper, we will reflect on the role of teachers in preparing and monitoring the activity, and will seek to contribute to the scientific debate on critical thinking and peer reviewing.
Keywords: Peer review, Web-based technology, Critical thinking, Competences, Communication.
INTRODUÇÃO
O desenvolvimento do pensamento crítico (PCr) é de há muito considerado essencial no percurso de aprendizagem (Tenreiro-Vieira e Vieira, 2013). As reformas do ensino de Bolonha vieram enfatizar a necessidade de aprofundar esta competência num ambiente de ensino e de aprendizagem onde o papel do aluno (e do trabalho colaborativo) é central, promovendo em simultâneo atitudes ativas de maior responsabilidade, autonomia, discussão e comunicação de ideias, tanto na forma escrita como oral (WGQF, 2005; ENQA, 2006; Velada et al., 2009).
A importância crescente dada ao desenvolvimento sistemático de competências de análise, avaliação, argumentação e contra-argumentação revela-se na realização cada vez mais regular: 1) de experiências em ambiente académico de atividades que permitam fomentar essas competências; 2) pelo desenho de unidades curriculares que incluem atividades especificamente orientadas para esse objetivo; 3) na criação de unidades curriculares específicas de pensamento crítico, que em algumas universidades são obrigatórias ou fortemente aconselhadas.
Por outro lado, o aparecimento das novas tecnologias de informação e comunicação permitiu repensar as atividades de aprendizagem com novas ferramentas. A revisão entre pares de trabalhos desenvolvidos pelos alunos através de plataformas on-line constitui um exemplo de utilização desse tipo de instrumentos, que pode ser vantajosa para aprofundar competências de análise, argumentação e contra-argumentação através da comunicação escrita.
As condições de sucesso, os benefícios e as dificuldades nas atividades da revisão entre pares já vêm sendo estudados há algum tempo pela comunidade científica, incluindo recentemente
também a perspetiva de revisão on-line, que levanta problemas mais específicos (Russel, 2005; Calvo et al., 2011; Yu e Wu, 2013).
Considerando os resultados dos trabalhos sobre pensamento crítico e os benefícios da avaliação entre pares, tanto em Portugal como noutros países, este artigo procura descrever como um pequeno grupo constituído por professores de diversas áreas científicas, interessados em fomentar de uma forma mais sistemática o pensamento crítico e a reflexão sobre a sua prática pedagógica, tem vindo a implementar uma metodologia transversal para o desenvolvimento do pensamento crítico dos seus alunos através de atividades de revisão entre pares on-line. Neste projeto também participam membros do gabinete e-learning da Universidade de Trás-os-Montes e Alto Douro (UTAD). De forma complementar, esta metodologia poderá permitir gerar dados sobre a eventual melhoria de indicadores de aprendizagem, comparando-os com as tipologias de aula e sistemas de avaliação mais tradicionais. Procura-se que venha a permitir recolher indicadores de desempenho em comunicação e pensamento crítico (sendo exemplos a indução e a dedução, enquanto elementos da inferência, a credibilidade e a identificação de argumentos), refletir sobre o papel dos professores e das novas tecnologias (sejam benefícios, barreiras, ou outros) neste tipo de atividades, e assim contribuir para o debate científico sobre o pensamento crítico e a avaliação entre pares sob diferentes pontos de vista.
Neste trabalho descrevem-se as diferentes fases subjacentes à aplicação de uma atividade de revisão entre pares on-line enquanto instrumento para o pensamento crítico e, em simultâneo, discutem-se os fatores que levaram às modificações do modelo inicial da atividade, assim como as condições/elementos que podem influenciar o desenvolvimento das competências de comunicação e de pensamento crítico nos alunos num ambiente de revisão entre pares on-line. 1. FUNDAMENTAÇÃO
1.1. Evolução do conceito de pensamento crítico
Tendo possivelmente a sua origem na escola socrática, na Grécia antiga, o pensamento crítico foi desenvolvido através dos tempos por filósofos, teólogos e pensadores que viram na análise crítica das situações e teses propostas uma forma de testar a sua validade e de fazer progredir a Ciência. Já nos finais do séc. XIX e no séc. XX, o pensamento crítico foi alargado a diversas áreas, incluindo as áreas da saúde, sociologia, linguística e ciências políticas (Paul et al., 2013). No século passado, a introdução da metodologia pedagógica do ensino baseado em evidências deu um novo impulso ao pensamento crítico, enquanto ferramenta de aprendizagem, e relançou o debate sobre as vantagens do ensino através da análise crítica relativamente à transmissão linear da informação (Purvis, 2009). Em paralelo, foram também desenvolvidas algumas ferramentas de análise e mensuração do nível desta capacidade.
focam sobretudo na análise lógica e nas técnicas de resolução de problemas, nas mais recentes foram incorporados aspetos práticos e reflexivos do pensamento crítico aos quais está associada uma série de competências ou capacidades (Simpson e Courtnay, 2002). Watson e Glaser (1980), por exemplo, apresentam o PCr como uma capacidade genérica que pode ser avaliada independentemente do contexto e do assunto, tendo identificado seis capacidades críticas essenciais: definição do problema, seleção da informação pertinente face à solução apresentada, reconhecimento das inferências, formulação de hipóteses, estabelecimento de conclusões e julgamento sobre a validade das inferências. Ennis também incluiu ainda neste conceito a capacidade de tomada de decisão e propôs uma grelha designada por FRISCO, acrónimo das palavras inglesas para cada um dos elementos que a integram (Ennis, 1996).
O pensamento crítico não é estático, sendo influenciado pelo contexto, pela experiência própria (seja por experiências positivas ou negativas) e pela prática reflexiva (Daly, 1998; Purvis, 2009). Reconhece-se agora que aprender a pensar de forma crítica é uma competência essencial que pode ser aplicada independentemente do domínio do conhecimento, mesmo se o debate subsiste sobre se o pensamento crítico é passível de se desenvolver de forma genérica ou está limitado a uma área do saber. Este reconhecimento levou à introdução, quer de abordagens específicas de pensamento crítico em unidades curriculares existentes, quer de introdução de unidades curriculares específicas em cursos oferecidos em Instituições um pouco por todo o mundo, e mais recentemente em Portugal (como na Faculdade de Letras/UP, na FCT/UNL, na Universidade Católica, no ISCTE e no IU de Lisboa, entre outras). Nos currículos da área da saúde em particular, o pensamento crítico é considerado uma ferramenta crucial na avaliação de situações clínicas e na abordagem de situações de emergência (Purvis, 2009). Mais recentemente, com a adequação do ensino superior europeu ao Paradigma de Bolonha, a necessidade de desenvolver entre os estudantes capacidades de pensamento crítico voltou a estar em discussão. Com Bolonha, o ensino deve centrar-se no aluno, surgindo o professor como modulador do processo de aprendizagem; a autoaprendizagem pressupõe o desenvolvimento de competências analíticas de resolução de problemas, de argumentação, assim como de escrita e de discussão de ideias, reforçando o potencial de aprendizagem ao longo da vida. Contudo, os estudantes que chegam à Universidade geralmente possuem capacidades limitadas de pensamento crítico e pouca disciplina para a aprendizagem individual, independentemente da sua área de formação prévia (Myers, 2010 em Karandinou, 2012). A aprendizagem com base em problemas é uma das oportunidades disponíveis para facilitar o desenvolvimento e aquisição de competências de pensamento crítico, em paralelo com a revisão sistemática da literatura, exercícios de questionamento crítico e mapeamento de conceitos (Jamison, 2005).
Seja qual for a atividade de pensamento crítico a desenvolver, é desejável medir o seu sucesso, quantificando o nível individual no início e no final da mesma (Snyder e Snyder, 2008, citando Broadbear, 2003), sem o que eventuais alterações nesta competência não deixarão de ser
meras perceções. Esta avaliação pode ser feita através de métodos indiretos, entre os quais encontramos as modificações nas notas obtidas (Russell, 2005), o grau de aceitação e empenho dos alunos na atividade através de questionários (Secomb, 2007), a avaliação sequencial da qualidade de um trabalho escrito (Lu e Bol, 2007), ou a aplicação de uma grelha semiquantitativa, em que o interveniente é avaliado em várias áreas de desempenho numa escala de 3 a 5 pontos (Basnet et al., 2009).
Contudo, existem alternativas mais diretas para quantificação da capacidade de pensamento crítico, algumas dos quais correntemente utilizadas por algumas Instituições nos seus processos de recrutamento e em escolas e universidades. Estes, se aplicados antes e depois de desenvolvida a atividade, podem medir o eventual incremento desta competência nos participantes. De entre estes métodos destacam-se o Teste Californiano de Facione (1990), o teste de Cornell (Ennis e Millman, 1985), o Teste de Ennis-Weir (Ennis e Weir, 1985), o teste de Watson-Glaser (Watson e Glaser, 1980) e o teste de Smith e Whetton ou o procedimento de Perkins (Anderson e Soden, 2001). Embora estes testes sejam de âmbito generalista (i.e., não se destinam a uma formação específica, podendo ser aplicados em pessoas de qualquer área científica), deverão que ser aferidos ao grupo (idade, origem geográfica, entre outros) (Lai, 2011).
1.2. A revisão entre pares e o pensamento crítico
Quer se considere a introdução de formação específica sobre pensamento crítico nos currículos universitários ou não, cada professor poderá contribuir para o desenvolvimento do espírito crítico dos seus alunos no âmbito das disciplinas que leciona. O pensamento crítico pode ser estimulado com recurso a diversas ferramentas, algumas das quais colaborativas, que envolvem de modo diferente os alunos. O recurso à revisão entre pares enquanto instrumento facilitador da aprendizagem não é novo, tendo sido amplamente aplicado na avaliação colaborativa em vários domínios científicos (Yang et al., 2010; Lu e Law, 2011; Yu e Wu, 2013). A revisão entre pares é vista como uma ferramenta que promove uma aprendizagem ativa (Knight e Steinbach, 2011) e o desenvolvimento de capacidades relacionadas com diagnóstico, avaliação, síntese e comunicação do pensamento crítico (Hamer e Kwong, 2005; Bauer et al., 2009; Sondergaard, 2009), ao mesmo tempo que favorece o desenvolvimento da capacidade de escrita (Ozogul e Sullivan, 2007). Ao fazer uma revisão do trabalho dos seus colegas, o aluno tem a oportunidade de analisar de forma crítica, comentar e comparar o trabalho dos colegas com o seu e participar assim ativamente no processo global de aprendizagem (Sung et al., 2005; Karandinou, 2012). Contudo, nem sempre os estudantes aceitam sem reservas participar num projeto de revisão entre pares (Kaufman e Schunn, 2011). Existem vários fatores críticos para o seu uso efetivo. Um aspeto amplamente discutido é o tipo de revisão (anónima ou não). São sublinhadas as vantagens da revisão anónima por favorecer uma resposta mais crítica, isenta de eventuais
pressões de fatores interpessoais, permitindo aos alunos uma expressão mais livre e honesta da sua opinião (Lu e Bol, 2007). São também importantes as características individuais dos alunos (Shute, 2008) para além de outros fatores como: a presença ou não do professor no processo de revisão/avaliação (Sadler e Good, 2006; Nelson e Schunn, 2009); a atribuição ou não de nota pelos alunos (Lu e Law, 2011; Sadler e Good, 2006); o grau de competência que os alunos conferem aos seus colegas e a si próprios para a tarefa de revisão, comparativamente com o do docente (Nelson e Schunn, 2009); e as características do feedback (Shute, 2008). Aliás, quanto a este último aspeto vários trabalhos incidem sobre as características presentes num “bom” feedback (Shute, 2008; Nelson e Schunn, 2009; Sternberg, 2002; Rienzo e Han, 2009; Ozogul e Sullivan, 2007). Nelson e Schunn (2009) propõem um modelo sintético dividindo as características em dois grupos, as do domínio cognitivo e as do domínio afetivo. Porém, os resultados de um “bom” feedback estão longe de estar quantificados e o seu estudo está em curso, quer relacionando o tipo de feedback com o aumento da qualidade dos trabalhos e/ou com as notas recebidas, quer sobre a perspetiva da posição do aluno enquanto revisor ou autor (Sadler e Good, 2006).
Mais recentemente, tem-se debatido também o recurso às tecnologias nas atividades de revisão entre pares. Se, por um lado, permitem facilitar as tarefas de revisão, tanto para o(s) estudante(s) como para o(s) docente(s) envolvidos nas atividades (Yu e Wu, 2013), existem contudo dificuldades em encontrar um programa eletrónico de uso livre, de fácil utilização, intuitivo e que favoreça o anonimato. O processo pode ainda revelar-se mais complexo do que o realizado na prática letiva (Knight e Steinbach, 2011) e envolve mais motivação e esforço por parte do professor (Yu e Wu, 2013). Existem várias referências sobre a aprendizagem colaborativa, incluindo o uso do ambiente Google Docs, agora designado por Drive (Rienzo e Han, 2009; Calvo et al., 2011) e os seus benefícios (Chu et al., 2009; Cruz et al., 2012; Cruz et al. 2013; Brodahl et al., 2011; Javier e Gil, 2013). Contudo, Brodahl et al. (2011) mostram que existem dificuldades decorrentes, não só das atitudes dos alunos, mas também do conteúdo dos temas, da abordagem e apoio pedagógicos e ainda do tempo atribuído à atividade.
2. IMPLEMENTAÇÃO DA METODOLOGIA DE REVISÃO ENTRE PARES NA UTAD
A implementação da metodologia de revisão entre pares on-line agora descrita tem sido progressiva. Iniciou-se com uma atividade proposta por uma professora de Gestão de Empresas que leciona na área das engenharias. Com o intuito de reduzir o tempo despendido e aumentar a fluidez da atividade, tomou a iniciativa de transferir a avaliação entre pares da análise e crítica de 4 artigos (por semestre e por aluno) da forma escrita em papel, que vinha usando, para uma plataforma on-line recorrendo ao Google Drive. Esta atividade foi evoluindo no sentido de trabalhar algumas competências de pensamento crítico (como a análise de inferências e argumentos) e de abrir a metodologia a outras áreas científicas. Esta evolução será apresentada de forma
cronológica, em momentos (que correspondem a semestres), realçando as diferentes etapas e a reflexão do grupo de docentes envolvidos. Todos os fatores aqui apresentados contribuíram para a melhoria contínua do sistema utilizado.
2.1 Desenho metodológico geral da atividade
Com o tempo foram introduzidas algumas modificações ao desenho metodológico inicial, decorrentes da experiência adquirida. É possível distinguir essencialmente dois momentos: o Momento 1 (ano letivo de 2011/2012) que integrava tarefas de análise crítica e escrita, seguida de revisão por um par; e os Momentos 2 e 3 (respetivamente o 1º e 2º semestres de 2012/2013) em que o desenho metodológico foi refinado com a introdução de ferramentas adicionais de orientação e avaliação quantitativa da atividade. Na Figura 1 encontra-se resumida a evolução temporal que culmina com a implementação do modelo atualmente em uso. Atualmente, o desenho metodológico implementado comporta os elementos descritos em seguida.
2.1.1.Tarefas a realizar
A atividade consiste na análise crítica de dois ou mais artigos (ciclos da atividade), com vista à elaboração de um documento escrito a ser avaliado pelos pares da mesma unidade curricular. A atividade é desenvolvida com os alunos agrupados de acordo com as tarefas a desenvolver: aluno-autor, para o aluno que realiza o seu trabalho de resumo, análise e crítica, e aluno-revisor, para o aluno que faz a revisão do trabalho desenvolvido pelo aluno-autor. Geralmente, todos os alunos têm a oportunidade de desempenhar cada um destes papéis, ao longo dos ciclos que constituem uma atividade, apoiados por documentos orientadores.
Figura 1 - Evolução temporal dos principais aspetos da atividade. M om en to s (a no s le tiv os ) Li ce nc ia tu ra (u ni da de c ur ric ul ar da s tu rm as en vo lv id as , an o/ se m es tre ) N úm er o de al un os N úm er o de a rti go s da a tiv id ad e Ti po d e re vi sã o U so d e m od el o (t em pl at e) D oc um en to s de ap oi o ao tra ba lh o do s al un os Au la s de a po io a o us o da s fe rr am en ta s te cn ol óg ic as Au la s de a po io à in tro du çã o ao PC r Av al ia çã o Te st e de C or ne ll, ní ve l X Mome nt o 1 (1 º e 2 º sem est res d e 201 1/ 20 12) Engen ha ria C iv il (G es tão d a Em pr esa d e C on st ru ção, 1 º a/ 1 ºs) e Engen ha ria Inf or m át ic a (E ngen ha ria d as O rga niz aç ões, 1 º /1 º) Engen ha ria d e Ene rgia s (G es tão Ind us tria l, 1º /2º ) 44 25 21 Engen ha ria C iv il: 4, 2 em pa pel e 2 com o G oo gl e D oc s ) s el ec io na do s pel os a luno s Engen ha ria s Inf or m át ic a e d e Ene rgia s: 4 (e 3 ) com o G oo gl e D oc s ) s el ec io na do s pel os a luno s N ão f oi anó nim a N ão , apenas orient aç ões or ai s d ad as pel o prof es so r Si m, c om u m do cum en to gera l de or ient aç ão e tab el as d e or ie nt aç ão d as at iv id ad es Si m , pel o pr ofe ss or em c onjunt o c om o ga binet e d e e-lear ning d a UTA D N ão, ap en as or ie nt aç õe s or ai s dad as p el o prof es so r Ava lia çã o int erm éd ia pel os al uno s r evi so res e pe lo p rof es sor ; av al ia ção fina l pe lo p rof es sor N ão f oi real iz ad o Mome nt o 2 (1 º s em est re de 201 2/ 20 13) Engen ha ria C iv il (G es tão d a Em pr esa d e C on st ru ção, 1 º a/ 1 ºs) e Engen ha ria Inf or m át ic a (E ngen ha ria d as O rga niz aç ões, 1 º /1 º) Mes trad o Int egra do em Me dic ina Vet eriná ria ( N ova s Tec no lo gia s d a R epro duç ão , 5 º a/ 1 ºs) 4 0 31 18 3 , t od os c om o G oo gl e Dr ive sel ec io na do s pel o prof es so r Anó nim a, co m gr and e sob re car ga de tr aba lh o po rq ue a pl at af orm a nã o est á pr epa ra da pa ra o ano nim at o Sim Si m , gr el ha d e Shu nn p ar a o fe ed ba ck e gr el ha F R ISCO pa ra ap oi o à revis ão Si m , pel o pr ofe ss or N ão, ap en as or ie nt aç õe s or ai s dad as p el o prof es so r com ref erên cia a os do cum en to s R evis ão int erm éd ia pel os al un os, m as se m no tas ; r evi sã o final e no ta d o prof es so r Foi real izad o ant es e depo is d a at iv id ad e, m as e m pa pel . No Mes trad o Int egra do em Me dic ina Vet eriná ria nã o foi real iz ad o Mome nt o 3 (2 º s em est re de 201 2/ 20 13) Engen ha ria d e Ene rgia s e Engen ha ria Me câ nic a (G es tão Ind us tria l, 1º /2º ) C iênc ia s d a C om un ic aç ão, (T éc nic as d e Ex pr es são O ral e Es cr ita, 1 ºa /2 ºs) 17 27 54 aluno s 3 , t od os c om o G oo gl e Dr ive sel ec io na do s pel o prof es so r Anó nim a,
com recurs
o a e -ma ils inv en ta do s pel os al uno s ga ra nt ind o, dest e m od o, o ano nim at o Sim , m el ho ra do Si m , gr el ha d e Shu nn p ar a o fe ed ba ck e gr el ha F R ISCO pa ra ap oi o à revis ão Si m , pel o pr ofe ss or Si m , a penas na s lic en cia tura s em en genha ria s 2 aul as d e 2 ho ra s di nam izad a p el o prof es so r R evis ão int erm éd ia pel os al uno s, c om dir eit o a c ont ra -ar gu m en taç ão pel o a luno -r evis or das c or re çõe s d o al uno -au tor e sem no ta s; revis ão final e no ta d o p rof es sor Foi real izad o ant es em pa pel e depo is d a at iv id ad e on -line.
As tarefas a desenvolver individualmente pelo alunos-autores no período de uma semana estão apresentadas na Figura 2.
Figura 2 - Esquema das tarefas iniciais a realizar pelo aluno-autor.
Depois de finalizada a tarefa de escrita, o documento é partilhado com o docente e com o colega revisor (selecionado pelo professor) através do Google Drive. O aluno-revisor tem igual período para ler o trabalho do aluno-autor e dar o seu feedback com sugestões de melhoria. Em seguida, o aluno-autor dispõe de uma semana para melhorar (de forma voluntária) o seu trabalho original. A esta atividade é atribuída uma classificação ao desempenho do aluno-autor e do aluno-revisor. 2.1.2. Sistema on-line adotado e apoio para ambientação na atividade
A Google Drive é a plataforma web utilizada para a realização desta atividade por ser de fácil acesso e permitir a realização do trabalho em ambiente Word. Além de evitar a transferência elevada de papéis entre alunos, decorrente do número de interações, este sistema on-line possibilita que mesmo os alunos ausentes nos dias em que se trocam os documentos possam fazer o seu trabalho, de forma diferida, até à data calendarizada.
Todos os recursos necessários à realização das diferentes tarefas são partilhados através desta plataforma, nomeadamente o documento orientador que contém a descrição dos objetivos e das diferentes tarefas a realizar, além de incluir também descritores para a avaliação, a aplicar tanto pelos alunos como pelo professor. Para efeitos de avaliação, devem considerar-se evidências das seguintes competências do aluno-autor: resumo (claro e sem repetição de ideias), identificação completa das variáveis em jogo, apresentação de oportunidades e ameaças e formulação de uma crítica pessoal sobre o artigo bem fundamentada.
São também colocados e partilhados no Google Drive documentos de suporte (orientações gerais e calendarização das tarefas), com o objetivo de ajudar os alunos a cooperarem nas diferentes fases do trabalho. Entre estes, estão os documentos orientadores da execução da tarefa, que incluem a grelha de Nelson e Shunn (2009) sobre a qualidade do feedback e a grelha FRISCO (Ennis, 1996). A grelha FRISCO deve ser utilizada pelos alunos como instrumento de
apoio à emissão de uma opinião crítica fundamentada acerca do texto analisado, permitindo-lhes exercitar em simultâneo algumas competências de pensamento crítico, como a identificação de razões, inferências, credibilidade das informações, entre outras.
A atividade é precedida por duas sessões introdutórias, de 50 minutos, sobre o pensamento crítico e a grelha FRISCO, os objetivos e tarefas a realizar e o ambiente e modo de funcionamento do Google Drive.
Para uniformizar o documento escrito a apresentar pelo aluno-autor, disponibiliza-se um documento-base (template) em conjunto com o artigo a analisar, permitindo aos alunos que desenvolvam de forma mais rigorosa e orientada a sua análise. Este modelo contém duas partes, uma dirigida ao aluno-autor e outra ao aluno-revisor, integrando diferentes subpartes que identificam as diferentes etapas da análise a ser conduzida.
2.1.3. Acompanhamento da atividade pelo docente
As atividades são acompanhadas regularmente através da análise dos documentos partilhados, do esclarecimento de dúvidas sobre o ambiente Google Drive e da apresentação oral aos alunos de um ou dois bons exemplos dos trabalhos efetuados. Em complemento, são transmitidas oralmente orientações gerais sobre como fazer um bom feedback, incidindo sobretudo na necessidade de os comentários serem incentivadores e construtivos.
2.1.4 Instrumentos de análise da atividade
Há interesse em analisar os resultados obtidos, tanto no que respeita à avaliação global do sucesso da atividade, como à análise do eventual incremento das capacidades de comunicação e de pensamento crítico dos alunos envolvidos, através de dois instrumentos: um inquérito por questionário aplicado aos alunos no final do semestre e uma tabela de ocorrências das categorias de bom feedback da grelha de Nelson e Schunn (2009). A partir do Momento 2, a avaliação global da atividade complementa-se com a realização do Teste de Cornell de Nível X (Ennis, 1985), na sua versão validada para a realidade portuguesa (Oliveira, 1992, Tenreiro-Vieira, 1994 e Vieira, 1995 citados por Tenreiro-Vieira, 2004), como forma mais rápida e direta de avaliar a aquisição de competências de pensamento crítico. Este teste é passado antes do início da atividade (capacidade inicial) e no final do semestre (capacidade final).
O inquérito final sobre o desenrolar da atividade, além de permitir a caracterização do perfil do aluno (género, idade e familiarização com as ferramentas na Internet, nomeadamente a utilização do Google Drive), procura saber a sua opinião sobre a abordagem pedagógica adotada (execução das tarefas, facilidade do uso do ambiente on-line, calendarização das atividades e do tempo nelas despendido e sobre a utilidade dos materiais de apoio); a sua perceção sobre a qualidade do feedback recebido (o seu valor, bem como o seu contributo para melhorar a qualidade da sua escrita); sobre as competências adquiridas e a satisfação geral em relação à atividade. Por
último, algumas questões abertas aferem a opinião dos alunos em relação à importância dada às sugestões de melhoria (ou não) dos seus pares e do professor, assim como as razões para terem (ou não) usado as sugestões dos seus pares.
Ao nível das competências de comunicação e de pensamento crítico, é também analisada a qualidade do feedback, que indicia alguma capacidade de pensamento crítico - a saber: visão global, identificação de problemas locais e globais, identificação de soluções locais e globais, uso de explicações, elogios, contra-argumentação e implementação do feedback. Esta análise é realizada através da avaliação dos comentários presentes em cada trabalho de acordo com as categorias utilizadas por Nelson e Shunn (2009).
2.2. Implementação da atividade e resultados
Esta metodologia foi melhorada gradualmente através de ajustamentos, correspondendo à eliminação de pontos negativos ou à melhoria das tarefas que integram a atividade, pela análise dos inquéritos realizados no final de cada atividade e dos documentos produzidos pelos alunos. Para testar a sua transversalidade, a atividade foi posteriormente alargada (Momentos 2 e 3) a alunos de outras formações.
No ano letivo de 2012/13 forma-se na UTAD um grupo constituído por vários professores interessados em desenvolver esta atividade. Este grupo (WebPACT) engloba docentes das áreas de Ciências da Educação, Ciências da Comunicação, Medicina Veterinária, Estatística, Agronomia, Gestão e Linguística, e reúne-se regularmente para debater a metodologia, agregar material e trabalhar de forma colaborativa o pensamento crítico e a avaliação entre pares, bem como os resultados dos instrumentos de avaliação.
2.2.1. Momento 1 (1º e 2º semestres 2011/12): aplicação inicial da atividade
A atividade foi implementada pela primeira vez no ano de 2011/12, em ambos os semestres, no âmbito das unidades curriculares de Gestão de Empresas: no 1º ano das licenciaturas em Engenharia Civil (com 44 alunos), em Engenharia em Energias (21 alunos) e em Engenharia Informática (25 alunos). Tinha como objetivo a exposição dos alunos à análise económica SWOT (Forças, Fraqueza, Oportunidades e Ameaças), na qual os alunos deviam identificar e analisar de forma crítica as oportunidades e ameaças com as quais as empresas e outros agentes económicos se confrontam. Além das competências cognitivas a desenvolver, esta atividade procurava o reforço e o desenvolvimento das seguintes capacidades: escrita, síntese, análise, comunicação interpessoal e utilização de novas tecnologias.
Nesta fase, as diferenças em relação à metodologia apresentada anteriormente consistiam: na realização de quatro ciclos de revisão; na revisão intermédia do documento produzido pelo aluno-autor era atribuída uma nota pelo aluno-revisor e pelo docente, além da nota final atribuída pelo
docente ao par autor-revisor; o artigo a analisar era selecionado pelo aluno-autor; a atividade não era anónima. Dois dos ciclos foram realizados ainda em papel. Os alunos alternaram nas funções de autor e revisor. Esta atividade contribuiu para a nota final da unidade curricular com um terço do valor (numa escala de 0 a 20), resultando da média aritmética de cada ciclo.
A coordenação da atividade fez-se no Google Drive, através de vários documentos (Figura 3) com a identificação dos elementos participantes, a distribuição das tarefas por aluno, as ligações para partilha simultânea de documentos e tabelas com a atualização do estado de cada tarefa na forma de checklist.
A análise dos questionários realizados neste Momento 1 mostrou que a atividade foi satisfatória para a maioria dos alunos (94%), embora sugerisse a necessidade de eliminar a atribuição de nota intermédia, pois podia interferir negativamente com a utilização dos comentários dos alunos-revisores pelos alunos-autores (opinião de 77% dos inquiridos, tendo 11% referido não ter aceite a revisão do seu par e 11% referido não ter gostado da tarefa de revisor (Cruz et al., 2013)).
Figura 3 - Tabelas de pares alunos-autores e alunos-revisores e tabela da evolução das tarefas no ano
letivo 2011/12 (Momento 1)
Ficou também patente que a ausência de anonimato introduziu um elemento de desconforto na realização da atividade. Uma análise exaustiva ao tipo de comentários efetuados pelos alunos-revisores, e por comparação com o modelo de Nelson e Shunn (2009), evidenciou a necessidade de reforçar este aspeto do trabalho com os alunos. Por exemplo, se os alunos tiveram sucesso na identificação e resolução de problemas locais, mostraram mais dificuldades na identificação (e resolução) de problemas globais, assim como na expressão da sua visão global do trabalho em questão (Figura 4).
Figura 4- Análise do feedback a partir da grelha de Nelson e Shunn (2009)
Verificou-se ainda que a emissão de uma opinião pessoal crítica sobre o conteúdo do documento em análise foi muito superficial, exigindo um trabalho mais aprofundado em edições posteriores da atividade. Por outro lado, ainda foi necessário um grande envolvimento e tempo do docente, quer na avaliação de alunos autores e revisores, quer no acompanhamento da gestão e controlo das tabelas de orientação (conclusões apresentadas num seminário realizado na UTAD em Maio de 2012 e, posteriormente, publicadas na forma de artigo (Cruz et al., 2013)).
A análise da atividade neste momento levou a questionar: a posição do aluno (autor vs. revisor) que permite uma maior aquisição de competências, se o anonimato influi no tipo de comentários e na utilização das sugestões; o modo de potenciar mais o pensamento crítico, sobretudo na emissão de uma opinião pessoal crítica fundamentada; a forma de contrariar a sobrecarga de trabalho da docente associada à atividade; o modo de testar de forma rápida, direta e complementar a aquisição de competências de pensamento crítico.
2.2.2. Momento 2 (1º semestre de 2012/13)
Esta atividade foi implementada na íntegra numa turma do 1º ano das Licenciaturas em Engenharia Civil e em Informática, em 62 alunos, e replicada a título experimental pela colega de Veterinária, numa unidade curricular de opção (18 alunos) do 5º ano do Mestrado Integrado em Medicina Veterinária, ainda que sem a aplicação do teste de Cornell ou do questionário.
Decorrente da análise da atividade desenvolvida no momento anterior, a metodologia foi ajustada (Figura 5), passando para um total de três ciclos on-line. A seleção do artigo passou a ser feita pelo docente, sendo igual para todos os alunos (diminuindo assim o tempo de avaliação). A revisão intermédia não foi associada à classificação, reduzindo eventuais conflitos e favorecendo a introdução de melhorias pelo aluno-autor. Toda a atividade foi convertida num processo anónimo. Na ausência de alternativas diretas no Google Drive, a partilha dos documentos foi efetuada por membros da equipa de e-learning, que duplicou os documentos e os partilhou
de forma anónima novamente com os alunos, o que representou um trabalho considerável. Os alunos foram alertados para a necessidade de seguirem as grelhas FRISCO e de Nelson e Shunn na elaboração dos documentos escritos.
Outra das alterações introduzidas levou a que os alunos desempenhassem um único papel durante todo o semestre (autores vs. revisores), procurando testar se a posição dos alunos influenciava a aquisição das competências pretendidas. Consequentemente, no questionário final distinguiram-se os dois papéis. Finalmente, a pré-calendarização das datas limites de submissão dos trabalhos pelos autores e revisores orientou a atividade, tornando desnecessárias as checklists anteriores. Para fortalecer o feedback, durante a atividade foram sendo discutidos, em ambiente de aula, exemplos dos melhores trabalhos.
Na análise preliminar desta etapa, constatou-se que: os alunos tiveram dificuldades na compreensão de grelha FRISCO, sobretudo no tópico “inferências”, sugerindo a necessidade de reforçar o apoio prestado neste ponto; o anonimato foi apreciado pelos alunos e permitiu-lhes realizar um trabalho sem as limitações eventuais da influência das relações pessoais, se bem que a forma encontrada para manter o anonimato precisasse de ser revista, pela sobrecarga e dependência do apoio do gabinete e-learning.
Figura 5 - Esquema comparativo das tarefas a desempenhar ao longo
da tarefa no Momento 1 (em cima) e nos Momentos 2 e 3 (em baixo).
Por sua vez, os resultados dos testes de Cornell aplicados na turma de Engenharia Civil revelaram a existência de um incremento geral na competência de pensamento crítico, sendo os resultados finais considerados melhores que os iniciais (valor de prova, p = 0,98%). Decidiu-se continuar a aplicar este teste nas etapas seguintes como forma de avaliação global da atividade.
2.2.3. Momento 3 (2º semestre de 2012/13)
Neste momento a atividade de avaliação entre pares foi implementada no 1º ano das licenciaturas em Energia e em Mecânica (44 alunos), e na unidade curricular de Técnicas de Expressão Oral e Escrita, da licenciatura em Ciências da Comunicação (54 alunos).
reforçar a ambientação às ferramentas a aplicar na execução da atividade, em particular sobre a grelha FRISCO e o pensamento crítico, e disponibilizou-se on-line um documento especificando de maneira detalhada os elementos desta grelha. O modelo de documento criado para a atividade (template) foi melhorado pela introdução de hiperligações aos documentos de apoio e de calendarização. No seguimento da política de reforço do feedback (muito apreciado pelos alunos), os exemplos de uma boa revisão apresentados na aula foram também disponibilizados on-line. Na tentativa de tornar mais fluída a dinâmica do trabalho e manter o anonimato entre participantes, foram utilizados correios eletrónicos criados pelos alunos a partir de pseudónimos irreconhecíveis, permitindo simplificar e agilizar a gestão da partilha de documentos no Google Drive pelo docente, sem necessidade de apoio técnico constante.
A análise desta etapa, que está em curso neste momento, assim como a implementação alargada da metodologia, permitirão aprofundar o conhecimento sobre esta temática assim como validar o seu carácter transversal.
3. DISCUSSÃO, CONCLUSÕES E PERSPETIVAS
A partir da descrição do percurso de um grupo de docentes da UTAD (o webPACT) na utilização de um ambiente on-line de revisão entre pares, identificaram-se algumas condicionantes para o desenvolvimento de competências de comunicação e de pensamento crítico nos alunos. Numa dialética entre a teoria e a prática, ao longo dos quatro semestres aqui relatados, foram efetuados alguns ajustes em relação à metodologia utilizada inicialmente, tornando-a mais completa e apurada.
Ao longo deste percurso, procurou-se a construção e a uniformização dos modelos de análise de artigos e de feedback, pelo que se aplicaram as grelhas FRISCO (Ennis, 1996), orientadora para a revisão do artigo, e de Nelson e Schunn (2009), para o feedback, disponibilizadas on-line em simultâneo com um modelo do documento a ser utilizado e partilhado entre os alunos-autores e alunos-revisores. A introdução de um artigo único por ciclo, selecionado pelo professor (e não artigos diferentes escolhidos pelos alunos) também permitiu uniformizar a dificuldade do exercício e ajustá-la à temática a desenvolver num momento particular da aprendizagem em cada unidade curricular (UC), diminuindo ao mesmo tempo o trabalho de correção do docente. A opção pelo anonimato na realização da atividade foi bem acolhida pelos alunos. O anonimato permitiu ultrapassar eventuais pontos de atrito, quer ao nível do autor, como do aluno--revisor, mercê de influências sociais e psicológicas que se estabelecem na turma onde se desenvolve a análise (Lu e Bol, 2007; Cho e MacArthur, 2010; Stribjos et al., 2010). Tal como a literatura refere, o facto de conhecer o aluno em avaliação pode enviesar a isenção com que realizam esta tarefa, seja porque os participantes não estão à vontade por se verem no mesmo nível (Karandinou, 2012), seja por se encontrarem sujeitos a influências decorrentes das relações
interpessoais e das preferências pessoais (Lu e Bol, 2007), o que pode interferir com a sua credibilidade. De facto, da análise realizada sobre o Momento 1, menos de 25% dos alunos consideraram que os colegas possuíam a mesma capacidade de avaliação que o professor (dados não publicados). Estes motivos levaram também a que se removesse da atividade, nos Momentos 2 e 3, a classificação intermédia.
A atenção prestada à qualidade do feedback foi muito importante e pode contribuir para o sucesso da atividade e o crescendo das competências a desenvolver, nomeadamente de comunicação. Para ser eficaz o feedback não pode ser vago nem demasiado complexo, sob pena de não atingir os seus propósitos e desmotivar os intervenientes no processo (Lu e Bol, 2007). Deve ser claro, objetivo e fornecer diretrizes e sugestões relacionadas com os objetivos propostos (Stribjos et al., 2010). Também não pode ser demasiado genérico ou superficial pois perde eficiência e condiciona a forma como são recebidos os comentários e a sua transposição para o documento em elaboração (Stribjos et al., 2010). Os resultados analisados no primeiro momento, e já publicados (Cruz et al., 2013), confirmam a utilização generalizada do modelo de feedback de Nelson e Schunn (2009) embora, em termos do trabalho a desenvolver com os alunos, necessitasse de ser melhorado em áreas específicas (localização e resolução global de problemas). A comparação das respostas dos questionários realizados com a evolução dos documentos escritos, quanto às características do feedback dado, evidenciou que nem sempre as sugestões fornecidas pelos alunos-revisores foram aproveitadas pelos alunos-autores para o respetivo trabalhar, embora ainda não sejamos capazes de apreciar a forma como poderão ter influenciado a construção do trabalho no ciclo subsequente.
A demonstração oral e a disponibilização on-line de exemplos concretos retirados de trabalhos anteriores constituíram um estímulo adicional para os alunos envolvidos na atividade e, ao mesmo tempo, apontaram caminhos desejáveis para serem explorados em exercícios e/ou ciclos subsequentes desta atividade. Além disso, o facto de ela se desenvolver ao longo do semestre em ciclos repetidos favorece um crescendo de competências, limando possíveis “desfasamentos” e minorando as dificuldades na compreensão dos objetivos propostos que têm sido referidos em situações com poucos ciclos (Van Zundert et al., 2010).
A atividade desenvolvida foi bem aceite pelo conjunto de alunos que nela participaram. Indo ao encontro das perceções iniciais, a redução da atividade para três ciclos permitiu conceder mais tempo para a realização de cada tarefa, e evitou criar pontos de tensão que pudessem comprometer os seus resultados. A introdução de aulas específicas sobre pensamento crítico parece ter sido importante para ultrapassar as dificuldades sentidas na parte mais pessoal e crítica do trabalho, embora ainda sejam necessários aprofundamentos no domínio das inferências, em particular. Mais importante ainda, a aplicação desta atividade permitiu melhorar as competências de pensamento crítico dos alunos que nela participaram, o que foi avaliado qualitativamente no
Momento 1 através dos inquéritos por questionário e da análise do feedback recebido (Cruz et al., 2013), e quantitativamente nos Momentos 2 e 3 pela aplicação do teste de Cornell (Nível X) antes e depois das atividades, replicando experiências já realizadas por outros autores (Lu e Bol, 2007 e Tenreiro-Vieira, 2004).
O recurso ao Google Drive revelou-se essencial, mesmo quando foi necessário encontrar um sistema que permitisse o seu uso de forma anónima. A adaptação prévia a este ambiente foi fundamental, confirmando as referências disponíveis. Por outro lado, esta ferramenta on-line mostra-se útil na análise do trabalho realizado e facilita a sistematização e comparação de resultados.
O percurso não chegou ao fim. As perspetivas futuras são as de alargar a aplicação da metodologia na sua versão atual a outras unidades curriculares lecionadas por docentes de Veterinária, Estatística, Gestão, Linguística e Ciências da Educação. É nosso entender que esta metodologia deverá incluir: elementos preparatórios, como a apresentação aos alunos dos objetivos de aprendizagem (cognitivos e em termos das competências de pensamento crítico e de comunicação escrita); aulas específicas de introdução ao pensamento crítico antes do arranque da atividade; a ambientação dos alunos à ferramenta Google Drive; a exposição dos alunos à forma de dar um bom feedback (com base na grelha de Nelson e Shunn, 2009), devendo incidir-se mais nas inferências, por incidir-ser a área mais frágil; ferramentas de trabalho, como os documentos de apoio (com a orientação geral da atividade, a grelha FRISCO e o modelo de feedback de Nelson e Schunn), os artigos a analisar (de caráter semelhante para todos os alunos, e apresentados em três ciclos); a utilização do modelo (template) específico já testado, quer para o trabalho de escrita e análise quer para a revisão; a garantia de anonimato; ferramentas de análise, como o teste de Cornell a aplicar antes e depois da atividade (neste momento já conseguimos instalar o teste na plataforma on-line, o que facilitará tanto a recolha como a análise dos resultados); e o inquérito por questionário de satisfação e de avaliação da atividade aos alunos. Deverá ser reforçada a apresentação regular de bons trabalhos em aula e de exemplos de revisão ou crítica positiva, como forma de estimular o desenrolar da atividade. Toda a atividade será objeto de classificação pelo docente.
Ao completar dezoito meses do percurso de implementação e desenvolvimento de atividades de revisão de pares mediadas pela plataforma do Google Drive em estudantes do Ensino Superior, adquirimos uma noção mais clara das condicionantes e das potencialidades desta metodologia com vista ao desenvolvimento do pensamento crítico desses estudantes. Acrescem a atratividade das tarefas e a facilidade de gestão das atividades: do ponto de vista dos alunos, a utilização de ferramentas inovadoras e a atividade de escrita colaborativa sob anonimato favorecem o envolvimento nas tarefas; do ponto de vista do professor, esta metodologia promove a realização de atividades de construção autónoma e comunicação do conhecimento, bem como a hetero e
a autoavaliação – pesando igualmente o facto, não despiciendo, de não envolver plataformas onerosas ou conhecimentos informáticos avançados. Além do mais, favorece uma atitude pró-ativa do aluno na formação que se estenderá a qualquer momento da sua vida.
REFERÊNCIAS BIBLIOGRÁFICAS
Anderson, A., & Soden, R. (2001). Peer interaction and the learning of critical thinking skills. Psy-chology Learning and Teaching, 1(1), 37-40.
Basnet, B., Brodie, L., & Worden, J. (2009). Peer assessment of assignments – the USQ experi-ence (pp. 953-960). Proceedings of the 2009 AAEE Conferexperi-ence. Adelaide: University of Adelaide.
Bauer, C., Figl, K., Derntl, M., Beran, P. P., & Kabicher, S. (2009). The student view on online peer reviews. ACM SIGCSE Bulletin, 41, 3, 26-30.
Brodahl, C., Hadjerrouit, S., & Hansen, N. K. (2011). Collaborative Writing with Web 2.0 Technol-ogies: Education Students’ Perceptions. Journal of Information Technology Education: Innovations in Practice, 10, 73-103.
Calvo, R.A., O’Rourke, S.T., Jones, J., Yacef, K., & Reimann, P. (2011). Collaborative Writing Sup-port Tools on the Cloud. IEEE Transactions on Learning Technologies 4 (1). 88-97.
Chu, S., Kennedy, D., & Mak, M. (2009). MediaWiki and Google Docs as online collaborative tools for group project co-construction. Proceedings of the 2009 International Conference on Knowledge Management [CD-Rom]. New York: ACM.
Cho, K., & MacArthur, C. (2010). Student revision with peer and expert reviewing. Learning and Instruction, 20, 328-338.
Cruz, G., Dominguez, C., Pedrosa, D., & Maia, A. (2012). A avaliação entre pares com recurso ao Google Docs: um estudo de caso exploratório num curso de Licenciatura em Engenharia Civil. In Livro de Atas - Conferência Ibérica em Inovação na Educação com TIC. Bragança: Instituto Politécnico de Bragança.
Cruz, G., Dominguez, C., Maia, A., Pedrosa, D., & Grams, G. (2013). Web-based Peer Assessment: A Case Study with Civil Engineering Students. International Journal of Engineering Peda-gogy (IJEP), 3(S1), 64-70.
Daly, W. (1998). Critical thinking as an outcome of nursing education. What is it? Why is it import-ant to nursing practice? Journal of Advanced Nursing, 28(2), 323-331.
Ennis, R., & Millman, J. (1985). Cornell Critical Thinking Test, Level X. Pacific Grove, CA: Midwest Publications.
Ennis, R., & Weir, E. (1985). The Ennis-Weir critical thinking essay test. Pacific Grove. CA: Midwest Publications.
ENQA (2006). Quality Assurance of Higher Education in Portugal: an assessment of the existing system and recommendations for a future system. Report by European Association for Quality Assurance in Higher Education (ENQA). Helsinki: European Association for Quality Assurance in Higher Education. http://www.enqa.eu/files/EPHEreport.pdf
Facione, P. A. (1990). Critical thinking: A statement of expert consensus for purposes of educa-tional assessment and instruction. Millbrae, CA: The California Academic Press.
Hamer, J., & Kwong, H. (2005). A method of automatic grade callibration in peer assessment. In A. Young & D. Tolhurst (Eds), Proc. ACE 2004, Conferences in Research and Practice in Information Technology, 42, 67–72.
Jamison, J. R. (2005). Fostering critical thinking skills: a strategy for enhancing evidence based wellness care. Chiropractic & Osteopathy, (13) 19.
Javier, J., & Gil, S. (2013). Construcción colaborativa del aprendizaje y del conocimiento mediante Google Docs en el ámbito de la Educación Superior Universitaria. Revista de Formación e Innovación Educativa Universitaria, 6(2), 109-119.
Karandinou, A. (2012). Peer-assessment as a process for enhancing critical thinking and learning in design disciplines. Transactions Journal, CEBE, 9 (1).
Kaufman, J. H., & Schunn, C. D. (2011). Students' perceptions about peer assessment for writing: Their origin and impact on revision work. Instructional Science, 39, 387- 406.
Knight, L., & Steinbach, T. (2011). Adapting Peer Review to an Online Course: An Exploratory Case Study. Journal of Information Technology Education, 10, 81-100.
Lai, E. R. (2011). Critical Thinking: A Literature Review. Pearson Res. Report.
Lu, R., & Bol, L. (2007). A Comparison of Anonymous Versus Identifiable e-Peer Review on Col-lege Student Writing Performance and the Extent of Critical Feedback. Journal of In-teractive Online Learning 6 (2). www.ncolr.org/jiol ou http://www.ncolr.org/jiol/issues/ pdf/6.2.2.pdf
Lu, J., & Law, N. (2011). Online peer assessment: effects of cognitive and affective feedback. Instructional Science, 40(2), 257–275.
Nelson, M. M., & Schunn, C. D. (2009). The nature of feedback: How different types of peer feed-back affect writing performance. Instructional Science, 27(4), 375-401.
Paul, R., Elder, L., & Bartel, T. (2013). A brief history of the idea of critical thinking [extrato de California Teacher Preparation for Instruction in Critical Thinking: Research Findings and Policy Recommendations. California Commission on Teacher Credentialing. Sacramento, CA, March 1997]. http://www.criticalthinking.org/pages/a-brief-history-of-the-idea-of-critical- thinking/408
Purvis, C. A. (2009). Factors that influence the development of critical thinking skills in associate degree nursing students (tese de doutoramento). USA: University of Georgia, Athens. Ozogul, G., & Sullivan, H. (2007). Student performance and attitudes under formative evaluation
by teacher, self and peer evaluators. Educational Technology Research and Development, 57(3), 393–410.
Rienzo, T., & Han, B. (2009). Microsoft or Google Web 2.0 Tools for Course Management. Journal of Information Systems Education, 20 (2), 123-127.
Roediger, H. L. (2007). Twelve Tips for Reviewers. APS Observer, 20(4), 41–43.
Russell, A. A. (2005). Calibrated Peer Review™ A writing and critical-thinking instructional tool. In Invention and Impact: Building Excellence in Undergraduate Science, Technology, En-gineering and Mathematics (STEM) Education. Washington DC: American Association for the Advancement of Science, http://www.aaas.org/publications/books_re ports/CCLI/
Sadler, P., & Good, E. (2006). The Impact of Self- and Peer-Grading on Student Learning. Educa-tional Assessment, 11(1), 1–31.
Secomb, J. (2007). A systematic review of peer teaching and learning in clinical education. J. Clinical Nursing, 17, 703-716.
Shute, V. (2008). Focus on formative feedback. Review of Educational Research, 78 (1), 153–189. Simpson, E., & Courtney, M. (2002). Critical thinking in nursing: literature review. International
Journal of Nursing Practice, 8(2), 89-98.
Snyder, L. G., & Snyder, M. J. (2008). Teaching critical thinking and problem solving skills. The Delta Pi Epsilon Journal, L(2), Spring/Summer, 90-99.
Sternberg, R. J. (2002). On civility in reviewing. APS Observer, 15(1).
Strijbos, J-W., Narciss, S., & Dunnebier, K., (2010). Peer feedback content and sender’s compe-tence level in academic writing revision tasks: Are they critical for feedback perceptions and efficiency? Learning and Instruction, 20, 291-303.
Sondergaard, H. (2009). Learning from and with peers: the different roles of student peer review-ing. ACM SIGCSE Bulletin, 41(3), 31-35.
Sung, Y-T., Chang, K-E., Chiou, S-K., & Hou, H-T. (2005). The design and application of a web-based self- and peer-assessment system. Computers & Education, 45, 187-202, http:// www.sciencedirect.com/science/article/pii/S0360131504000806
Tenreiro-Vieira, C. (2004). Produção e avaliação de actividades de aprendizagem de ciências para promover o pensamento crítico nos alunos. Revista Iberoamericana de Educación, 33, 1-17.
Tenreiro-Vieira, C. (2013). Literacia e pensamento crítico: um referencial para a educação em ciências e em matemática. Revista Brasileira de Educação, 18 (52), 163-242.
Velada, R., Cardoso, E., Antunes, A., Caetano, A., Bento, R., Aguiar, F., Silva, S., & Sequeira, M. M. (2009). Achievements of the Bologna process reforms – an integrated management and IT approach. International Conference EUNIS 2009 “IT: Key of the European Space for Knowledge”. Santiago de Compostela.
Van Zundert, M., Sluijsmans, D., & Van Merrienboer, J. (2010). Effective peer assessment pro-cesses: research findings and future directions. Learning and Instruction, 20(4), 270-279. Watson, G., & Glaser, E. (1980). Watson-Glaser critical thinking appraisal manual. New York:
Har-court, Brace World, Inc.
WGQF - Working Group on Qualifications Framework, (2005). A Framework for Qualifications of the European Higher Education Area. http://www.ond.vlaanderen.be/hogeronderwijs/ bologna/documents/050218_QF_EHEA.pdf
Yang, J., Wei, X., Ackerman, M., & Adamic, L. (2010). Activity Lifespan: An Analysis of User Survival Patterns in Online Knowledge Sharing Communities (pp. 186-193). Proceedings of the 4th International AAAI Conference on Weblogs and Social Media. Menlo Park, California: AAAI Press.
Yu, F.-Y., & Wu, C.-P. (2013). Predictive Effects of Online Peer Feedback Types on Performance Quality. Educational Technology & Society, 16 (1), 332–341.
