Rui Pedro Oliveira Rodrigues
Sistema de Apoio à Decisão Escolar
Dissertação de Mestrado
Mestrado em Engenharia Informática e Sistemas Empresariais
Trabalho efetuado sob a orientação de
Professor Doutor Nuno F. Rodrigues Professor Doutor João L. Vilaça
Outubro de 2013
Direitos de reprodução
É autorizada a reprodução parcial desta Dissertação apenas para efeitos de investigação e mediante declaração escrita do interessado que a tal se compromete.
A reprodução de qualquer um dos anexos deste volume é expressamente proibida.
Instituto Politécnico do Cávado e do Ave, / /
Assinatura:
Agradecimentos
A todos aqueles que de alguma forma contribuíram para que a realização deste trabalho se tornasse possível, quero deixar algumas notas de agradecimento.
Assim começo por agradecer aos meus orientadores Doutor Nuno F. Rodrigues e Doutor João L. Vilaça pela disponibilidade que manifestaram em orientar este trabalho, pelo incentivo, apoio e importantes contribuições que prestaram no seu desenvolvimento.
Em segundo lugar quero agradecer à empresa Codevision, aos seus responsáveis e colaboradores principalmente aqueles com quem cooperei diretamente na elaboração deste trabalho.
Aos meus colegas de mestrado especialmente àqueles com quem mais de perto privei, pelo seu compa- nheirismo, amizade, cooperação e entreajuda partilhados em conjunto.
Por m, mas não menos importante, aos meus pais, irmãos e amigos mais próximos, pelo apoio, compreensão e encorajamento que sempre me demonstraram ao longo deste percurso.
iii
Resumo
Especialmente em tempos de crise, como os que se têm vindo a viver atualmente, sobressai ainda mais a necessidade das nossas organizações serem bem geridas, e para que tal aconteça, torna-se importante medir indicadores que ajudem a acompanhar e compreender a evolução, nas diversas áreas.
Para além desta conjuntura, nas últimas décadas o setor da Educação em Portugal tem-se deparado com enormes problemas e desa os, como por exemplo o nanciamento ou mais recentemente a (in)disciplina.
Com este trabalho pretende-se contribuir com uma solução tecnológica, que visa em último caso a qualidade geral do ensino.
Assim, na área da Educação torna-se importante, senão imperioso, dotar os decisores, com Sistemas de Apoio à Decisão que meçam indicadores de desempenho, e aumentem o grau de qualidade da informação disponibilizada a esses decisores, para que a gestão seja o mais pro ssional e rigorosa possível nas diversas vertentes, quer sejam no domínio escolar, nanceiro ou outro.
A empresa Codevision tem vindo a implementar em diversas instituições de ensino e formação, o sistema de gestão escolar E-Schooling Server, um sistema de informação que dá suporte aos diversos processos de negócio dessas instituições. Com o objetivo de elevar a fasquia da qualidade na entrega de informação aos decisores da área escolar, decidiu apoiar o desenvolvimento de um sistema que complemente o E-Schooling Server.
Nesse âmbito este trabalho aborda o desenvolvimento de um Sistema de Apoio à Decisão Escolar e na primeira fase subdivide-se: no desenvolvimento de um projeto de ETL automatizado, na criação de um DW, e na análise dos dados com ferramentas de BI.
Na segunda fase é desenvolvida uma aplicação web, que permite ao utilizador nal a consulta de informação previamente tratada, através de grá cos.
Um aspeto importante é o facto de a informação, tratada na primeira fase do trabalho, poder ser acedida e analisada através de qualquer aplicação com acesso a sistemas OLAP, não cando desta forma dependente da aplicação web.
Por m, são apresentados e discutidos resultados, através de uma simulação com dados carregados no sistema desenvolvido, e que permite demonstrar a mais-valia que sistemas deste género representam, para os decisores de instituições de ensino e formação.
Palavras-chave: Educação, Gestão Escolar, Data Warehouse, Business Intelligence, Sistemas de Apoio à Decisão, E-Schooling Server
v
Abstract
Especially in times of crisis, such as those that have been living nowadays, furthermore excels the need to manage well our organizations, and for that to happen, it becomes important to measure indicators that help monitor and understand the developments, in various areas.
Beyond this scenario, in recent decades the sector of Education in Portugal has been facing enormous problems and challenges, such as nancing or more recently (in)discipline.
This work aims to contribute to a technological solution, which ultimately aims at the quality of general education.
Thus, in the area of education becomes important, if not imperative, to provide decision makers with decision support systems that measure performance indicators, and increase the level of quality of information available to these decision makers, so that the management is the most professional and rigorous as possible in all aspects, whether in the area of school, nancial or otherwise.
Codevision is a company that has implemented in various educational institutions and training, the school management system E-Schooling Server, an information system that supports the various business processes of these institutions. With the goal of raising the bar for quality in the delivery of information to decision makers in the school to support the development of a system that complements the E-Schooling Server.
In this context this work covers the development of a School Decision Support System, whose rst phase is divided in: the development of an automated ETL project, the creation of a DW, and data analysis and business intelligence tools.
The second and last phase consists on the development of a web application, that allows the end user to consult previous information treated, through graphs.
An important aspect, is that the information treated in the rst stage of work, can be accessed and analyzed by any application with access to OLAP systems, and thus it is not dependent on the web application.
In the end results are presented and discussed through a simulation, with data loaded into the developed system, which demonstrates the added value that such systems introduce to decision makers of educational and training institutions.
Keywords: Education, School Management, Data Warehouse, Business Intelligence, Decision Support Systems, E-Schooling Server
vii
Conteúdo
1 Introdução 1
1.1 Contexto . . . . 1
1.2 Âmbito . . . . 2
1.3 Objetivos . . . . 3
1.4 Trabalho relacionado . . . . 4
1.5 Estrutura do documento . . . . 6
2 Análise e especi cação de requisitos 7 2.1 Perspetiva do produto . . . . 7
2.2 Funcionalidade do produto . . . . 8
2.3 Tipos de utilizador . . . . 8
2.4 Ambiente de operação . . . . 8
2.5 Requisitos funcionais . . . . 9
2.5.1 Indicadores . . . . 9
2.5.2 Caraterização da comunidade escolar . . . . 9
2.5.3 Análise da assiduidade . . . 10
2.5.4 Análise do desempenho . . . 10
2.5.5 Análise de ocorrências . . . 10
2.5.6 Análise de movimentos e situações . . . 11
2.5.7 Caraterísticas gerais das análises . . . 11
2.5.8 Gestão de utilizadores . . . 11
2.6 Requisitos não funcionais . . . 12
2.6.1 Fiabilidade . . . 12
2.6.2 Escalabilidade . . . 12
2.6.3 Integridade . . . 12
2.6.4 Manutenção . . . 12
ix
2.6.5 Segurança . . . 12
2.6.6 Usabilidade . . . 13
3 Desenvolvimento da Solução E-Schooling BI 15 3.1 Ambiente de desenvolvimento . . . 15
3.2 Data Warehouse . . . 15
3.2.1 Modelos dimensionais . . . 16
3.3 Processo ETL . . . 23
3.4 Análise de dados . . . 28
3.5 Acesso à informação . . . 32
3.6 Aplicação web . . . 33
3.6.1 MdxGenerator . . . 34
3.6.2 E-Schooling BI v2 . . . 35
3.6.3 Outros componentes . . . 39
4 Testes 41 4.1 DW / ETL . . . 42
4.2 Análise de dados com ferramentas BI . . . 43
4.3 Aplicação Web . . . 44
5 Apresentação e discussão de resultados 45 5.1 Caraterização da Comunidade Discente . . . 46
5.2 Caraterização da Comunidade Docente . . . 47
5.3 Análise da Assiduidade dos Discentes . . . 48
5.4 Análise da Assiduidade dos Docentes . . . 49
5.5 Análise do Desempenho no Ensino Pro ssional . . . 50
5.6 Análise do Desempenho no Ensino Regular . . . 51
5.7 Análise de Ocorrências de Comportamento . . . 52
5.8 Análise de Movimentos e Situações Escolares . . . 53
6 Conclusão 55 6.1 Trabalho realizado . . . 55
6.2 Trabalho futuro . . . 56
6.3 Considerações nais . . . 56
Anexos 60
A Modelo Lógico de Dados 61
xi
Lista de Figuras
3.1 Modelo dimensional: Assiduidade dos discentes. . . 17
3.2 Modelo dimensional: Assiduidade dos docentes. . . 17
3.3 Modelo dimensional: Desempenho escolar do ensino pro ssional. . . 18
3.4 Modelo dimensional: Desempenho escolar do ensino regular. . . 19
3.5 Modelo dimensional: Ocorrências de comportamento. . . 19
3.6 Modelo dimensional: Movimento e situação escolar de discentes. . . 20
3.7 Modelo dimensional: Análise da comunidade docente. . . 20
3.8 Desenvolvimento do processo ETL. . . 24
3.9 Consulta da tabela de erros. . . 25
3.10 Estrutura do projeto ETL no BIDS. . . 26
3.11 Aspeto parcial do pacote DimensionsLoad . . . 27
3.12 Aspeto parcial do objeto DFT Load DimStudent . . . 27
3.13 Hierarquia SchoolGroup. . . 29
3.14 Implementação de medidas calculadas. . . 30
3.15 Implementação da tradução dos elementos do cubo. . . 31
3.16 Estrutura do projeto de análise de dados no BIDS. . . 32
3.17 Exploração da informação no MS Excel. . . 33
3.18 Principais componentes da aplicação. . . 36
4.1 Resultado da execução do objeto DFT Load DimStudent . . . 42
4.2 Validação da informação, através do explorador de cubos. . . 43
4.3 Validação da informação, através de query SQL. . . 43
4.4 Análise de matrículas por ano letivo . . . 44
5.1 Análise da comunidade discente por ano letivo e escola . . . 46
5.2 Análise da comunidade discente por ano letivo e nível de formação . . . 46
5.3 Análise da comunidade docente por escola e género . . . 47
xiii
5.4 Análise da comunidade docente por contrato laboral . . . 47
5.5 Análise da assiduidade dos discentes por período, ano letivo e escola . . . 48
5.6 Análise da comunidade docente por escola e género . . . 48
5.7 Análise da assiduidade dos docentes por nível de formação e período . . . 49
5.8 Análise da assiduidade dos docentes por ano letivo . . . 49
5.9 Análise do desempenho escolar no ensino pro ssional por curso . . . 50
5.10 Análise do desempenho escolar no ensino pro ssional por escola . . . 50
5.11 Análise do desempenho escolar no ensino regular por nível de formação . . . 51
5.12 Análise do desempenho escolar no ensino regular por ano do curso . . . 51
5.13 Análise de ocorrências de comportamento por nível de formação e tipo de curso . . . . 52
5.14 Análise de ocorrências de comportamento por classi cação no ano letivo 2012/13 . . . 52
5.15 Análise de discentes que não transitaram de ano . . . 53
5.16 Análise dos discentes que anularam a matrícula . . . 53
Lista de Tabelas
A.1 Ficheiros anexados . . . 61
xv
Lista de Acrónimos
BI Bussiness Intelligence
BIDS Business Intelligence Development Studio R2 2008
RDM Data Mining
DW Data Warehouse
ESBI E-Schooling BI
RESBISP E-Schooling BI SharePoint
RESS E-Schooling Server
RETL Extract, Transform and Load MDX Multi-Dimensional eXpressions
MS Microsoft
RMSSQL Microsoft SQL Server
RMVC Model view controller
OLAP On-line Analytical Processing
OLE DB Object Linking and Embedding Database OLTP On-Line Transaction Processing
SAD Sistemas de Apoio à Decisão
SI Sistemas de Informação
SSAS SQL Server Analysis Services SSIS SQL Server Integration Services
SSMS SQL Server Management Studio R2 2008
RUDM Uni ed Dimensional Model
VS Visual Studio 2010
Rxvii
Capítulo 1 Introdução
1.1 Contexto
Vivemos num mundo cada vez mais em linha com o velho conceito, criado por McLuhan
1nos anos sessenta, a aldeia global.
Com efeito, este fenómeno aliado à abertura dos mercados e à sua constante alteração e evolução, vem exigindo às organizações e não só, a necessidade de se adaptarem e reorganizarem rapidamente.
Essa necessidade é de uma importância tal, que as organizações são obrigadas a marcar posição e tomar decisões em timings cada vez mais reduzidos, quase on line com essas alterações de mercado.
Desta forma garantem a possibilidade de se tornarem (ou permanecerem) competitivas, num cenário que pode ir da estabilidade à própria sobrevivência, no limite.
As organizações depararam-se com a necessidade de obterem conhecimento, como forma de se destaca- rem da concorrência, cada vez mais intensa e implacável. Analisando esta situação de um outro prisma, já não chegam os dados que os Sistemas de Informação (SI) recolhem e fazem algum tratamento, há sobretudo a necessidade de tratar e extrair informação a partir dos dados das aplicações On-Line Transac- tion Processing (OLTP)
2, que depois de devidamente sintetizada, agregada e analisada seja transformada em conhecimento, tudo isto, recorrendo a técnicas e ferramentas especializadas para o efeito.
As instituições de ensino e formação assim como os centros de decisão político-governamentais da área da Educação também se incluem nesta linha de destinatários ou de utilizadores nais.
1
Herbert Marshall McLuhan (1911-1980) é considerado como um dos grandes pensadores do século passado na área da cultura e da comunicação. Para a história contribuiu com dois conceitos: o meio é a mensagem em 1967, numa referencia ao impacto da tecnologia na comunicação e no ano seguinte a aldeia global numa clara alusão à tendência para a convergência cultural a nível mundial, [1].
2
Aplicações OLTP (On-Line Transaction Processing) - geralmente usam bases de dados relacionais que se
caraterizam como sendo bidimensionais (linhas e colunas). O software OLTP suporta muitos utilizadores
que adicionam, editam e removem registos individuais numa base de dados, registo a registo. Fazer uma
consulta neste contexto envolve pesquisar muitos registos individuais, o que poderia trazer mesmo para um
computador poderoso uma paralisação, se estiverem envolvidos milhões de registos , [2].
2 1.2. ÂMBITO Deste modo, soluções que se enquadrem no âmbito dos Sistemas de Apoio à Decisão (SAD), e que meçam indicadores de desempenho na área da Educação, são de facto uma clara mais-valia no processo de tomada de decisão, seja na gestão de recursos ou na gestão escolar.
Nas últimas décadas o setor da Educação em Portugal tem-se deparado com enormes problemas e desa os, como por exemplo o nanciamento ou mais recentemente a (in)disciplina.
Dotar os decisores desta área com SAD permite, a título de exemplo, acompanhar a evolução do desempenho, caraterizar a comunidade, relacionar o absentismo ou a indisciplina com determinadas perspetivas como a localização geográ ca, a naturalidade, idade ou mesmo o grau de instrução dos encarregados de educação.
Assim, os responsáveis, poderão corrigir em tempo útil eventuais desvios nos seus objetivos, quer sejam de natureza estritamente escolar, nanceira ou outra. O tempo que despendiam a calcular todos estes indicadores manualmente , pode agora ser canalizado na execução de outras tarefas, racionalizando desta forma os recursos humanos.
1.2 Âmbito
A Codevision
3é uma empresa nacional de engenharia de software que desenvolve soluções para a área da Educação, e que tem como base a inovação aliada à utilização das mais recentes tecnologias.
Um dos seus principais produtos é o E-Schooling Server
R(ESS), um SI capaz de gerir todas as tipologias de ensino e que abrange as diversas áreas e fases da gestão escolar, através de funcionalidades especí cas direcionadas para encarregados de educação, direção pedagógica, diretores de turma, corpo docente e serviços administrativos das instituições de ensino e formação.
Algumas das funcionalidades que o sistema permite ao utilizador, de acordo com o per l ao qual está associado, são as seguintes:
• Diretor Pedagógico: gestão pedagógica, de faltas e de sumários, validação de exceções de horário, assim como diversas con gurações do sistema (anos e períodos letivos, cursos, horários, etc.);
• Coordenador de Curso: acesso a todos os ciclos de formação, alunos, sumários, de nições do curso e do plano curricular, atribuição de turnos e de nição de turnos e módulos;
• Diretor de Turma: acesso aos alunos, sumários e turmas, justi cação de faltas (de alunos) e elaboração de convocatórias de reuniões com encarregados de educação;
• Docente: acesso a disciplinas, módulos e livro de ponto, edição de dados pessoais, entrega de justi cação de faltas, impressão do horário e requisição de material;
3
http://www.codevision.pt/
CAPÍTULO 1. INTRODUÇÃO 3
• Secretaria: gestão de alunos, docentes, encarregados de educação, funcionários, horários, anos e períodos letivos, cursos e sumários, edição dos dados pessoais da comunidade escolar, envio e receção de mensagens internas, requisição de exceções, relatórios e veri cação de sumário pendentes;
• Funcionário: edição dos dados pessoais, gestão de recursos, marcação de faltas a docentes, visualização de horários e exceções para o dia, e receção e envio de mensagens internas.
Apesar de contar já com produtos que compreendem a área do Bussiness Intelligence (BI), designa- damente o E-Schooling BI
R(ESBI) e o E-Schooling BI SharePoint
R(ESBISP), a Codevision decidiu desenvolver um produto de raiz que integrasse as etapas clássicas do BI, fundamentalmente devido a:
• na prática o ESBI atualmente não implementa verdadeiramente o processo de BI, para além de apenas analisar dados ao nível do registo biográ co do aluno, ou seja, não está preparado para aceder à informação com maior detalhe;
• o ESBISP, que tal como o próprio nome indica está assente na tecnologia Microsoft SharePoint
R, revela-se:
por um lado uma ferramenta que consome muitos recursos ao nível do hardware necessários ao seu suporte;
e por outro lado devido aos elevados custos de licenciamento que acarreta, não está ao alcance nanceiro da maioria das instituições de ensino, muito menos na situação económica adversa que o país atravessa e que tem levado a cortes substanciais no orçamento da Educação.
• os seus responsáveis pretendem apostar numa solução que para além de resolver os pontos anteriormente descritos, tenha como caraterística fundamental dar ao utilizador nal a liberdade de escolher a plataforma de acesso à informação analisada, através de ferramentas On-line Analytical Processing (OLAP)
4.
1.3 Objetivos
O objetivo deste trabalho num sentido mais lato assenta no desenvolvimento de um sistema de apoio à decisão escolar, baseado na tecnologia de BI.
Este objetivo primordial é decomposto em quatro áreas de atuação, mais ou menos distintas entre si:
4
Processamento analítico em tempo real.
Sistema de Apoio à Decisão Escolar
4 1.4. TRABALHO RELACIONADO 1. desenvolvimento de um Data Warehouse (DW)
5e respetiva modelação de dados, que sumariamente
represente a de nição da informação a obter e em que moldes;
2. extração, transformação e carregamento de dados para o armazém de dados a partir do ESS;
3. análise dos dados através de ferramentas OLAP que permitirão transformar os dados em informa- ção;
4. desenvolvimento de uma aplicação web, que se apresente como uma verdadeira ferramenta de análise, e permita ao utilizador nal efetuar operações de Data Mining (DM), sobre os dados tratados.
No que respeita às expetativas e objetivos da Codevision relativamente ao novo produto, estes assentavam sobretudo no desenvolvimento de uma solução global de BI que possibilitasse:
(a) o acesso à informação do sistema OLTP
6, através de uma aplicação web com uma interface de fácil e intuitiva utilização;
(b) a navegação entre a informação bem como a sua agregação ou expansão relativamente ao nível de detalhe da mesma;
(c) o acesso à informação do sistema OLAP por aplicações externas, como por exemplo através de uma simples folha de cálculo do MS Excel, incrementando assim versatilidade e independência a esta solução.
1.4 Trabalho relacionado
A pesquisa efetuada sobre trabalhos relacionados designadamente ao nível da utilização do BI em estabelecimentos de ensino ou em centros de decisões escolares no âmbito da gestão nanceira e pedagógica, permitiu concluir de forma empírica que esta é uma área ainda pouco explorada e divulgada.
No entanto algum trabalho foi desenvolvido.
Paulo Cortez e Alice Silva [3], desenvolveram um trabalho de investigação, no qual abordaram o desem- penho dos alunos, no ensino secundário português, através da utilização de técnicas de BI e DM.
Os resultados que obtiveram mostraram uma boa precisão na análise preditiva, apesar do desempenho dos alunos ser altamente in uenciado pelas avaliações anteriores.
Estes resultados permitiram aos autores concluir que é possível desenvolver ferramentas de apoio ao
5
Armazém de dados.
6
Processamento de transações em tempo real.
CAPÍTULO 1. INTRODUÇÃO 5 melhoramento da qualidade do ensino, e da gestão dos recursos da escola. Os dados deste trabalho de investigação foram obtidos através de um questionário, sendo a fonte de dados estática. Pelo contrário, a fonte de dados da presente dissertação é dinâmica, pois tem como origem um sistema operacional, que é usado diariamente nas instituições de ensino. Desta forma, é possível acompanhar a evolução das métricas de nidas ao longo do tempo e sem custos adicionais (logísticos, humanos, etc.).
O trabalho publicado por José Guerra e Armando Mendes [4], permite-nos veri car como foi desenvolvido e implementado um Sistema de Apoio à Decisão para a Gestão Escolar, na Escola Secundária das Laranjeiras, localizada na cidade de Ponta Delgada, Açores.
Este sistema engloba funcionalidades como classi cação automática dos alunos, numa perspectiva sociotécnica , baseada nos parâmetros de comportamento e rendimento. Segundo os autores, este sistema apresenta algumas limitações como a falta de validação de consistência de dados, e ainda o facto de o mesmo não dar suporte aos processos diários da instituição. Comparativamente, o sistema desenvolvido na presente dissertação é mais completo no que respeita à obtenção de dados e perspetivas de análise, pois possibilita por exemplo, a análise da informação de várias escolas e mesmo agrupamentos escolares.
A dissertação de mestrado apresentada por Júlio Diamantino [5], ao Instituto Politécnico de Castelo Branco, aborda a implementação das tecnologias DW e BI, no Agrupamento Afonso de Paiva localizado em Castelo Branco.
O trabalho assenta numa aplicação desenvolvida para acompanhamento escolar, com o objetivo de permitir traçar metas educativas para os alunos.
O autor refere alguns problemas ao nível do processo ETL, assim como da validação e consistência dos dados inseridos no sistema operacional. Comparativamente, o presente trabalho é mais abrangente relativamente às diferentes perspetivas e vertentes de análise e cruzamento de informação.
A nível internacional, o trabalho de Luis F. Tapia e Ricardo V. Pinto [6], reporta o processo de desenvolvi- mento e integração de uma plataforma de Business Intelligence, na admissão e registo na Universidad de Tarapacá (UTA), Aríca, Chile. A plataforma desenvolvida dá resposta aos pedidos de informação ine- rentes ao processo de admissão e matrícula nessa instituição, de uma forma rápida e intuitiva, pois os utilizadores do sistema passaram a estar apoiados com uma ferramenta que incrementou melhorias, a nível da análise e visualização da informação mais importante. O sistema desenvolvido nesta disserta- ção, apresenta uma análise à informação de várias perspetivas, aos invés da plataforma anteriormente descrita, que foca apenas a fase da matrícula.
Sistema de Apoio à Decisão Escolar
6 1.5. ESTRUTURA DO DOCUMENTO
1.5 Estrutura do documento
Relativamente à estrutura deste documento é apresentado de seguida uma descrição sumária acerca do assunto abordado em cada um dos capítulos:
Capítulo 1
Neste primeiro capítulo é apresentado o enquadramento deste trabalho ao nível da sua contextualização, âmbito em que se insere, bem como os objetivos a alcançar com a sua realização. É ainda efetuada uma recolha de trabalho relacionado com este tema.
Capítulo 2
O segundo capítulo diz respeito à análise e especi cação dos requisitos de software, funcionais e não funcionais, do sistema de apoio à decisão escolar que é desenvolvido, o E-Schooling BI v2.
Capítulo 3
No terceiro capítulo é abordado o desenvolvimento do DW, do processo de Extract, Transform and Load (ETL), da análise de dados com ferramentas de BI e nalmente da aplicação web que o utilizador nal terá ao seu dispor para consultar informação analisada.
Capítulo 4
O quarto capítulo refere a perspetiva dos testes de software, no qual também são abordados os testes implementados ao longo do processo de desenvolvimento, com o principal objetivo de assegurar que a informação disponibilizada ao utilizador corresponde efetivamente ao solicitado.
Capítulo 5
No quinto capítulo é apresentado e discutido um conjunto de resultados que foi possível obter a partir de dados carregados para o sistema de apoio à decisão escolar, como forma de demonstrar algumas das potencialidades deste projeto.
Capítulo 6
Por m o sexto e último capítulo diz respeito à conclusão onde é resumido o trabalho realizado, abordado
o trabalho futuro e explanadas as considerações nais.
Capítulo 2
Análise e especi cação de requisitos
2.1 Perspetiva do produto
Este produto surge como substituto de uma versão já existente do ESBI, e apresenta-se como uma extensão do sistema de gestão escolar ESS da Codevision, na análise da informação.
O seu objetivo passa por disponibilizar a consulta de informação sintetizada e agregada relativa a áreas consideradas críticas na gestão escolar, e que foram previamente de nidas. O sistema deverá permitir:
a) o acesso à informação a partir de qualquer dispositivo com acesso à internet ou intranet, de acordo com a localização da instalação;
b) a consulta de indicadores globais, de comportamento e assiduidade de discentes;
c) a consulta de grá cos interativos, com a possibilidade de aplicar ltros pré-de nidos, com informação referente:
• às caraterísticas da comunidade docente e discente;
• à assiduidade dos docentes e discentes;
• ao desempenho escolar da comunidade discente, segundo o tipo de ensino (pro ssional ou regular);
• às ocorrências de comportamento dos discentes que originaram a marcação de falta;
• ao movimento e situação escolar dos discentes.
d) a exportação da informação contida nos grá cos para folhas de cálculo;
e) o acesso à informação a partir de qualquer outro sistema ou ferramenta OLAP;
f) a gestão de utilizadores do sistema.
8 2.2. FUNCIONALIDADE DO PRODUTO
2.2 Funcionalidade do produto
O sistema deverá permitir, de uma forma rápida, o acesso a informação considerada crítica no domínio da gestão escolar, constituindo desta forma uma ferramenta importante na tomada de decisão dos responsáveis pelas instituições de ensino e formação, ou de quaisquer outros intervenientes com poder de decisão.
Desta forma, estes intervenientes poderão acompanhar o estado atual das áreas analisadas pelo sistema, bem como ter acesso a uma perspetiva mais clara da evolução das mesmas. O planeamento e a predição de resultados das áreas analisadas dessas instituições de ensino e formação passam a contar com uma clara mais-valia.
2.3 Tipos de utilizador
O sistema deve disponibilizar dois tipos de conta de utilizador, Administrador e Membro. A única diferença entre estes dois tipos de conta é que um utilizador que esteja associado ao tipo de conta Administrador tem acesso à gestão de utilizadores.
2.4 Ambiente de operação
O ambiente no qual este sistema vai operar é a internet ou a intranet, pois trata-se uma web application.
Assim, para o funcionamento desta aplicação do ponto de vista de um posto, não é necessário nenhum sistema operativo especí co, apenas um web browser.
Relativamente ao hardware os requisitos mínimos recomendados são os seguintes:
• Processador 2.0 GHz;
• 2 GB de RAM;
• Resolução de ecrã de 1280x800;
• Placa de rede.
CAPÍTULO 2. ANÁLISE E ESPECIFICAÇÃO DE REQUISITOS 9
2.5 Requisitos funcionais
2.5.1 Indicadores
Descrição: O sistema deve disponibilizar indicadores que resumem o estado de algumas áreas consi- deradas importantes:
a) Indicadores globais - disponibilizam valores dos totais de cursos, turmas, disciplinas, docentes e discentes, assim como das médias de discentes por curso, turma, disciplina e docente;
b) Indicadores de assiduidade de discentes - disponibilizam valores dos totais de faltas, bem como das médias de faltas por curso, turma, disciplina, docente e discente;
c) Indicadores de comportamento - disponibilizam valores dos totais de ocorrências de comporta- mento que originaram a marcação de falta, assim como das médias dessas ocorrências por curso, turma, disciplina, docente e discente.
Os resultados desta consulta devem ser listados numa tabela e podem ser ltrados recorrendo aos critérios disponibilizados pelo sistema, designadamente o ano letivo, o agrupamento e a escola.
Caso nenhum ltro seja selecionado o sistema apresentará dados globais.
Requisitos funcionais: O utilizador deve estar logado no sistema.
Prioridade: Essencial.
2.5.2 Caraterização da comunidade escolar
Descrição: O sistema deve disponibilizar a caraterização da comunidade escolar que integra as instituições.
No que diz respeito à comunidade discente, a informação resultante da consulta deve abranger todos os discentes matriculados em determinado ano letivo.
Relativamente à comunidade docente o resultado da consulta deve abranger apenas os docentes que lecionem pelo menos uma disciplina num dado ano letivo.
Requisitos funcionais: O utilizador deve estar logado no sistema.
Prioridade: Essencial.
Sistema de Apoio à Decisão Escolar
10 2.5. REQUISITOS FUNCIONAIS
2.5.3 Análise da assiduidade
Descrição: O sistema deve disponibilizar a consulta de informação referente à assiduidade dos docen- tes e discentes.
Relativamente à comunidade discente, o resultado da consulta deve englobar apenas faltas de presença na sala aula, rati cadas pelo diretor de turma.
No que diz respeito à comunidade docente a informação resultante da consulta deve abranger apenas faltas referentes à ausência de sumário.
Requisitos funcionais: O utilizador deve estar logado no sistema.
Prioridade: Essencial.
2.5.4 Análise do desempenho
Descrição: O sistema deve permitir a consulta de informação referente aos resultados escolares dos discentes, segundo o tipo de ensino.
Os valores disponibilizados referem-se a médias globais e são apresentados utilizando a escala quantitativa de 0-20 valores. No caso de a escala original ser diferente desta, deverá ser feita a sua convergência.
Requisitos funcionais: O utilizador deve estar logado no sistema.
Prioridade: Essencial.
2.5.5 Análise de ocorrências
Descrição: O sistema deve disponibilizar a consulta referente a ocorrências de comportamento na sala de aula, registadas pelo docente.
O resultado da consulta deve abranger apenas os casos em que o diretor de turma con rmou a ocorrência.
Requisitos funcionais: O utilizador deve estar logado no sistema.
Prioridade: Essencial.
CAPÍTULO 2. ANÁLISE E ESPECIFICAÇÃO DE REQUISITOS 11
2.5.6 Análise de movimentos e situações
Descrição: O sistema deve permitir a consulta relacionada com o movimento de discentes assim como das situações escolares dos mesmos.
O resultado da consulta deve abranger apenas os casos de discentes que efetuaram matrícula num determinado ano letivo.
Requisitos funcionais: O utilizador deve estar logado no sistema.
Prioridade: Essencial.
2.5.7 Caraterísticas gerais das análises
Os resultados das consultas apresentadas nas secções anteriores devem ser disponibilizados através de grá cos que permitam ao utilizador interação, de tal forma que seja possível a exploração da informação apresentada.
Essa exploração poderá ser feita no sentido descendente (drill down) ou ascendente (rollup) relativa- mente ao nível de detalhe da informação que está a ser consultada.
O sistema deve ainda ltrar a informação utilizando critérios prede nidos designadamente, o ano letivo, o agrupamento, a escola, o ano, o tipo de ensino, o curso, a turma, a data inicial e data nal.
No caso de não ter sido escolhido nenhum critério os resultados apresentados estarão agregados.
2.5.8 Gestão de utilizadores
Descrição O sistema deve permitir a gestão de utilizadores com o objetivo de garantir a con denciali- dade dos dados apenas a pessoas que possuam credenciais de acesso.
Requisitos Funcionais O utilizador deve estar logado com uma conta de administrador.
Prioridade Essencial.
Sistema de Apoio à Decisão Escolar
12 2.6. REQUISITOS NÃO FUNCIONAIS
2.6 Requisitos não funcionais
2.6.1 Fiabilidade
Com o intuito de assegurar a abilidade do sistema a informação apresentada deve corresponder com exatidão ao pedido efetuado pelo utilizador. Em condições normais de funcionamento ao nível da estrutura que o suporta, a disponibilidade do sistema deve ser total, devendo estar disponível 24 horas por dia durante os 7 dias da semana, de forma a garantir aos seus utilizadores o acesso à informação.
2.6.2 Escalabilidade
Apesar de se encontrar catalogado e direcionado para quadros superiores das instituições a que se destina, e consequentemente a ser acedido por um número muito reduzido de utilizadores, este sistema deve no entanto garantir a capacidade de funcionar corretamente e sem perda considerável de performance em cenários cujo número de utilizadores atinja uma dezena.
Esta quanti cação, ainda que reduzida, deverá no entanto ser mais do que razoável para um ambiente típico de utilização de uma plataforma deste género.
2.6.3 Integridade
O sistema deve assegurar o devido funcionamento dos níveis de acesso à informação sem possibilidade de acesso ou manipulação, a utilizadores não autorizados.
2.6.4 Manutenção
O sistema deve ser desenvolvido segundo um modelo que permita facilmente inserir, modi car ou mesmo eliminar métricas ou áreas de análise. Nesse sentido, o modelo de desenvolvimento adotado terá de ser modular, composto por diversos componentes, independentes entre si.
2.6.5 Segurança
O sistema deve apenas permitir o acesso aos utilizadores mediante a con rmação das suas credenciais, compostas pelo nome de utilizador e palavra passe. Relativamente à gestão de utilizadores o sistema deve apenas permitir o seu acesso apenas a utilizadores com conta do tipo administrador.
Para incrementar o nível de segurança no acesso à informação, o sistema deverá requerer no mínimo
CAPÍTULO 2. ANÁLISE E ESPECIFICAÇÃO DE REQUISITOS 13 seis carateres na de nição das palavras passe dos utilizadores.
A segurança do sistema deve-se estender naturalmente ao acesso às bases de dados.
2.6.6 Usabilidade
O sistema deve apresentar um ambiente de interação com o utilizador, que se caraterize essencialmente por ser prático, intuitivo e de aspeto grá co agradável.
Sistema de Apoio à Decisão Escolar
14 2.6. REQUISITOS NÃO FUNCIONAIS
Capítulo 3
Desenvolvimento da Solução E-Schooling BI
O desenvolvimento do sistema de apoio à decisão escolar foi estruturado em quatro partes distintas, que representam o processo clássico de BI: o processo ETL, o desenvolvimento do DW, a análise da informação recorrendo a ferramentas OLAP e por m o desenvolvimento de uma plataforma web que disponibilizará a informação ao utilizador nal.
3.1 Ambiente de desenvolvimento
Para a execução deste projeto foram utilizadas diversas ferramentas de desenvolvimento, das quais se destacam o SQL Server Management Studio R2 2008
R(SSMS), o Business Intelligence Development Studio R2 2008
R(BIDS), o Visual Studio 2010
R(VS) e o Team Foundation Server 2010
R(TFS) todas da Microsoft
R(MS). Esta escolha deveu-se sobretudo à circunstância deste projeto ter sido desenvolvido nas instalações da Codevision, que prima pela utilização de ferramentas MS, com a qual a empresa mantém uma parceria.
3.2 Data Warehouse
O processo de desenvolvimento do DW teve como ponto de partida a implementação do modelo dimensi- onal
1sob o esquema em estrela, que é amplamente aceite como o método mais e ciente na organização da informação para posterior análise [8], para além de revelar ser o esquema mais simples e de fácil compreensão mesmo para os utilizadores menos familiarizados com esta área, [9].
Este esquema carateriza-se essencialmente por envolver apenas uma tabela de factos
2, que representa
1
Modelo defendido por Ralph Kimball na implementação de DW, [7].
2
As tabelas de factos apresentam uma tipicamente uma estrutura composta por poucas colunas e muitas linhas (registos).
16 3.2. DATA WAREHOUSE uma área ou atividade especí cas do negócio através de valores mensuráveis, e um número ilimitado de dimensões
3que são tabelas que caraterizam os factos que estão a ser medidos e permitem responder a questões como por exemplo: quem, como, quando, onde e porquê. A implementação do modelo dimensional é feita genericamente através de quatro passos [10]:
1. De nição do processo de negócio - este primeiro passo consiste em determinar qual o processo de negócio que se pretende analisar, conciliando os requisitos com os dados disponíveis;
2. Declaração do grão - este passo consiste na de nição da granularidade dos dados a disponibilizar no modelo, ou seja, qual o nível de detalhe dos dados que vão estar à disposição dos utilizadores nais. Sempre que possível a granularidade dos dados deve ser atómica, correspondendo ao nível de detalhe máximo que se pode alcançar. Ou seja, é o nível de detalhe em que os dados não podem ser subdivididos;
3. Escolha das dimensões - com a declaração do grão efetuada, geralmente identi ca-se de imediato um primeiro conjunto de dimensões que podem ser associadas aos factos. Pode-se no entanto adicionar outras dimensões, desde que de alguma forma a granularidade dos dados de nida no passo anterior não seja transgredida;
4. Identi cação dos factos - este passo consiste em de nir que factos vão constar na tabela de factos. Tal como no passo anterior, também a identi cação dos factos tem como pedra basilar o grão anteriormente declarado, uma vez que tipicamente os factos guardados devem obedecer à mesma granularidade.
3.2.1 Modelos dimensionais
Assiduidade de discentes
Este caso pretende analisar as faltas de presença dos discentes na sala de aula.
O grão declarado refere-se a uma ocorrência, neste caso a não comparência individual de um determi- nado discente na sala de aula, através dos registos efetuados no livro de ponto, pelo docente da respetiva disciplina.
As dimensões identi cadas foram: DimBaseCourse, DimDate, DimFaultInfo, DimModule, DimS- choolGroup, DimStudent, DimTeacher e DimTime.
Os factos representam a não comparência de cada discente na sala de aula de uma dada disciplina. O modelo dimensional em alto nível, utilizando o esquema em estrela, referente à análise da assiduidade dos discentes está ilustrado na seguinte gura:
3
As tabelas de dimensões, ao contrário das tabelas de factos, apresentam de um modo geral uma estrutura composta por
muitas colunas e poucas linhas (registos).
CAPÍTULO 3. DESENVOLVIMENTO DA SOLUÇÃO E-SCHOOLING BI 17
Figura 3.1: Modelo dimensional: Assiduidade dos discentes.
Assiduidade de docentes
Este modelo dimensional esquematiza a análise das faltas presenciais dos docentes, na sala de aula.
A granularidade dos factos representam uma ocorrência individual, neste caso a não presença do docente, através do respetivo livro de ponto.
Para esta análise identi caram-se as dimensões DimBaseCourse, DimDate, DimFaultClassi ca- tion, DimFaultInfo, DimModule, DimSchoolGroup, DimTeacher, DimTeacherFaultMotive e DimTime.
Os factos identi cam o registo das faltas presenciais de cada docente na sala de aula. O modelo dimensional representado em alto nível está ilustrado na seguinte gura:
FactTeacherFaults DimTime
DimModule DimFaultInfo
DimBaseCourse DimDate
DimFaultClassification
DimTeacher DimTeacherFaultMotive
DimSchoolGroup
Figura 3.2: Modelo dimensional: Assiduidade dos docentes.
Desempenho escolar do ensino pro ssional
Pretende-se com este caso, analisar os resultados escolares dos discentes na vertente do ensino pro ssi- onal.
O grão declarado refere-se aos resultados individuais dos discentes, através do respetivo registo por parte do docente da disciplina.
Sistema de Apoio à Decisão Escolar
18 3.2. DATA WAREHOUSE Foram escolhidas as dimensões DimBaseCourse, DimDate, DimExamType, DimGradeState, DimModule, DimModuleSituation, DimSchoolGroup, DimStudent, DimTeacher e DimTime.
Os factos dizem respeito aos resultados do desempenho individual dos discentes através da média aritmética. O esquema deste modelo dimensional está ilustrado na seguinte gura:
FactStudentProGrades DimTime
DimModuleSituation DimModule
DimBaseCourse DimExamType
DimGradeState
DimStudent DimTeacher
DimDate
DimSchoolGroup
Figura 3.3: Modelo dimensional: Desempenho escolar do ensino pro ssional.
Desempenho escolar do ensino regular
O processo de negócio em análise refere-se ao desempenho escolar na vertente do ensino regular.
A granularidade dos dados representa os resultados individuais dos discentes, recorrendo ao registo efetuado pelo docente da disciplina.
As dimensões escolhidas foram: DimBaseCourse, DimDate, DimGradeState, DimSchoolGroup, DimStudent, DimTeacher e DimTime.
Os factos registados reportam de forma individual a nota média de cada discente. O esquema em alto
nível deste modelo dimensional apresenta-se na gura ilustrada na página seguinte.
CAPÍTULO 3. DESENVOLVIMENTO DA SOLUÇÃO E-SCHOOLING BI 19
FactStudentRegGrades DimTime
DimBaseCourse
DimGradeState
DimStudent DimTeacher
DimDate
DimSchoolGroup
Figura 3.4: Modelo dimensional: Desempenho escolar do ensino regular.
Ocorrências de comportamento
Com este modelo dimensional tenciona-se representar a análise ao comportamento dos discentes, que resultaram na marcação de falta.
A granularidade dos factos foi identi cada como o registo individual de uma ocorrência de comportamento, neste caso através do registo de faltas efetuado pelo docente da disciplina.
Para este modelo foram identi cadas as dimensões DimBaseCourse, DimBehaviourInfo, DimDate, DimModule, DimSchoolGroup, DimStudent, DimTeacher e DimTime.
Para analisar este caso, os factos identi cam os registos de ocorrências de comportamento por cada discente. A gura seguinte ilustra este modelo dimensional em alto nível:
FactBehaviourOccurences DimTime
DimSchoolGroup
DimModule DimBaseCourse DimBehaviourInfo
DimDate
DimStudent DimTeacher
Figura 3.5: Modelo dimensional: Ocorrências de comportamento.
Movimento e situação escolar dos discentes
Pretende-se analisar através deste modelo dimensional os movimentos e situações escolares dos discen- tes, como por exemplo transições de ano, transferência ou abandono escolar, entre outros.
Neste caso o grão de nido foi o registo individual de um movimento ou situação escolar.
Sistema de Apoio à Decisão Escolar
20 3.2. DATA WAREHOUSE Foram escolhidas as dimensões DimDate, DimSchoolGroup, DimStudent e DimStudentSchool- Situation.
Os factos representam os registos dos movimentos e situações escolares de cada aluno. O modelo dimensional em alto nível está ilustrado na seguinte gura:
Figura 3.6: Modelo dimensional: Movimento e situação escolar de discentes.
Comunidade docente
Este modelo dimensional pretende analisar a comunidade docente a lecionar pelo menos uma disciplina, a m de se aferir e caraterizar a comunidade docente.
A granularidade dos factos referem-se à designação de um docente para lecionar disciplinas.
As dimensões de nidas foram as seguintes: DimBaseCourse, DimDate, DimSchoolGroup e Dim- Teacher.
Os factos determinam uma ocorrência, neste caso a lecionação de uma dada disciplina por um determi- nado docente.
O modelo dimensional em alto nível pode ser observado através da seguinte gura:
FactTeacherCourses DimTeacher
DimSchoolGroup
DimDate DimBaseCourse
Figura 3.7: Modelo dimensional: Análise da comunidade docente.
CAPÍTULO 3. DESENVOLVIMENTO DA SOLUÇÃO E-SCHOOLING BI 21 A modelação dimensional também engloba paralelamente a exploração da fonte de dados, neste caso a base de dados operacional do ESS, com o intuito de compreender as tabelas, relações, transformações e re namentos de dados necessárias para a obtenção dos dados em questão. Esta exploração foi feita através de queries com recurso à ferramenta SSMS.
Houve a preocupação de manter na medida do possível o mesmo tipo de denominações e de dados atribuídos aos campos e tabelas no DW relativamente à fonte de dados, com o objetivo de tornar mais claro e simples a sua compreensão, bem como relativamente às tarefas futuras de manutenção e extensibilidade do mesmo.
Com a modelação de dados de nida e criado o DW, foi efetuado o seu carregamento com dados a partir do sistema operacional em análise. Para isso foi desenvolvido um projeto de ETL que é abordado na secção 3.3, na página 23.
Tabelas de Dimensão
As dimensões utilizadas no modelo dimensional e que ajudam a contextualizar os factos inerentes aos processos de negócio em análise foram as seguintes:
a) DimBaseCourse - dimensão conforme
4com os atributos necessários à caraterização das disciplinas;
b) DimBehaviourInfo - dimensão lixo
5com os atributos necessários à caraterização do tipo de comporta- mento ocorrido;
c) DimDate - dimensão conforme com os atributos necessários à caraterização de datas;
d) DimExamType - dimensão lixo com os atributos necessários à caraterização do tipo de avaliação, na vertente do ensino pro ssional;
e) DimFaultClassi cation - dimensão lixo com os atributos necessários à classi cação das faltas dos docentes;
f) DimFaultInfo - dimensão conforme com os atributos necessários à contextualização das faltas;
g) DimGradeState - dimensão conforme que regista os atributos necessários à caraterização do estado das notas (aprovado ou reprovado);
h) DimModule - dimensão conforme com os atributos necessários à caraterização dos módulos;
4
Tipo de dimensão mais comum, que é utilizada em mais do que uma análise a processos de negócio e que tipicamente utiliza todos os atributos nas diferentes análises, [11].
5
Tipo de dimensão lixo (junk dimension), que normalmente agrupa atributos do tipo ag (sinalização) e/ou que são utilizadas em apenas uma análise a processos de negócio, [11].
Sistema de Apoio à Decisão Escolar
22 3.2. DATA WAREHOUSE i) DimModuleSituation - dimensão lixo com os atributos necessários à contextualização da situação dos
módulos (ex: 1
asituação ou exame);
j) DimSchoolGroup - dimensão conforme com os atributos necessários à caraterização da estrutura escolar, desde o agrupamento escolar à turma;
k) DimStudent - dimensão conforme que regista os atributos necessários à caraterização dos discentes;
l) DimStudentSchoolSituation - dimensão lixo com os atributos necessários à contextualização da situação escolar dos discentes (ex: matriculado ou aprovado);
m) DimTeacher - dimensão conforme com o registo dos atributos necessários à caraterização dos docentes;
n) DimTeacherFaultMotive - dimensão lixo com os atributos necessários à identi cação do motivo das faltas presenciais dos docentes na sala de aula;
o) DimTime - dimensão conforme que guarda o registo dos atributos necessários à caraterização da hora, também chamada de dimensão relógio.
Tabelas de Factos
As tabelas de factos criadas no âmbito deste projeto, para registarem processos de negócio quanti cáveis ou acontecimentos foram as seguintes:
1. FactBehaviourOccurences - tabela de factos sem factos
6que representam as ocorrências de comportamento por cada discente numa sala de aula;
2. FactStudentFaults - tabela de factos sem factos que registam a ocorrência de faltas presenciais na sala de aula por cada discente;
3. FactStudentMovements - tabela de factos sem factos que guarda os registos referentes aos movi- mentos e situações escolares dos discentes;
4. FactStudentProGrades - tabela de factos transacional que registam o desempenho escolar de cada discente, na vertente do ensino pro ssional, através da média aritmética;
5. FactStudentRegGrades - tabela de factos transacional que registam o desempenho escolar de cada discente, na vertente do ensino regular, através da média aritmética;
6. FactTeacherCourses - tabela de factos sem factos que registam a designação dos docentes para a lecionação de uma determinada disciplina;
6
As tabelas de factos sem factos apenas registam ocorrências ou eventos, [12].
CAPÍTULO 3. DESENVOLVIMENTO DA SOLUÇÃO E-SCHOOLING BI 23 7. FactTeacherFaults - tabela de factos sem factos que registam a ocorrência de faltas presenciais na
sala de aula por cada docente.
3.3 Processo ETL
O desenvolvimento do processo de ETL foi implementado com recurso à tecnologia Microsoft SQL Server
R(MSSQL), após a construção do DW. Para isso, foi criado um projeto SQL Server Integration Services (SSIS), em que o resultado foi a criação de um conjunto de pacotes (packages) que contêm informação sobre toda a estrutura lógica necessária para manipular o uxo e processamento de dados.
Por outras palavras, este conjunto de pacotes engloba todos os passos e operações essenciais para extrair os dados do sistema operacional, transformar ou re nar se necessário, e por m enviar esses mesmos dados para o DW.
Este tipo de projeto pode ser desenvolvido com o apoio de duas das ferramentas que fazem parte do ambiente de desenvolvimento, o BIDS ou o SSMS. O facto deste projeto envolver uma relativa complexidade em termos de requisitos e integração de dados, assim como a diversidade de ferramentas e operações que a aplicação BIDS disponibiliza no desenvolvimento deste tipo de projeto, contribuíram decisivamente para a sua escolha.
Resumindo, de uma maneira geral usa-se o SSMS no desenvolvimento de packages simples e de forma rápida, com o intuito de mover dados de uma origem para um destino.
No entanto quando surge a necessidade de desenvolver packages mais complexos, de forma individual ou em conjuntos relacionados e coordenados entre si, a ferramenta que melhor se adequa é o BIDS.
Na aplicação BIDS existe a possibilidade de construir o uxo e processamento de dados, recorrendo apenas aos objetos que representam tarefas, processos e operações, ou de uma forma híbrida utilizando esses objetos juntamente com queries embutidas.
Desde logo, utilizando apenas os objetos que o BIDS disponibiliza, há algumas vantagens a considerar como o facto de todo o uxo car esquematizado visualmente, assim como a possibilidade de depuração e tratamento de erros que surgem durante o processo.
Permite também o acompanhamento do número de registos bem como a visualização dos próprios dados, através de vistas de dados, que vão passando entre as diversas operações pelo uxo de dados.
Ainda relativamente ao tratamento de erros, o BIDS possibilita a con guração do pacote para permitir continuar o processamento do uxo de dados, a partir do componente que gerou o erro, assim como a inclusão e con guração de pontos de veri cação (adding checkpoints).
Outra caraterística é o facto de ser possível despoletar eventos, como por exemplo enviar uma mensagem de correio eletrónico no caso de ocorrer algum erro durante o processamento do uxo de dados.
Sistema de Apoio à Decisão Escolar
24 3.3. PROCESSO ETL Voltando à utilização de queries embutidas, o esquema apresenta-se comparativamente à outra situação muito mais simples, mas perde-se no entanto a possibilidade de usufruir das vantagens que advêm do uso exclusivo de objetos SSIS (sem recorrer a queries em código SQL).
Este projeto foi construído utilizando as duas possibilidades anteriormente descritas. Podemos observar através da gura 3.8 abaixo ilustrada, um exemplo do desenvolvimento do processo ETL, neste caso referente ao carregamento de dados na tabela de factos relativos ao desempenho escolar dos discentes, na vertente pro ssional.
Figura 3.8: Desenvolvimento do processo ETL.
No desenvolvimento do processo de ETL foi ainda criado um mecanismo de controlo de erros, que permite ao responsável pela execução do processo de ETL obter alguma informação acerca do uxo assim como acerca dos próprios dados que eventualmente originaram erros.
Podemos observar na gura 3.8 a implementação desse mecanismo, através das conexões a vermelho entre componentes, caraterística que indica que o uxo é referente a erros de processamento.
Parte da informação, referente aos dados que estavam a ser processados, é gravada no formato XML
7e enviada para o DW, juntamente com dados acerca da identi cação e localização dos erros, onde é guardada na tabela OutputErrorsLog.
O responsável pela execução do processo ETL poderá consultar depois em pormenor essa informação,
7
eXtensible Markup Language
CAPÍTULO 3. DESENVOLVIMENTO DA SOLUÇÃO E-SCHOOLING BI 25 que o ajudará a resolver os erros. Um exemplo desta situação encontra-se ilustrado na gura 3.9, na página 25.
Figura 3.9: Consulta da tabela de erros.
O desenvolvimento do processo de ETL é relativamente complicado e moroso, de acordo com a estrutura da fonte de dados que estamos a analisar e dos objetivos pretendidos com a análise, e terá sempre de acompanhar a evolução da base de dados do sistema operacional. Por isso o desenvolvimento deste projeto é apenas e tão só um ponto de partida, de um processo que se apresenta como contínuo ao longo do tempo.
Além disso, o processo de ETL e do DW também apresenta outras vantagens interessantes para além do seu objetivo primordial, pois permite detetar erros de má utilização do sistema operacional na forma como guarda registos, falhas na estrutura da base de dados, assim como as limitações que o sistema operacional apresenta no armazenamento de dados.
Um dos casos detetados numa das bases de dados, foi a discrepância entre o nome da disciplina existente no registo biográ co dos discentes relativamente à tabela de disciplinas. Esta situação ocorre quando há uma alteração o cial do nome da disciplina.
Por razões relacionadas com a estrutura da base de dados do sistema operacional, um dos campos chave
utilizados na consulta de dados é precisamente o nome da disciplina base, BaseCourseName e Name
nas tabelas EducationCourseGrades e BaseCourses respetivamente. Na situação descrita, como o
Sistema de Apoio à Decisão Escolar
26 3.3. PROCESSO ETL nome da disciplina entre as duas tabelas não coincide, os registos seriam ignorados.
Outra situação distinta, é o caso dos discentes que são provenientes de outras instituições, via trans- ferência, no decorrer do ano letivo. O lançamento do registo biográ co desses discentes, no sistema operacional, não obriga a que determinados campos sejam preenchidos, como é o caso da identi cação do docente que leciona determinada disciplina. Neste caso, surgiram os seguintes constrangimentos:
• o campo de identi cação do docente, não poderia ser do tipo chave primária no DW;
• o processo de ETL não poderia ltrar esses registos.
Isto implicaria duas situações distintas: não seria possível identi car o docente na análise da informação, ou perder-se-iam esses registos para análise. Perante estas duas situações, foi tomada a decisão de não
ltrar os registos cujo docente da disciplina não estivesse identi cado.
Resumindo, o processo de ETL e DW, põe à prova o modelo e estrutura de dados do sistema operacional, assim como a consistência e redundância dos dados analisados.
Estrutura
O desenvolvimento do projeto de ETL no BIDS assentou em duas partes, a de nição das fontes de dados (origem e destino), e a criação dos pacotes com a lógica, tal como podemos observar na gura abaixo ilustrada.
Figura 3.10: Estrutura do projeto ETL no BIDS.
CAPÍTULO 3. DESENVOLVIMENTO DA SOLUÇÃO E-SCHOOLING BI 27 Foi decidido criar quatro pacotes, com o objetivo de facilitar a compreensão e manutenção do projeto:
• DataWarehouseSetup, contém tarefas SQL para preparar as tabelas que compõem o DW;
• DimensionsLoad, agrega todos os objetos e tarefas inerentes à extração, tratamento e carrega- mento de dados que constituem as dimensões DW;
• FactsLoad, reúne todos os objetos e tarefas necessários à extração, tratamento e carregamento dos factos para o DW;
• RunETL, este pacote foi criado com o objetivo de despoletar os pacotes acima descritos, de forma a simpli car a execução do processo do ETL.
A título de exemplo, as guras 3.11 e 3.12, na página 27, ilustram parcialmente o aspeto do projeto ETL, onde é possível observar parte dos objetos que fazem parte do uxo de controlo, referente ao pacote DimensionsLoad ( gura 3.11). Numa perspetiva com maior detalhe, é possível observar parte do uxo de dados, ou seja, a lógica inerente à extração, tratamento e carregamento da dimensão DimStudent ( gura 3.12).
Figura 3.11: Aspeto parcial do pacote Dimen-
sionsLoad Figura 3.12: Aspeto parcial do objeto DFT Load DimStudent
Sistema de Apoio à Decisão Escolar
28 3.4. ANÁLISE DE DADOS
3.4 Análise de dados
Para analisar os dados carregados no DW foi desenvolvido um projeto SQL Server Analysis Services (SSAS) na aplicação BIDS. O SSAS carateriza-se genericamente como sendo um servidor multi-dimensional que disponibiliza serviços de processamento analítico (OLAP) e de prospeção de dados (DM).
A aplicação BIDS permite construir projetos SSAS sobre os modelo de dados mais comuns, no entanto para tirar o máximo partido desta solução o projeto deve ser construído sobre um modelo de dados orientado à análise de dados como a modelação dimensional abordada na secção 3.2 na página 15.
Com a modelação dimensional já desenvolvida e implementada aquando da construção do DW e sendo este a fonte dos dados para a análise (com as ferramentas OLAP), seguiu-se a construção dos Uni ed Dimensional Model (UDM)
8, tipicamente conhecidos por SSAS cube (cubo) e que se caraterizam por serem unidades ou objetos de armazenamento lógico. Estes objetos relacionam as dimensões com as métricas e tornam assim possível uma perspetiva multi-dimensional dos dados analisados.
Para a construção dos UDM a aplicação BIDS apresenta uma série de componentes mais ou menos necessários de acordo com o seu grau de complexidade ou funcionalidades que queremos ver implemen- tadas:
Dados de origem
Foi necessário de nir a ligação à fonte de dados, que neste caso como já foi referido é o DW que previamente havia sido desenvolvido. O BIDS disponibiliza dois tipos de fornecedor de dados designadamente o Object Linking and Embedding Database (OLE DB)
9e o Microsoft .NET
10. Neste caso optou-se pela escolha de um tipo de servidor de dados nativo, o OLE DB, pois tipicamente em casos com milhões de registos normalmente é mais rápido do que por exemplo o servidor de dados Microsoft .NET. Apesar de as base de dados que foram objeto de análise não atingirem ainda os milhões de registos, ca desde já salvaguardada essa possibilidade. Relativamente à segurança e autenticação para o acesso aos dados, foi necessário de nir as credenciais de acesso aos mesmos.
Vista da fonte de dados
Na de nição das Data Source Views (DSV)
11, identi caram-se as tabelas das dimensões e dos factos assim como as respetivas chaves primárias que se relacionam entre si. Neste caso, como na construção do DW as chaves primárias foram de nidas, a aplicação BIDS reconhece o relacionamento entre as
8
Modelo Dimensional Uni cado
9
Conjunto standard de interfaces implementadas através de componentes Component Object Model (COM) que disponibilizam o acesso a dados a partir de fontes de dados.[13]
10
São fornecedores de dados que utilizam a tecnologia .NET[13].
11
