Publicação em Diário da República: Despacho n.º 7043/2016 - 27/05/2016
7.5 ECTS; 1º Ano, 1º Semestre, 30,0 PL + 30,0 TP + 15,0 OT + 10,0 O , Cód. 39091.
Docente(s)
- Ricardo Nuno Taborda Campos (1)
(1) Docente Responsável
(2) Docente que lecciona
Pré-requisitos
Não aplicável
Objetivos
1. Conhecer as cinco dimensões do big data
2. Entender os riscos no uso do big data
3. Entender o ciclo de vida de um projeto de big data bem como a sua arquitetura
4. Entender o processo de query, armazenamento e processamento por detrás do big data
5. Extrair informação a partir de fontes de dados
Programa
1. Introdução ao Data Science
- O que é o Data Science?
- Data Analysis, Data Analytics, Big Data
- Competências para se tornar um Data Scientist
- Ciclo de vida de um projeto em Data Science
2. Ética e Privacidade de dados
- Como é que podemos evitar o big data?
- Identidade;
- Privacidade;
- Ética;
- Propriedade;
- Reputação;
3. Introdução ao big data
- O que é o big data?
- Quem está a usar Big Data?
- Origens da informação;
- Razões para colecionar tantos dados;
- Como é que o big data difere das tradicionais bases de dados?
- Diferentes tipos de dados;
- 5 V?s do Big Data: volume, velocidade, variedade, veracidade e valor;
4. Framework de armazenamento e processamento em big data: Apache Hadoop e Spark
- HDFS;
- MapReduce;
- RDDs
- Dataframes
- Streaming
5. Análise de dados em big data
- O que é?
- Aplicações;
- Arquitetura de um sistema de processamento da linguagem natural;
- Soluções comerciais;
- Text Analytics com Python
Metodologia de avaliação
Avaliação periódica: Trabalho de Investigação (50%) + Hands on Lab (50%)
A entrega do trabalho de investigação e do hands on lab é obrigatória para a obtenção de aprovação na unidade curricular durante a avaliação periódica que pressupõe um mínimo de 70% de presenças. A entrega fora do prazo previsto implica a reprovação automática do aluno impossibilitando-o de se propor a exame. Os alunos ficam também automaticamente reprovados e excluídos de exame no caso de obterem nota inferior a 4 valores em qualquer um dos dois momentos de avaliação (trabalho de investigação ou hands on lab) ou no caso de não atingirem um número mínimo de presenças.
Avaliação Final: Trabalho de Investigação (100%)
Os interessados em obter aprovação/melhoria na UC durante a época de exame deverão proceder à melhoria do trabalho de investigação realizado durante a avaliação periódica, cuja pontuação será assim adaptada a 100%
Bibliografia
- Davis, K. (2012). Ethics of Big Data. (pp. 1-79). USA: O´Reilly
- Erl, T. e Khattak, W. e Buhler, P. (2016). Big Data Fundamentals: Concepts, Drivers & Techniques. (pp. 1-235). USA: Prentice Hall
- Provost, F. e Fawcett, T. e , . (2013). Data Science for Business. (pp. 1-386). USA: O´Reilly
- Witten, I. e Frank, E. e Hall, M. (2011). Data Mining: Practical Machine Learning Tools and Techniques. (pp. 1-629). USA: Elsevier
Método de Ensino
Ensino teórico-prático com recurso a meios áudio-visuais, a equipamento laboratorial e a exemplos práticos. Avaliação: Realização e apresentação de projectos de grupo.
Software utilizado nas aulas
Apache Hadoop; Spark; Python: Anaconda e Jupyter Notebooks
Aprovado em Conselho Técnico Cientifico: 14 de junho de 2021
Download da Ficha da Unidade Curricular (FUC)
