Publicação em Diário da República: Despacho n.º 7043/2016 - 27/05/2016
7.5 ECTS; 1º Ano, 1º Semestre, 30,0 PL + 30,0 TP + 15,0 OT + 10,0 O , Cód. 39091.
Docente(s)
- Ricardo Nuno Taborda Campos (2)
(1) Docente Responsável
(2) Docente que lecciona
Pré-requisitos
Não aplicável
Objetivos
1. Conhecer as cinco dimensões do big data
2. Entender os riscos no uso do big data
3. Entender o ciclo de vida de um projeto de big data bem como a sua arquitetura
4. Entender o processo de query, armazenamento e processamento por detrás do big data
5. Extrair informação a partir de fontes de dados
Programa
1. Introdução ao Data Science
- O que é o Data Science?
- Data Analysis, Data Analytics, Big Data
- Competências para se tornar um Data Scientist
- Ciclo de vida de um projeto em Data Science
2. Ética e Privacidade de dados
- Como é que podemos evitar o big data?
- Identidade;
- Privacidade;
- Ética;
- Propriedade;
- Reputação;
3. Introdução ao big data
- O que é o big data?
- Quem está a usar Big Data?
- Origens da informação;
- Razões para colecionar tantos dados;
- Como é que o big data difere das tradicionais bases de dados?
- Diferentes tipos de dados;
- 5 V?s do Big Data: volume, velocidade, variedade, veracidade e valor;
4. Framework de armazenamento e processamento em big data: Apache Hadoop e Spark
- HDFS;
- MapReduce;
- RDDs
5. Análise de dados em big data
- O que é?
- Aplicações;
- Arquitetura de um sistema de processamento da linguagem natural;
- Soluções comerciais;
- Text Analytics: python e NLTK
Metodologia de avaliação
Avaliação periódica: Projeto (100%)
Avaliação Final: Projeto (100%)
A entrega do projeto é obrigatória para a obtenção de aprovação na unidade curricular por frequência/exame(s).
Bibliografia
- Davis, K. (2012). Ethics of Big Data. (pp. 1-79). USA: O´Reilly
- Erl, T. e Khattak, W. e Buhler, P. (2016). Big Data Fundamentals: Concepts, Drivers & Techniques. (pp. 1-235). USA: Prentice Hall
- Provost, F. e Fawcett, T. e , . (2013). Data Science for Business. (pp. 1-386). USA: O´Reilly
- Witten, I. e Frank, E. e Hall, M. (2011). Data Mining: Practical Machine Learning Tools and Techniques. (pp. 1-629). USA: Elsevier
Método de Ensino
Ensino teórico-prático com recurso a meios áudio-visuais, a equipamento laboratorial e a exemplos práticos. Avaliação: Realização e apresentação de projectos de grupo.
Software utilizado nas aulas
Apache Hadoop; Spark; Python e NLTK
