Cursos e certificações (gratuitos e pagos):
- Applied Data Science with Python (gratuito/com diploma)
- Big Data Foundations (gratuito/com diploma)
- AWS Certified Cloud Practitioner (U$ 100/foundational - certificação)
- Fundamentos de Engenharia de Dados (gratuito/com diploma)
- 1. O que é Engenharia de Dados?
- 2. O que faz uma pessoa Engenheira de Dados?
- 3. Banco de dados (Databases)
- 4. Cloud Computing
- 5. Big Data
É a área responsável por desenvolver, implementar e manter o ambiente, que chamamos de Pipeline. É nele que criamos todas as etapas relacionadas ao fluxo de dados, desde a extração, passando pelo armazenamento, até a distribuição dos dados para consumo.
fonte: alura
Vídeos:
Desenvolve, constroi, testa e mantém arquiteturas como bancos de dados e sistemas de processamento em larga escala.
fonte: datacamp
- Foco no processamento e manuseio de grandes quantidades de dados.
- Configuração de clusters de máquinas para fazer computação.
- Desenvolvimento de uma arquitetura de banco de dados escalável, agilizando a aquisição de dados.
- Configuração de processos que trazem dados juntos de várias fontes protegendo sua qualidade
- Profundo conhecimento de tecnologia em nuvem
E resumo: o engenheiro de dados move dados de várias fontes, processos e os limpa para finalmente carregar em um ambiente de dados analítico.
Vídeos:
É a entrega de recursos de TI sob demanda por meio da Internet com definição de preço de pagamento conforme o uso. Em vez de comprar, ter e manter datacenters e servidores físicos, é possível acessar serviços de tecnologia, como capacidade computacional, armazenamento e bancos de dados, conforme a necessidade, usando um provedor de nuvem.
fonte: aws
- AWS
- Microsoft Azure
- Google Cloud
- Armazenamento:
- Permite fazer upload de todos os tipos para a nuvem.
- Não são muito caros pois sua principal usabilidade é o armazenamento de arquivos de forma confiável.
- Exemplos de serviços de armazenamento: AWS S3, Azure Blob Storage e Google Cloud Storage.
- Computação:
- Permite a execução de cáculos e hospedar serviços web na nuvem.
- É possível iniciar uma máquina virtual e usá-la como desejar.
- Exemplos de serviços de computação: AWS EC2, Azure Virtual Machines, Google Compute Engine.
- Banco de dados
- Permite a hospedagem de banco de dados em nuvem.
- Exemplos de serviços para BC: AWS RDS, Azure SQL Database, Google Cloud SQL.
Vídeos:
- What is Cloud Computing? | Amazon Web Services
- Cloud Computing Tutorial for Beginners | Cloud Computing Explained
É um conjunto de dados maior e mais complexo, especialmente de novas fontes de dados. Esses conjuntos de dados são tão volumosos que o software tradicional de processamento de dados simplesmente não consegue gerenciá-los. No entanto, esses grandes volumes de dados podem ser usados para resolver problemas de negócios que você não conseguiria resolver antes.
fonte: oracle
Vídeos: