Engenheiro De Dados | Ti
bancopine
Score da Vaga
80 pontosDescrição da vaga:
O profissional irá atuar na construção, sustentação e evolução da plataforma de dados da organização, garantindo que os dados estejam disponíveis, confiáveis, seguros e performáticos para suportar a tomada de decisão e a geração de valor para o negócio.
Nas rotinas irá trabalhar com tecnologias como Snowflake, DBT, Airflow (Composer), Spark (DataProc) e Google Cloud Storage, garantindo a qualidade, integridade e escalabilidade dos dados, além de atuar na otimização de performance e controle de custos da plataforma. Também será responsável pela implementação de novas ingestões de dados e evolução contínua dos pipelines existentes.
Além da atuação técnica, o papel envolve monitoramento contínuo dos pipelines, identificação e resolução proativa de incidentes, e suporte às áreas usuárias no acesso, entendimento e uso das ferramentas e dados disponíveis, contribuindo para a disseminação de uma cultura orientada a dados em toda a organização.
Responsabilidades:
- Desenvolver e implementar pipelines de dados escaláveis e eficientes para ingestão, transformação e disponibilização de dados, utilizando ferramentas como Airflow (Composer), DBT, Spark (DataProc) e integrando com Snowflake e Google Cloud Storage.Atuar de forma preventiva e consultiva na identificação, avaliação e tratamento de riscos de segurança da informação;
- Garantir o funcionamento contínuo dos pipelines de dados existentes no Snowflake, realizando correções, ajustes e melhorias para assegurar estabilidade, confiabilidade e disponibilidade dos dados;
- Desenvolver e integrar novas fontes de dados à plataforma, garantindo qualidade, padronização e aderência às boas práticas de engenharia de dados;
- Monitorar pipelines de dados de forma contínua, identificando falhas, gargalos e inconsistências, atuando de forma proativa na resolução de incidentes e prevenção de problemas recorrentes;
- Analisar e melhorar o desempenho dos pipelines e consultas em Snowflake e outros componentes da arquitetura, garantindo eficiência no processamento e consumo de dados;
- Monitorar e otimizar o consumo de recursos na plataforma de dados (principalmente em cloud), propondo melhorias para redução de custos buscando um equibilibrio entre performance e qualidade do servio prestado;
- Utilizar Azure DevOps para versionamento, controle de mudanças e gestão de entregas, garantindo rastreabilidade e boas práticas de desenvolvimento;
- Criar e manter documentação clara e atualizada sobre pipelines, fontes de dados, regras de transformação e arquitetura de dados, facilitando a manutenção e o uso por outros times.
Requisitos e qualificações:
- Fundamentos de Engenharia de Dados (Data Pipelines, ETL/ELT, Data Lakes e Data Warehouses);
- Arquitetura de Dados em Cloud (GCP e Azure);
- Modelagem de Dados (dimensional, Data Vault, modelagem analítica com DBT);
- DataOps e práticas de CI/CD para dados;
- Python para Engenharia de Dados (ETL, automação, APIs);
- SQL avançado (otimização de queries, análise e transformação de dados);
- Git e versionamento de código;
- Snowflake administração, performance tuning e modelagem;
- DBT desenvolvimento de modelos, testes e documentação;
- Airflow orquestração de pipelines, DAGs e boas práticas;
- Spark processamento distribuído e otimização.
Benefícios:
- Salário compatível com o mercado;
- Participação dos lucros e resultados;
- Vale Alimentação - com 13ª e 14ª cestas complementares;
- Vale Refeição;
- Assistência Médica e Odontológica;
- Auxílio Creche;
- Seguro de vida;
- Total Pass;
- Licença Maternidade/Paternidade estendida;
- PAE - Programa de Assistência ao Empregado: apoio aos colaboradores e seus familiares, com assistência jurídica, social, psicológica e financeira;
- Day Off Aniversário.
Sobre a área de Dados
A área de Dados passou por uma transformação radical com a ascensão da Inteligência Artificial Generativa. Profissionais de dados são fundamentais para tomada de decisão baseada em evidências em todas as indústrias.
As principais especializações incluem Data Engineering, Data Science, Business Intelligence, Machine Learning Engineering e Analytics. Ferramentas como SQL, Python, Spark, dbt e plataformas de cloud (AWS, GCP, Azure) são essenciais.
O mercado de dados continua com alta demanda e salários entre os mais competitivos do setor de tecnologia, com muitas oportunidades para trabalho remoto.