Data Engineer Sênior (Python | Aws | Spark)
gruposrm
Híbrido
São Paulo, SP, BR
Desenvolvimento
Dados
Sem Categoria
Backend
Fullstack
Web Master
Cloud Solutions
Score da Vaga
100 pontos
Modelo híbrido (+80)
Desenvolvimento (+10)
Dados (+10)
Backend (+10)
Sobre a SRM Asset
Somos uma das maiores gestoras de recursos independentes do Brasil, líderes em fundos de direitos creditórios (FIDCs) e impulsionados por inovação. Com um ecossistema que integra Asset, Ventures e Tecnologia, operamos com a agilidade de uma fintech e a solidez de uma grande instituição financeira. Se você busca atuar em um ambiente onde seus dados impactam diretamente decisões de investimento e crédito em tempo real, seu lugar é aqui.
Estamos vivendo uma transformação importante na forma como construímos tecnologia.
Na SRM Asset, estamos evoluindo nosso modelo de desenvolvimento para um fluxo cada vez mais assistido por Inteligência Artificial e agentes autônomos, reduzindo a distância entre especificação, construção e entrega de software.
🎯 O Desafio
Como Engenheiro (a) de Dados Sênior (Python | AWS | Spark), você será peça-chave na evolução da nossa plataforma de dados. Buscamos um especialista capaz de transitar com maestria entre a engenharia de dados moderna (AWS/Spark) e ambientes relacionais tradicionais (MSSQL). Você atuará na arquitetura de pipelines robustos, garantindo disponibilidade, qualidade e performance para sustentar nossas operações críticas e modelos analíticos.
🚀 O que você vai fazer
- Desenvolver, orquestrar e monitorar pipelines de dados escaláveis utilizando Python e Apache Airflow.
- Processar grandes volumes de dados (Batch/Streaming) utilizando Apache Spark.
- Modelar e otimizar Data Warehouses na nuvem, com foco em AWS Redshift.
- Atuar na sustentação e modernização de cargas de dados legadas, garantindo a integração entre o ambiente MSSQL Server e o Data Lake.
- Escrever consultas SQL complexas e otimizadas para transformação e análise de dados.
- Colaborar com Cientistas de Dados e Analistas de Negócio para democratizar o acesso à informação.
- Contribuir para a governança e catalogação de dados utilizando OpenMetadata, garantindo linhagem, qualidade e descoberta de ativos de dados.
- Desenhar e evoluir a arquitetura de dados seguindo o padrão medallion (bronze, silver, gold), garantindo qualidade e confiabilidade em cada camada.
🛠 Tech Stack & Requisitos
- Domínio de Python: Experiência sólida com desenvolvimento de scripts ETL/ELT e manipulação de dados.
- SQL Avançado: Capacidade de escrever queries complexas, performáticas e realizar tuning.
- Ecossistema Big Data: Experiência prática com Apache Spark e orquestração via Airflow.
- Cloud AWS: Vivência com serviços de dados da AWS, com profundidade em Redshift (S3, Glue e Lambda são diferenciais).
- Mindset de Engenharia: Conhecimento em boas práticas (Git, CI/CD, Code Review).
- Modelagem de Dados: Experiência com modelagem dimensional (Star Schema, Snowflake Schema) para Data Warehouses analíticos, além de arquitetura em camadas (medallion architecture).
🏆 Diferenciais
- Forte background no ecossistema Microsoft: MSSQL Server, SSIS (Integration Services), SSAS (Analysis Services) e SSRS (Reporting Services).
- Nota: Valorizamos muito quem conhece a "velha guarda" dos dados e sabe integrá-la ou migrá-la para a nuvem.
- Experiência prévia no mercado financeiro, crédito ou meios de pagamento.
Sobre a área de Desenvolvimento
A área de Desenvolvimento de Software é uma das mais dinâmicas e em constante evolução no mercado de trabalho. Profissionais dessa área são responsáveis por criar, manter e otimizar aplicações web, mobile e desktop que impactam milhões de usuários diariamente.
As principais linguagens e frameworks incluem JavaScript (React, Node.js, Vue.js), Python (Django, Flask), Java (Spring), PHP (Laravel) e TypeScript. A demanda por desenvolvedores full-stack continua crescendo, especialmente em empresas de tecnologia e startups.
Salários variam de R$ 3.000 (júnior) a R$ 20.000+ (sênior), com oportunidades crescentes para trabalho remoto e freelance internacional.
Sobre a área de Dados
A área de Dados passou por uma transformação radical com a ascensão da Inteligência Artificial Generativa. Profissionais de dados são fundamentais para tomada de decisão baseada em evidências em todas as indústrias.
As principais especializações incluem Data Engineering, Data Science, Business Intelligence, Machine Learning Engineering e Analytics. Ferramentas como SQL, Python, Spark, dbt e plataformas de cloud (AWS, GCP, Azure) são essenciais.
O mercado de dados continua com alta demanda e salários entre os mais competitivos do setor de tecnologia, com muitas oportunidades para trabalho remoto.
Sobre a área de Backend
A área de Backend é responsável por toda a lógica do servidor, APIs, bancos de dados e infraestrutura que sustentam aplicações web e mobile. Profissionais de backend garantem que os sistemas sejam escaláveis, seguros e performáticos.
As principais habilidades incluem linguagens como PHP, Java, Python, Ruby, Go e Node.js, frameworks como Laravel, Spring Boot, Django e Express, bancos de dados (MySQL, PostgreSQL, MongoDB, Redis), arquitetura de software (clean architecture, DDD, microsserviços) e segurança de APIs (OAuth, JWT).
Desenvolvedores Backend em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam arquitetura de microsserviços, cloud computing e performance de alta escala. A área oferece oportunidades desde desenvolvedor júnior até arquiteto de software, com foco em escalabilidade, segurança e eficiência.
Sobre a área de Fullstack
Desenvolvedores Fullstack são profissionais versáteis capazes de atuar tanto no frontend quanto no backend de aplicações web e mobile. Eles dominam múltiplas tecnologias e são capazes de construir produtos completos do início ao fim, desde a interface do usuário até a infraestrutura do servidor.
As principais habilidades incluem domínio de pelo menos uma stack completa (React/Vue/Angular + Node.js/PHP/Python/Java), banco de dados (SQL e NoSQL), APIs REST/GraphQL, versionamento com Git, CI/CD e conhecimento básico de infraestrutura (Docker, cloud). Arquitetura limpa, DDD e testes são diferenciadores importantes.
Desenvolvedores Fullstack são muito valorizados em startups e empresas que precisam de profissionais versáteis e autônomos. A área oferece oportunidades desde desenvolvedor júnior até arquiteto de software, com foco em entrega completa, visão holística do produto e capacidade de trabalhar em múltiplas camadas da aplicação.
Sobre a área de Web Master
O Web Master é o profissional responsável pela manutenção, segurança e performance técnica de sites e aplicações web. Ele gerencia servidores, infraestrutura de hospedagem, monitoramento de uptime e garante que tudo funcione com rapidez e disponibilidade.
As principais habilidades incluem gestão de servidores (Apache, Nginx), hospedagem (AWS, Google Cloud, Azure), CDN (Cloudflare), SSL, DNS, segurança web (WAF, firewall), performance (Core Web Vitals, cache, compressão) e versionamento (Git, CI/CD). Conhecimento de Docker, WordPress, cPanel e monitoramento (Sentry, New Relic) é diferencial.
Web Masters em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam DevOps, SRE e conseguem garantir uptime e performance em escala. A área oferece oportunidades desde webmaster júnior até SRE e infrastructure engineer, com foco em confiabilidade, segurança e velocidade.
Sobre a área de Cloud Solutions
A área de Cloud Solutions é responsável por projetar, implementar e gerenciar infraestrutura e serviços em nuvem (AWS, Azure, GCP) para empresas. Profissionais de cloud arquitetam soluções escaláveis, seguras e otimizadas em custo, desde migrações de data centers até arquiteturas serverless e multi-cloud.
As principais habilidades incluem IaC (Terraform, CloudFormation), containers (Docker, Kubernetes), serverless (Lambda, Cloud Functions), bancos de dados gerenciados (RDS, DynamoDB, BigQuery), redes cloud (VPC, CDN, load balancer) e segurança (IAM, WAF, KMS). Conhecimento de FinOps, cloud governance e certificações AWS/Azure/GCP é diferencial.
Profissionais de Cloud Solutions em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam arquiteturas multi-cloud, FinOps e conseguem otimizar custos enquanto mantêm performance e segurança. A área oferece oportunidades desde cloud engineer até cloud solutions architect, head of cloud e chief cloud architect.
Conheça Outras Áreas
Entenda melhor o escopo de atuação, habilidades necessárias e ferramentas utilizadas em diferentes áreas de carreira.
Sobre a área de Analista de Automação
O Analista de Automação é o profissional responsável por identificar oportunidades de otimização de processos e desenvolver fluxos automatizados (RPA, scripts ou integrações). Ele mapeia atividades manuais e repetitivas em diversas áreas da empresa e constrói soluções de automação utilizando plataformas de low-code/no-code (como Zapier, Make, Power Automate, n8n) ou ferramentas de RPA (como UiPath), promovendo ganho de eficiência operacional e redução de erros.
Sobre a área de Engenharia
A Engenharia de Software vai além do desenvolvimento tradicional, focando em escalabilidade, performance e arquitetura de sistemas. Engenheiros de software são responsáveis por projetar infraestruturas que suportam milhões de usuários simultâneos.
As habilidades incluem arquitetura de microsserviços, DevOps, cloud computing, segurança de aplicações e otimização de performance. Conhecimento em containerização (Docker, Kubernetes) e CI/CD é cada vez mais exigido.
Engenheiros de software sênior são profissionais raros e muito bem remunerados, com oportunidades em grandes tech companies globais.
Sobre a área de Business Intelligence
Business Intelligence (BI) é a área responsável por transformar dados brutos em informações estratégicas para tomada de decisão. Profissionais de BI constroem dashboards, relatórios e análises que ajudam as empresas a entender seu desempenho e identificar oportunidades de crescimento.
As principais habilidades incluem modelagem de dados (star schema, snowflake), ETL (extração, transformação e carga), SQL avançado, ferramentas de BI (Power BI, Tableau, Looker), data warehousing, KPIs e análise de métricas de negócio (MRR, churn, cohort). Conhecimento de dbt, Airflow e pipelines de dados é diferencial.
Profissionais de BI em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam data visualization, analytics engineering e conseguem traduzir dados complexos em insights acionáveis para o negócio. A área oferece oportunidades desde analista de BI até diretor de dados, com foco em tomada de decisão baseada em dados.
Sobre a área de Recursos Humanos
A área de Recursos Humanos é responsável por toda a gestão de pessoas nas organizações, desde a atração e seleção de talentos até o desenvolvimento, retenção e bem-estar dos colaboradores. Profissionais de RH são fundamentais para construir culturas organizacionais fortes e engajamento.
As principais habilidades incluem recrutamento e seleção, gestão de compensação e benefícios, desenvolvimento e treinamento (L&D), clima organizacional, engajamento, legiltação trabalhista, relações trabalhistas e ferramentas de RH (Workday, SAP SuccessFactors, Bamboo HR). Conhecimento de people analytics e data-driven HR é diferencial.
Profissionais de RH em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam employer branding, people analytics e estratégias de retenção de talentos. A área oferece oportunidades desde analista de RH até Chief People Officer, com foco em cultura, engajamento e crescimento de pessoas.
Sobre a área de UX
A área de User Experience (UX) Design é focada em otimizar a experiência geral do usuário ao interagir com um produto ou serviço. Profissionais de UX realizam pesquisas com usuários (UX Research), mapeiam jornadas, criam wireframes, realizam testes de usabilidade e definem fluxos de navegação para garantir que o produto seja intuitivo, útil e atenda às necessidades reais dos usuários.