Data Engineer Sênior (Python | Aws | Spark)
gruposrm
Híbrido
São Paulo, SP, BR
Desenvolvimento
Dados
Sem Categoria
Backend
Fullstack
Web Master
Cloud Solutions
Score da Vaga
100 pontos
Modelo híbrido (+80)
Desenvolvimento (+10)
Dados (+10)
Backend (+10)
Sobre a SRM Asset
Somos uma das maiores gestoras de recursos independentes do Brasil, líderes em fundos de direitos creditórios (FIDCs) e impulsionados por inovação. Com um ecossistema que integra Asset, Ventures e Tecnologia, operamos com a agilidade de uma fintech e a solidez de uma grande instituição financeira. Se você busca atuar em um ambiente onde seus dados impactam diretamente decisões de investimento e crédito em tempo real, seu lugar é aqui.
Estamos vivendo uma transformação importante na forma como construímos tecnologia.
Na SRM Asset, estamos evoluindo nosso modelo de desenvolvimento para um fluxo cada vez mais assistido por Inteligência Artificial e agentes autônomos, reduzindo a distância entre especificação, construção e entrega de software.
🎯 O Desafio
Como Engenheiro (a) de Dados Sênior (Python | AWS | Spark), você será peça-chave na evolução da nossa plataforma de dados. Buscamos um especialista capaz de transitar com maestria entre a engenharia de dados moderna (AWS/Spark) e ambientes relacionais tradicionais (MSSQL). Você atuará na arquitetura de pipelines robustos, garantindo disponibilidade, qualidade e performance para sustentar nossas operações críticas e modelos analíticos.
🚀 O que você vai fazer
- Desenvolver, orquestrar e monitorar pipelines de dados escaláveis utilizando Python e Apache Airflow.
- Processar grandes volumes de dados (Batch/Streaming) utilizando Apache Spark.
- Modelar e otimizar Data Warehouses na nuvem, com foco em AWS Redshift.
- Atuar na sustentação e modernização de cargas de dados legadas, garantindo a integração entre o ambiente MSSQL Server e o Data Lake.
- Escrever consultas SQL complexas e otimizadas para transformação e análise de dados.
- Colaborar com Cientistas de Dados e Analistas de Negócio para democratizar o acesso à informação.
- Contribuir para a governança e catalogação de dados utilizando OpenMetadata, garantindo linhagem, qualidade e descoberta de ativos de dados.
- Desenhar e evoluir a arquitetura de dados seguindo o padrão medallion (bronze, silver, gold), garantindo qualidade e confiabilidade em cada camada.
🛠 Tech Stack & Requisitos
- Domínio de Python: Experiência sólida com desenvolvimento de scripts ETL/ELT e manipulação de dados.
- SQL Avançado: Capacidade de escrever queries complexas, performáticas e realizar tuning.
- Ecossistema Big Data: Experiência prática com Apache Spark e orquestração via Airflow.
- Cloud AWS: Vivência com serviços de dados da AWS, com profundidade em Redshift (S3, Glue e Lambda são diferenciais).
- Mindset de Engenharia: Conhecimento em boas práticas (Git, CI/CD, Code Review).
- Modelagem de Dados: Experiência com modelagem dimensional (Star Schema, Snowflake Schema) para Data Warehouses analíticos, além de arquitetura em camadas (medallion architecture).
🏆 Diferenciais
- Forte background no ecossistema Microsoft: MSSQL Server, SSIS (Integration Services), SSAS (Analysis Services) e SSRS (Reporting Services).
- Nota: Valorizamos muito quem conhece a "velha guarda" dos dados e sabe integrá-la ou migrá-la para a nuvem.
- Experiência prévia no mercado financeiro, crédito ou meios de pagamento.
Sobre a área de Desenvolvimento
A área de Desenvolvimento de Software é uma das mais dinâmicas e em constante evolução no mercado de trabalho. Profissionais dessa área são responsáveis por criar, manter e otimizar aplicações web, mobile e desktop que impactam milhões de usuários diariamente.
As principais linguagens e frameworks incluem JavaScript (React, Node.js, Vue.js), Python (Django, Flask), Java (Spring), PHP (Laravel) e TypeScript. A demanda por desenvolvedores full-stack continua crescendo, especialmente em empresas de tecnologia e startups.
Salários variam de R$ 3.000 (júnior) a R$ 20.000+ (sênior), com oportunidades crescentes para trabalho remoto e freelance internacional.
Sobre a área de Dados
A área de Dados passou por uma transformação radical com a ascensão da Inteligência Artificial Generativa. Profissionais de dados são fundamentais para tomada de decisão baseada em evidências em todas as indústrias.
As principais especializações incluem Data Engineering, Data Science, Business Intelligence, Machine Learning Engineering e Analytics. Ferramentas como SQL, Python, Spark, dbt e plataformas de cloud (AWS, GCP, Azure) são essenciais.
O mercado de dados continua com alta demanda e salários entre os mais competitivos do setor de tecnologia, com muitas oportunidades para trabalho remoto.
Sobre a área de Backend
A área de Backend é responsável por toda a lógica do servidor, APIs, bancos de dados e infraestrutura que sustentam aplicações web e mobile. Profissionais de backend garantem que os sistemas sejam escaláveis, seguros e performáticos.
As principais habilidades incluem linguagens como PHP, Java, Python, Ruby, Go e Node.js, frameworks como Laravel, Spring Boot, Django e Express, bancos de dados (MySQL, PostgreSQL, MongoDB, Redis), arquitetura de software (clean architecture, DDD, microsserviços) e segurança de APIs (OAuth, JWT).
Desenvolvedores Backend em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam arquitetura de microsserviços, cloud computing e performance de alta escala. A área oferece oportunidades desde desenvolvedor júnior até arquiteto de software, com foco em escalabilidade, segurança e eficiência.
Sobre a área de Fullstack
Desenvolvedores Fullstack são profissionais versáteis capazes de atuar tanto no frontend quanto no backend de aplicações web e mobile. Eles dominam múltiplas tecnologias e são capazes de construir produtos completos do início ao fim, desde a interface do usuário até a infraestrutura do servidor.
As principais habilidades incluem domínio de pelo menos uma stack completa (React/Vue/Angular + Node.js/PHP/Python/Java), banco de dados (SQL e NoSQL), APIs REST/GraphQL, versionamento com Git, CI/CD e conhecimento básico de infraestrutura (Docker, cloud). Arquitetura limpa, DDD e testes são diferenciadores importantes.
Desenvolvedores Fullstack são muito valorizados em startups e empresas que precisam de profissionais versáteis e autônomos. A área oferece oportunidades desde desenvolvedor júnior até arquiteto de software, com foco em entrega completa, visão holística do produto e capacidade de trabalhar em múltiplas camadas da aplicação.
Sobre a área de Web Master
O Web Master é o profissional responsável pela manutenção, segurança e performance técnica de sites e aplicações web. Ele gerencia servidores, infraestrutura de hospedagem, monitoramento de uptime e garante que tudo funcione com rapidez e disponibilidade.
As principais habilidades incluem gestão de servidores (Apache, Nginx), hospedagem (AWS, Google Cloud, Azure), CDN (Cloudflare), SSL, DNS, segurança web (WAF, firewall), performance (Core Web Vitals, cache, compressão) e versionamento (Git, CI/CD). Conhecimento de Docker, WordPress, cPanel e monitoramento (Sentry, New Relic) é diferencial.
Web Masters em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam DevOps, SRE e conseguem garantir uptime e performance em escala. A área oferece oportunidades desde webmaster júnior até SRE e infrastructure engineer, com foco em confiabilidade, segurança e velocidade.
Sobre a área de Cloud Solutions
A área de Cloud Solutions é responsável por projetar, implementar e gerenciar infraestrutura e serviços em nuvem (AWS, Azure, GCP) para empresas. Profissionais de cloud arquitetam soluções escaláveis, seguras e otimizadas em custo, desde migrações de data centers até arquiteturas serverless e multi-cloud.
As principais habilidades incluem IaC (Terraform, CloudFormation), containers (Docker, Kubernetes), serverless (Lambda, Cloud Functions), bancos de dados gerenciados (RDS, DynamoDB, BigQuery), redes cloud (VPC, CDN, load balancer) e segurança (IAM, WAF, KMS). Conhecimento de FinOps, cloud governance e certificações AWS/Azure/GCP é diferencial.
Profissionais de Cloud Solutions em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam arquiteturas multi-cloud, FinOps e conseguem otimizar custos enquanto mantêm performance e segurança. A área oferece oportunidades desde cloud engineer até cloud solutions architect, head of cloud e chief cloud architect.
Conheça Outras Áreas
Entenda melhor o escopo de atuação, habilidades necessárias e ferramentas utilizadas em diferentes áreas de carreira.
Sobre a área de Content Writer
O Content Writer é o profissional responsável por criar conteúdo escrito de qualidade para sites, blogs, redes sociais e outras plataformas digitais. Ele combina habilidades de escrita com estratégia de conteúdo e SEO para atrair, engajar e converter audiências.
As principais habilidades incluem criação de conteúdo para blogs, landing pages, newsletters e redes sociais, pesquisa de palavras-chave, estratégia de conteúdo, calendário editorial e SEO writing. Conhecimento de WordPress, Surfer SEO, Ahrefs e ferramentas de analytics é diferencial.
Content Writers em empresas de tecnologia são muito valorizados, especialmente aqueles que conseguem criar conteúdo técnico acessível, evergreen content e conteúdo que gera tráfego orgânico. A área oferece oportunidades desde content writer júnior até head of content, com foco em qualidade, estratégia e performance de conteúdo.
Sobre a área Administrativa
A área Administrativa é responsável por garantir o funcionamento eficiente de todas as operações organizacionais. Profissionais administrativos gerenciam processos, recursos humanos, compras e facility management.
As principais habilidades incluem gestão de processos, Office 365, ERPs administrativos, compliance e gestão de pessoas. O conhecimento de ferramentas de automação e IA está se tornando cada vez mais relevante.
A digitalização dos processos administrativos tem criado novas oportunidades para profissionais que dominam tecnologia e gestão.
Sobre a área de Segurança da Informação
A área de Segurança da Informação é uma das mais estratégicas e requisitadas no mercado de tecnologia. Com o aumento dos ataques cibernéticos, roubo de dados e regulações como LGPD e GDPR, empresas de todos os portes investem pesadamente em profissionais que protejam seus ativos digitais.
As principais especializações incluem Segurança de Redes, Segurança em Cloud (AWS, Azure, GCP), Segurança Ofensiva (Penetration Testing, Red Team), Segurança Defensiva (SOC, Blue Team), AppSec e Governança de Segurança. Ferramentas como SIEM (Splunk, QRadar), firewalls, EDR e plataformas de Vulnerability Management são essenciais.
Certificações como CISSP, CEH, OSCP, CompTIA Security+ e AWS Security Specialty são diferenciadores importantes. Profissionais de segurança da informação estão entre os mais bem remunerados do setor, com demanda crescente especialmente em fintechs, healthtechs e empresas de grande porte.
Sobre a área de Engenheiro de Automação
O Engenheiro de Automação é o profissional responsável por projetar, desenvolver e implementar soluções que automatizam processos manuais e repetitivos em TI, infraestrutura, testes e operações. Ele combina conhecimento de programação com visão de DevOps e SRE para eliminar tarefas manuais e aumentar a eficiência operacional.
As principais habilidades incluem Infrastructure as Code (Terraform, Ansible, Pulumi), CI/CD (Jenkins, GitHub Actions, GitLab CI), automação de testes (Selenium, Cypress, Playwright), automação de rede (Netconf, SDN), RPA (UiPath, Power Automate) e scripting (Python, Bash, PowerShell). Conhecimento de Kubernetes, GitOps (ArgoCD, Flux) e plataforma de automação é diferencial.
Engenheiros de Automação em empresas de tecnologia são muito valorizados, especialmente aqueles que conseguem criar pipelines de deploy automatizados, infraestrutura auto-healing e plataformas internas de desenvolvimento (IDP). A área oferece oportunidades desde automation engineer júnior até automation architect e head of automation.
Sobre a área de Inteligência Artificial
A área de Inteligência Artificial é atualmente a que mais cresce no mercado de tecnologia. A revolução dos modelos generativos (GPT, Claude, Gemini) criou uma demanda massiva por profissionais especializados em IA.
As principais áreas de atuação incluem Machine Learning Engineering, MLOps, Prompt Engineering, AI Research e Applied AI. Python, TensorFlow, PyTorch e conhecimento de LLMs são skills essenciais.
Salários na área de IA são os mais altos do setor de tecnologia, com muitas oportunidades de trabalho remoto para empresas internacionais.