Data Engineer Sênior (Python | Aws | Spark)
gruposrm
Híbrido
São Paulo, SP, BR
Desenvolvimento
Dados
Sem Categoria
Backend
Fullstack
Web Master
Cloud Solutions
Score da Vaga
100 pontos
Modelo híbrido (+80)
Desenvolvimento (+10)
Dados (+10)
Backend (+10)
Sobre a SRM Asset
Somos uma das maiores gestoras de recursos independentes do Brasil, líderes em fundos de direitos creditórios (FIDCs) e impulsionados por inovação. Com um ecossistema que integra Asset, Ventures e Tecnologia, operamos com a agilidade de uma fintech e a solidez de uma grande instituição financeira. Se você busca atuar em um ambiente onde seus dados impactam diretamente decisões de investimento e crédito em tempo real, seu lugar é aqui.
Estamos vivendo uma transformação importante na forma como construímos tecnologia.
Na SRM Asset, estamos evoluindo nosso modelo de desenvolvimento para um fluxo cada vez mais assistido por Inteligência Artificial e agentes autônomos, reduzindo a distância entre especificação, construção e entrega de software.
🎯 O Desafio
Como Engenheiro (a) de Dados Sênior (Python | AWS | Spark), você será peça-chave na evolução da nossa plataforma de dados. Buscamos um especialista capaz de transitar com maestria entre a engenharia de dados moderna (AWS/Spark) e ambientes relacionais tradicionais (MSSQL). Você atuará na arquitetura de pipelines robustos, garantindo disponibilidade, qualidade e performance para sustentar nossas operações críticas e modelos analíticos.
🚀 O que você vai fazer
- Desenvolver, orquestrar e monitorar pipelines de dados escaláveis utilizando Python e Apache Airflow.
- Processar grandes volumes de dados (Batch/Streaming) utilizando Apache Spark.
- Modelar e otimizar Data Warehouses na nuvem, com foco em AWS Redshift.
- Atuar na sustentação e modernização de cargas de dados legadas, garantindo a integração entre o ambiente MSSQL Server e o Data Lake.
- Escrever consultas SQL complexas e otimizadas para transformação e análise de dados.
- Colaborar com Cientistas de Dados e Analistas de Negócio para democratizar o acesso à informação.
- Contribuir para a governança e catalogação de dados utilizando OpenMetadata, garantindo linhagem, qualidade e descoberta de ativos de dados.
- Desenhar e evoluir a arquitetura de dados seguindo o padrão medallion (bronze, silver, gold), garantindo qualidade e confiabilidade em cada camada.
🛠 Tech Stack & Requisitos
- Domínio de Python: Experiência sólida com desenvolvimento de scripts ETL/ELT e manipulação de dados.
- SQL Avançado: Capacidade de escrever queries complexas, performáticas e realizar tuning.
- Ecossistema Big Data: Experiência prática com Apache Spark e orquestração via Airflow.
- Cloud AWS: Vivência com serviços de dados da AWS, com profundidade em Redshift (S3, Glue e Lambda são diferenciais).
- Mindset de Engenharia: Conhecimento em boas práticas (Git, CI/CD, Code Review).
- Modelagem de Dados: Experiência com modelagem dimensional (Star Schema, Snowflake Schema) para Data Warehouses analíticos, além de arquitetura em camadas (medallion architecture).
🏆 Diferenciais
- Forte background no ecossistema Microsoft: MSSQL Server, SSIS (Integration Services), SSAS (Analysis Services) e SSRS (Reporting Services).
- Nota: Valorizamos muito quem conhece a "velha guarda" dos dados e sabe integrá-la ou migrá-la para a nuvem.
- Experiência prévia no mercado financeiro, crédito ou meios de pagamento.
O que você achou desta vaga?
Carregando comentários...
Sobre a área de Desenvolvimento
A área de Desenvolvimento de Software é uma das mais dinâmicas e em constante evolução no mercado de trabalho. Profissionais dessa área são responsáveis por criar, manter e otimizar aplicações web, mobile e desktop que impactam milhões de usuários diariamente.
As principais linguagens e frameworks incluem JavaScript (React, Node.js, Vue.js), Python (Django, Flask), Java (Spring), PHP (Laravel) e TypeScript. A demanda por desenvolvedores full-stack continua crescendo, especialmente em empresas de tecnologia e startups.
Salários variam de R$ 3.000 (júnior) a R$ 20.000+ (sênior), com oportunidades crescentes para trabalho remoto e freelance internacional.
Sobre a área de Dados
A área de Dados passou por uma transformação radical com a ascensão da Inteligência Artificial Generativa. Profissionais de dados são fundamentais para tomada de decisão baseada em evidências em todas as indústrias.
As principais especializações incluem Data Engineering, Data Science, Business Intelligence, Machine Learning Engineering e Analytics. Ferramentas como SQL, Python, Spark, dbt e plataformas de cloud (AWS, GCP, Azure) são essenciais.
O mercado de dados continua com alta demanda e salários entre os mais competitivos do setor de tecnologia, com muitas oportunidades para trabalho remoto.
Sobre a área de Backend
A área de Backend é responsável por toda a lógica do servidor, APIs, bancos de dados e infraestrutura que sustentam aplicações web e mobile. Profissionais de backend garantem que os sistemas sejam escaláveis, seguros e performáticos.
As principais habilidades incluem linguagens como PHP, Java, Python, Ruby, Go e Node.js, frameworks como Laravel, Spring Boot, Django e Express, bancos de dados (MySQL, PostgreSQL, MongoDB, Redis), arquitetura de software (clean architecture, DDD, microsserviços) e segurança de APIs (OAuth, JWT).
Desenvolvedores Backend em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam arquitetura de microsserviços, cloud computing e performance de alta escala. A área oferece oportunidades desde desenvolvedor júnior até arquiteto de software, com foco em escalabilidade, segurança e eficiência.
Sobre a área de Fullstack
Desenvolvedores Fullstack são profissionais versáteis capazes de atuar tanto no frontend quanto no backend de aplicações web e mobile. Eles dominam múltiplas tecnologias e são capazes de construir produtos completos do início ao fim, desde a interface do usuário até a infraestrutura do servidor.
As principais habilidades incluem domínio de pelo menos uma stack completa (React/Vue/Angular + Node.js/PHP/Python/Java), banco de dados (SQL e NoSQL), APIs REST/GraphQL, versionamento com Git, CI/CD e conhecimento básico de infraestrutura (Docker, cloud). Arquitetura limpa, DDD e testes são diferenciadores importantes.
Desenvolvedores Fullstack são muito valorizados em startups e empresas que precisam de profissionais versáteis e autônomos. A área oferece oportunidades desde desenvolvedor júnior até arquiteto de software, com foco em entrega completa, visão holística do produto e capacidade de trabalhar em múltiplas camadas da aplicação.
Sobre a área de Web Master
O Web Master é o profissional responsável pela manutenção, segurança e performance técnica de sites e aplicações web. Ele gerencia servidores, infraestrutura de hospedagem, monitoramento de uptime e garante que tudo funcione com rapidez e disponibilidade.
As principais habilidades incluem gestão de servidores (Apache, Nginx), hospedagem (AWS, Google Cloud, Azure), CDN (Cloudflare), SSL, DNS, segurança web (WAF, firewall), performance (Core Web Vitals, cache, compressão) e versionamento (Git, CI/CD). Conhecimento de Docker, WordPress, cPanel e monitoramento (Sentry, New Relic) é diferencial.
Web Masters em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam DevOps, SRE e conseguem garantir uptime e performance em escala. A área oferece oportunidades desde webmaster júnior até SRE e infrastructure engineer, com foco em confiabilidade, segurança e velocidade.
Sobre a área de Cloud Solutions
A área de Cloud Solutions é responsável por projetar, implementar e gerenciar infraestrutura e serviços em nuvem (AWS, Azure, GCP) para empresas. Profissionais de cloud arquitetam soluções escaláveis, seguras e otimizadas em custo, desde migrações de data centers até arquiteturas serverless e multi-cloud.
As principais habilidades incluem IaC (Terraform, CloudFormation), containers (Docker, Kubernetes), serverless (Lambda, Cloud Functions), bancos de dados gerenciados (RDS, DynamoDB, BigQuery), redes cloud (VPC, CDN, load balancer) e segurança (IAM, WAF, KMS). Conhecimento de FinOps, cloud governance e certificações AWS/Azure/GCP é diferencial.
Profissionais de Cloud Solutions em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam arquiteturas multi-cloud, FinOps e conseguem otimizar custos enquanto mantêm performance e segurança. A área oferece oportunidades desde cloud engineer até cloud solutions architect, head of cloud e chief cloud architect.
Conheça Outras Áreas
Entenda melhor o escopo de atuação, habilidades necessárias e ferramentas utilizadas em diferentes áreas de carreira.
Sobre a área Financeira
A área Financeira em empresas de tecnologia combina conhecimento tradicional de finanças com ferramentas digitais avançadas. Profissionais de FP&A, controlling e finanças corporativas são essenciais para a saúde financeira da organização.
As principais habilidades incluem modelagem financeira, análise de indicadores (MRR, ARR, LTV, CAC), ERP (SAP, Oracle) e ferramentas de BI. Certificações como CFA e CPA-20 são diferenciais.
O setor financeiro oferece oportunidades estáveis com salários competitivos, especialmente em fintechs e grandes empresas de tecnologia.
Sobre a área de Social Mídia
A área de Social Mídia é uma das mais dinâmicas e em constante evolução do marketing digital. Profissionais de social media são responsáveis por criar, gerenciar e otimizar a presença de marcas nas plataformas digitais, construindo engajamento e comunidade com o público-alvo.
As principais habilidades incluem gestão de redes sociais (Instagram, TikTok, LinkedIn, Facebook, YouTube), criação de conteúdo para redes sociais, community management, mídia paga social (Meta Ads, LinkedIn Ads, TikTok Ads), análise de métricas e planejamento estratégico. Ferramentas como Hootsuite, Sprout Social, Buffer, Later e plataformas de analytics são essenciais.
Profissionais de social media em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam paid social, social media analytics e estratégias de conteúdo para diferentes plataformas. A área oferece oportunidades desde analista até diretor de social media, com foco em crescimento, engajamento e retorno sobre investimento.
Sobre a área de Atendimento
A área de Atendimento ao Cliente / Relacionamento é essencial para garantir a satisfação, retenção e o bom relacionamento com os clientes. Profissionais dessa área são a principal interface de comunicação, lidando com dúvidas, solicitações, feedback e garantindo uma experiência de alta qualidade no dia a dia. Habilidades em comunicação, resolução de problemas, empatia e paciência são indispensáveis.
Sobre a área de Comunicação
A área de Comunicação é estratégica para construir e manter a imagem institucional de uma empresa. Engloba comunicação corporativa, interna e externa, relações públicas, assessoria de imprensa e gestão de reputação. Profissionais de comunicação são responsáveis por transmitir mensagens consistentes que fortalecem a marca empregadora e o posicionamento no mercado.
As principais habilidades incluem escrita estratégica, planejamento de comunicação, gestão de crise, media relations, produção de conteúdo corporativo, organização de eventos e comunicação digital. Conhecimento de ferramentas como CRMs de comunicação, plataformas de distribuição de release e monitoramento de mídia (Meltwater, Cision) é diferencial.
Comunicadores corporativos em empresas de tecnologia são muito valorizados, especialmente aqueles que dominam change communication, employee engagement e digital communication. A área oferece oportunidades em startups, scale-ups e grandes corporações, com foco em storytelling, cultura organizacional e comunicação de inovação.
Sobre a área de Desenvolvimento Mobile
O Desenvolvimento Mobile é uma das áreas mais dinâmicas e em constante evolução do mercado de tecnologia. Com bilhões de dispositivos smartphones no mundo, a demanda por desenvolvedores mobile qualificados continua crescendo exponencialmente.
As principais stacks incluem Flutter (Dart), React Native (JavaScript/TypeScript), Kotlin (Android nativo), Swift (iOS nativo) e frameworks híbridos como Ionic e Capacitor. Conhecimento de arquitetura mobile (MVVM, Clean Architecture), CI/CD mobile (Fastlane, Bitrise, Codemagic) e publicação em App Store/Google Play são essenciais.
Desenvolvedores mobile sênior são profissionais muito valorizados, com salários competitivos e muitas oportunidades de trabalho remoto para empresas internacionais. A especialização em cross-platform ou nativo é uma decisão estratégica de carreira.
Comentários 0