Senioridade: Sênior

Contratação: PJ | Atuação: Híbrido em São Paulo

Breve Resumo do Projeto: Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar em um projeto estratégico de modernização da plataforma de dados de uma empresa do segmento de Educação, com foco na migração de processos e workloads atualmente desenvolvidos em SAS para Databricks. O profissional terá papel hands-on na análise do legado SAS, identificação das regras de negócio, desenho da solução na nova arquitetura e desenvolvimento dos processos utilizando principalmente Python, PySpark e SQL no Databricks. 

Buscamos um profissional hands-on, capaz de conduzir com autonomia:
SAS legado → Engenharia reversa → Regras de negócio → Arquitetura Databricks → Desenvolvimento → Otimização → Testes → Reconciliação → Homologação → Produção Stack principal SAS → Python/PySpark → SQL → Apache Spark → Databricks → Delta Lake → Unity Catalog.

Descrição das Principais Atividades e Reponsabilidades:

• Analisar programas, rotinas e pipelines existentes em SAS.
• Realizar engenharia reversa para identificação de regras de negócio, fontes, destinos e dependências.
• Converter processos SAS para Python, PySpark e SQL.
• Desenvolver pipelines e workloads no Databricks.
• Trabalhar com processamento distribuído utilizando Apache Spark.
• Implementar soluções utilizando Delta Lake e arquitetura Lakehouse.
• Otimizar performance de pipelines e consultas.
• Implementar mecanismos de logging, auditoria, tratamento de erros e qualidade de dados.
• Realizar testes e reconciliação dos resultados entre SAS e Databricks.
• Identificar oportunidades de modernização, evitando a simples conversão literal do legado.
• Documentar regras de negócio, pipelines, dependências e decisões técnicas.
• Apoiar homologações junto às áreas de negócio.
• Trabalhar presencialmente e de forma colaborativa com engenheiros, arquitetos, analistas e especialistas de negócio.

Descrição Perfil Técnico:

• Experiência sólida com Databricks.
• Experiência avançada com Python e PySpark.
• SQL avançado.
• Experiência com Apache Spark e processamento distribuído.
• Experiência com Delta Lake.
• Conhecimento de Databricks Workflows/Jobs.
• Conhecimento de Unity Catalog.
• Experiência com Git e versionamento de código.
• Experiência com desenvolvimento e manutenção de pipelines de dados.
• Conhecimento de otimização de workloads Spark.
• Experiência com testes e validação de dados.
• Capacidade de leitura e interpretação de código SAS.

  • Conhecimentos SAS especialmente relevantes:
    DATA STEP;
    PROC SQL;
    PROC SORT;
    PROC TRANSPOSE;
    macros;
    funções e formatos;
    manipulação de datasets;
    bibliotecas;
    dependências entre programas.

• O principal requisito relacionado ao SAS é a capacidade de entender o funcionamento do legado e convertê-lo corretamente para uma arquitetura moderna em Databricks.

Diferenciais:

• Experiência anterior em migração SAS → Databricks.
• Migração de plataformas legadas para Lakehouse.
• Arquitetura Medallion.
• Databricks Asset Bundles.
• Databricks CLI.
• CI/CD.
• Data Quality e Data Lineage.
• Observabilidade de pipelines.
• Experiência com Azure e ADLS.
• Conhecimentos de governança de dados.
• Experiência anterior no segmento de Educação.

Competências Comportamentais:

• Capacidade analítica: facilidade para compreender códigos e processos legados complexos e identificar regras de negócio mesmo quando houver pouca documentação.
• Resolução de problemas: capacidade de investigar divergências entre SAS e Databricks, problemas de performance e inconsistências de dados.
• Autonomia: capacidade de assumir uma frente de migração e conduzi-la desde o entendimento do legado até sua homologação.
• Comunicação: facilidade para interagir presencialmente com equipes técnicas e áreas de negócio, traduzindo necessidades funcionais em soluções técnicas.
• Colaboração: perfil adequado para atuação próxima a outros engenheiros, arquitetos, analistas e usuários-chave.
• Organização: capacidade de controlar dependências, documentação, objetos migrados, testes e evidências de homologação.
• Visão crítica: capacidade de questionar a implementação existente e propor uma solução adequada à arquitetura Databricks, em vez de simplesmente converter código SAS linha a linha.
• Orientação à qualidade: preocupação com integridade, rastreabilidade e reconciliação dos dados durante todo o processo de migração.

Como Aplicar: Todas as incrições devem ser realizadas através do nosso portal de VAGAS (https://jump.inhire.app/vagas).

Informações da Empresa: 

Nascida do objetivo de atender projetos e prestar serviços de forma eficiente e diferenciada somos uma empresa especializada em serviços de tecnologia e análise de dados, contando com uma equipe altamente capacitada em diversas áreas. Atendemos uma variedade de projetos, oferecendo expertise na captação e análise de dados, bem como a concepção e desenvolvimento de produtos.

Diferenciamo-nos pelo uso de uma metodologia única, proporcionando resultados de alta performance e qualidade com agilidade e eficiência. Acreditamos em ultrapassar o convencional, trazendo inovação para todos os segmentos de negócio.

Com mais de 12 anos de experiência no mercado de tecnologia, a Jump destaca-se como a parceira ideal para extrair o máximo potencial de seus dados de maneira eficaz e ágil. Nossa equipe especializada está sempre pronta para atender às necessidades específicas de nossos clientes em dados, a qualquer momento.