Especialista Databricks (Data & IA)

Aqui na ília nossas vagas estão sempre abertas para todas as pessoas e não se restringem quanto a gênero, etnia, orientação sexual, fatores sociais, condições físicas ou intelectuais (PCD) etc. Incentivamos a candidatura de integrantes de todos os grupos minoritários!

Sobre a ília

Somos especialistas em tecnologia, dados e design, impulsionando a transformação digital de grandes players do mercado há mais de 10 anos, nos setores financeiro, seguros e mobilidade. Com mais de 450 profissionais, estamos presentes no Brasil e Europa, atendendo aos mercados da América Latina, Europa e América do Norte, desenvolvendo produtos digitais de alta qualidade e com foco em resultados de negócios. Somos uma equipe inovadora, criativa e apaixonada por tecnologia.

Certificada pelo 7° ano consecutivo como Great Place to work aqui na ília acreditamos que pessoas mudam o mundo, e investimos nelas. Nossas awesome deliveries são feitas de pessoas para pessoas, afinal awesome people make awesome deliveries!

#Vempraília!

Sobre a vaga:

Esta posição é estratégica para a liderança de projetos complexos de ponta a ponta na plataforma Databricks, unindo Engenharia de Dados pesada a cenários de IA Generativa, Agentic AI e soluções voltadas para Segurança/Cibersegurança. Buscamos um perfil sênior que de fato construa soluções robustas de produção sobre a plataforma, possua total autonomia técnica para tomada de decisões arquiteturais e saiba extrair a máxima performance da ferramenta em ambientes críticos e de alta escala.

Responsabilidades:

• Desenvolver e orquestrar pipelines complexos de ingestão em lote (batch) e tempo real (streaming) em escala de produção;
• Desenhar e gerenciar o ciclo de vida completo do dado em arquiteturas Lakehouse de alta performance;
• Implementar modelos robustos de governança de dados, gestão de identidade, permissões e linhagem end-to-end;
• Desenvolver, homologar e realizar o deploy de aplicações de dados, assistentes em linguagem natural (Genie) e agentes inteligentes de IA diretamente na plataforma;
• Garantir otimização profunda de consultas, troubleshooting de pipelines declarativos e rastreamento de modelos em produção com foco em eficiência, segurança e FinOps;
• Atuar em demandas estratégicas do time de Segurança, incluindo atualização e sustentação de ambientes SAT/WAD em DEV/PRD;
• Criar novos JOBs de detecção de Threat Intel e integração com esteiras de resposta a incidentes;
• Desenvolver dashboards de detecção e monitoração multidisciplinar de eventos de segurança;
• Construir notebooks operacionais para ações de resposta a incidentes cibernéticos, como bloqueio de usuários, revogação de tokens e busca ativa de informações;
• Participar de iniciativas e POCs relacionadas a observabilidade e segurança em ambientes Lakehouse (Security Lakewatch).
  
  
  

Requisitos:

• Sólida experiência prática e domínio real em Delta Lake profundo (OPTIMIZE, Z-ORDER, liquid clustering, Change Data Feed, time travel);
• Experiência comprovada em pipelines com Structured Streaming, Auto Loader e ambientes declarativos (Lakeflow / SDP);
• Domínio avançado de governança e isolamento de ambientes via Unity Catalog (metastore, external locations, row/column-level security);
• Conhecimento prático em Databricks SQL (DBSQL), Photon Engine, query profiles e inteligência analítica baseada em prompts (Genie Spaces/Code);
• Experiência real com IA e Machine Learning corporativos, cobrindo frameworks de agentes (Mosaic AI Agent Framework, RAG, tool-calling), avaliação de métricas (Agent Evaluation) e esteiras de MLOps (MLflow, Feature Store, online tables);
• Conhecimento profundo na criação de aplicações integradas nativamente (Databricks Apps) e bancos de dados operacionais (Lakebase);
• Compreensão sólida de infraestrutura Databricks, incluindo otimização e diferenciação entre all-purpose clusters e job clusters;
• Vivência com ambientes críticos de segurança, observabilidade, automação de resposta a incidentes ou pipelines voltados para Cyber Security;
• Experiência com monitoramento, automação operacional e integração entre dados e fluxos de segurança.
  
  
  

Diferenciais:

• Certificação Databricks ativa (Data Engineer Associate ou Professional);
• Experiência comprovada com GenAI e Compound AI Systems em produção;
• Vivência em projetos reais de migração de plataformas legadas para Lakehouse;
• Histórico de contribuições em comunidades técnicas ou produção de conteúdo sobre Databricks;
• Experiência prévia em projetos de segurança, threat intelligence, SIEM, SecOps ou automações de resposta a incidentes.
  
  
  

Benefícios e Incentivos:

Nossa contratação é CLT- 40h semanais com jornada flexível, sendo executada de forma remota. Os benefícios da ília são pensados para proporcionar uma experiência AWESOME para cada ílian, abaixo você encontra os benefícios de forma resumida. #vempraília

Para Saúde e bem-estar:

• Plano de Saúde e Odontológico SulAmérica extensivo a dependentes;
• Vale Alimentação/Refeição em cartão flexível Caju benefícios
• Seguro de Vida;
• Auxílio Home-Office em cartão flexível Caju benefícios;
• Wellhub (Gympass);
• Sesc – extensivo a dependentes, com acesso aos serviços em todo o Brasil;
• TotalPass.
  
  
  

Para o seu Desenvolvimento:

• ília University: Universidade Corporativa com mais de 20 mil cursos disponíveis para desenvolvimento pessoal e profissional;
• Language Academy: Escola de idiomas para ílians;
• í-talks e Chapter: Momentos e cerimônias em que o time compartilha práticas, estudos, projetos e ideias. Nas chapters ainda se reúnem pessoas com skills similares para compartilhamento de ideias, práticas e experiências;
  
  
  

Gostamos de ir além no cuidado com as nossas pessoas, então dispomos também de alguns benefícios não convencionais:

• Plano de Saúde PET - Guapeco
• Onhappy – benefício de viagem a lazer, com liberdade para você viajar com quem quiser.
• BYOD - Alugamos o seu notebook pessoal te pagando um valor mensal para que você o use, mas disponibilizamos também máquinas de trabalho para ílians. Você quem decide!
• Seu Niver, seu bolo!
• Seu Networking Vale Prêmio - Programa de premiação a indicação de novos funcionários.