Data engineer

תיאור משרה

תכנון ופיתוח תהליכי ETL ובניית Data Pipelines בסביבת Lakehouse
התוויית דרכי מידול ובחירת כלי ואופן הפיתוח בהתאם לסביבת עבודה, נפח המידע, מקורות נתונים ודרישה עסקית
התפקיד כולל תכנון, פיתוח וניהול תהליכי אינטגרציה ובניית Data Pipelines מורכבים
הכנת נתונים, מידול, טיוב והעשרה של הנתונים
הגדרה וביצוע תהליכי גישה, הפקה, זרימה, תכלול וקליטה בין מקורות נתונים ופלטפורמות אנליטיות, מתן הדרכה והנחיה למפתחים ומהנדסי נתונים בארגון
הובלה ותכנון תהליכי BATCH ו STREAMING, תכנון ובניית שכבות נתונים ב Data Modeling  ו- Lakehouse
עבודה בשיתוף פעולה עם DBA, צוותי תשתיות של הארגון, אנשי DATA ומדעני נתונים
לקיחת חלק בתכנון תהליכי מעבר נתונים לסביבת ענן
עבודה עם כלים וטכנולוגיות מתקדמות בתחום ה- BI ,AI ,Data Big, והטמעה של טכנולוגיות חדשות