Data Engineer
תיאור משרה
• העברת נתונים (Migration): הובלת תהליך העברת (Ingestion) מאגרי נתונים קיימים מסביבת On-Premise (מערכות ליבה) אל סביבת הענן ב-GCP.
• פיתוח שכבות נתונים (Silver & Gold): תכנון ופיתוח שכבות הנתונים המעובדות (Data Marts) בתוך BigQuery, תוך יישום לוגיקה עסקית מורכבת.
• אורקסטרציה ותזמון (Orchestration): פיתוח ותחזוקה של תשתיות תזמון ותיאום התהליכים (Pipelines) באמצעות כלי GCP ייעודיים (כגון Cloud Composer / Apache Airflow).
• טרנספורמציות וטיוב (Transformation & Quality): פיתוח קוד וסקריפטים לביצוע טרנספורמציות מורכבות, ניקוי, איחוד ושיפור איכות הנתונים (Data Quality).
• אופטימיזציה: כתיבת שאילתות וקוד יעיל ב-BigQuery (SQL) תוך התחשבות בעלויות ובביצועים.
• תיעוד: יצירת תיעוד טכני מלא ועדכני של ארכיטקטורת הנתונים והתהליכים.
דרישות התפקיד
• ניסיון מוכח: 3+ שנות ניסיון בפיתוח Data Engineering.
• מומחיות ב-GCP: ניסיון מעשי משמעותי בפיתוח והטמעה בסביבת Google Cloud Platform (GCP) – חובה.
•ניסיון עמוק בפיתוח מודלי נתונים, כתיבת שאילתות מורכבות (SQL) ואופטימיזציה ב -BigQuery – חובה.
• שפות פיתוח: שליטה גבוהה ב-Python (לצורך פיתוח טרנספורמציות ותהליכי ETL/ELT).
• תזמון ותהליכים: ניסיון בכלי אורקסטרציה ו-Workflow Management (כגון Cloud Composer, Apache Airflow או כלים דומים).
• Data Lakes & Storage: ניסיון בעבודה עם Cloud Storage (GCS) ומאגרי נתונים נוספים ב-GCP (כגון Cloud SQL).
* משרה זו פונה לנשים וגברים כאחד.
דרושים IL אתר הדרושים של ישראל
דרושים לפי קטגוריות
דרושים לפי קטגוריות - המשך
דרושים לפי אזורים
דרושים לפי איזורים - המשך
חיפושים פופלריים
דרושים IL
כתבות ומדריכים
דרושים IL - מגשימים 1, פתח תקווה. ליצירת קשר לחץ כאן