Data engineer

דרישות חובה:
• ניסיון של לפחות 3 שנים כ Data engineer.
• ניסיון של 3 שנים של עבודה עם שפות Object-Oriented Programming (OOP).
• ניסיון של 3 שנים עם Python.
• ניסיון מעשי עם Spark עבור Large scale data.
• תואר במדעי המחשב . הנדסה . מתמטיקה או סטטיסטיקה.

דרישות המהוות יתרון:
• ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS.
• הבנה עמוקה בתחום של עיצוב, פיתוח ואופטימיזציה של פתרונות מורכבים שמעבירים או מעבדים כמויות גדולות של נתונים.
• הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdf5, delta lake.
• ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes.
• ניסיון של כלי data pipelines כמו airflow, Kubeflow.
• הבנה של מושגים ותהליכים בתחום machine learning.
• הכרות עם פתרונות GenAI / prompt engineering.