مساء الخير
تحت التويت دي هنزل كل الresources اللي انا شايفها valuable انك تبدأ تبقى داتا انجينير من الصفر
المصادر و الroadmaps
و الmain skills اللي تقدر من بعدها تقدم لوظيفة Junior Data Engineer
تحت التويت دي هنزل كل الresources اللي انا شايفها valuable انك تبدأ تبقى داتا انجينير من الصفر
المصادر و الroadmaps
و الmain skills اللي تقدر من بعدها تقدم لوظيفة Junior Data Engineer
في بداية السنة نشرت مقالين على Medium اتكلمت في الاول عن كل الskills المطلوبة عشان تبقى داتا انجينير - ذكرتهم بدون ترتيب او اولوية - المهم انك تقراه تاخد overview كسكيلز
والاهم ان فيه blog حاططها في المقال اسمها Awesome data engineer *هنحتاجها بعدين*
medium.com
والاهم ان فيه blog حاططها في المقال اسمها Awesome data engineer *هنحتاجها بعدين*
medium.com
في المقال التاني انا ركزت على الskills الأساسية اللي تقدر من بعدها تقدم على شغل عادي ك DE وهم Python, SQL and Data Engineering Concepts
وحطيت المصادر اللي انا شايفها كويسة سواء paid or free وطبعاً تقدر تشوف اي مصادر تانية.
وحطيت المصادر اللي انا شايفها كويسة سواء paid or free وطبعاً تقدر تشوف اي مصادر تانية.
ولكن فيه مصدر واحد فقط مافيش حد pioneer اختلف عليه وهو كتاب fundamentals of Data Engineering
الكتاب ده هو مرجعية لناس كتير في المجال
انا قرأته مرتين بينهم سنة وفرق معايا على كل الجوانب و it's a must
الكتاب مابيعلمكش tools بعينها ولكن بيديك base قوي لمجال بيتغير بسرعة كتولز
الكتاب ده هو مرجعية لناس كتير في المجال
انا قرأته مرتين بينهم سنة وفرق معايا على كل الجوانب و it's a must
الكتاب مابيعلمكش tools بعينها ولكن بيديك base قوي لمجال بيتغير بسرعة كتولز
هضيف بس عليهم two playlists وانا شايفهم مهمين وهما
1- Big Data in depth
2- Hadoop & Distributed Systems by Garage education
المحتوى هنا كافي و وافي كل اللي عليك تمشي عالبلايليستس بالترتيب و تtake notes
1- youtu.be
2- youtube.com
1- Big Data in depth
2- Hadoop & Distributed Systems by Garage education
المحتوى هنا كافي و وافي كل اللي عليك تمشي عالبلايليستس بالترتيب و تtake notes
1- youtu.be
2- youtube.com
ماترهقش نفسك انك تروح تتعلم tool معينة لو عرفت تبني الأساس صح هتقدر تتحرك بسهولة في اي tool وهيبدأ كل شئ يclick و تcatch some important patterns و ده المبدأ اللي مبني عليه الchannel فماعتقدش فيه content محترم كدة بالعربي زي garage education
هرجع لنقطة الData Engineering Concepts و هنا هرشح كتاب Data Toolkit by Ralph Kimball و هقول على الكونسيبتس اللي محتاج تتعلمها في العموم - مذكورة في الtwo articles - وهم :
What is DWh?
Why we need DWH?
Characteristics of DWH
Diff between transactional DB and DWH
ETL & ELT
OLTP & OLAP Systems
Diff between dwh and data lake
Data Modelling techniques
Star schema
Snowflake Schema
diff between star & snowflake schemas
Fact & Dimensional tables
Why we need DWH?
Characteristics of DWH
Diff between transactional DB and DWH
ETL & ELT
OLTP & OLAP Systems
Diff between dwh and data lake
Data Modelling techniques
Star schema
Snowflake Schema
diff between star & snowflake schemas
Fact & Dimensional tables
حاجة أخيرة بس محتاجين نتعلمها محتاجين نعرف شوية معلومات عن الداتابيز :
-ACID Transactions
- Partitioning
- Sharding
- Bucketing
- Indexing
- How database store data? what is page in db? etc
المصدر اللي هرشحه واعتقد هو كافي و وافي برضو
كورس حسين ناصر
udemy.com
-ACID Transactions
- Partitioning
- Sharding
- Bucketing
- Indexing
- How database store data? what is page in db? etc
المصدر اللي هرشحه واعتقد هو كافي و وافي برضو
كورس حسين ناصر
udemy.com
عرفنا بايثون و sql و data modeling و hadoop و DB و قرينا كتابين مهمين في المجال؟
محتاجين نطبق اكيد
ترشيحي البسيط انك تمسك Northwind transactional database OLTP system وتحولها عن طريق SQL ل OLAP System
github.com
محتاجين نطبق اكيد
ترشيحي البسيط انك تمسك Northwind transactional database OLTP system وتحولها عن طريق SQL ل OLAP System
github.com
هذكر شوية honorable mentions لنفس الskills :
-Ahmed Shabaan's BD enginner at VOIS Repo Roadmap for Jr Data engineer :
github.com
- Data Engineering Practice by Daniel Beach
github.com
- github.com
-Ahmed Shabaan's BD enginner at VOIS Repo Roadmap for Jr Data engineer :
github.com
- Data Engineering Practice by Daniel Beach
github.com
- github.com
github.com/OmarEhab007/Da…
GitHub - OmarEhab007/Data_Engineering_Mentorship: Data engineering mentorship program
Data engineering mentorship program. Contribute to OmarEhab007/Data_Engineering_Mentorship developme...
github.com/adilkhash/Data…
GitHub - adilkhash/Data-Engineering-HowTo: A list of useful resources to learn Data Engineering from scratch
A list of useful resources to learn Data Engineering from scratch - adilkhash/Data-Engineering-HowTo
github.com/danielbeach/da…
GitHub - danielbeach/data-engineering-practice: Data Engineering Practice Problems
Data Engineering Practice Problems. Contribute to danielbeach/data-engineering-practice development...
كدة احنا جاهزين نتارجت اي job description ل jr data engineer job role
ولكن مع التقديم لازم نركز على one cloud provider mainly AWS
and just the basics of Docker - BigData بالعربي channel
youtu.be
ولكن مع التقديم لازم نركز على one cloud provider mainly AWS
and just the basics of Docker - BigData بالعربي channel
youtu.be
شوية Notes :
بمناسبة الوقوع في فخ انك تتعلم تولز معينة.
قبل ما اشتغل ماكنتش اعرف غير intermediate spark, basic hadoop, SQL and Python
في الشغل نفسه اتعلمتHadoop, Hive, Bash, Linux and Airflow
بمناسبة الوقوع في فخ انك تتعلم تولز معينة.
قبل ما اشتغل ماكنتش اعرف غير intermediate spark, basic hadoop, SQL and Python
في الشغل نفسه اتعلمتHadoop, Hive, Bash, Linux and Airflow
فطبيعي انك هتتعلم في الشغل والشركات مابتركزش عالتوولز على قد ما بتركز تتtarget someone who has the sense
- SQL اهم من بايثون وسكالا و اي لغة برمجة في المجال
محتاج تماستر sql و تبقى intermediate in Pyton مش العكس
- SQL اهم من بايثون وسكالا و اي لغة برمجة في المجال
محتاج تماستر sql و تبقى intermediate in Pyton مش العكس
SQL supported from all cloud providers, databricks, snowflake, big data Query engines such presto/Trino, Spark has api for writing SQL.
ك data engineer abstract role
SQL is the main skill that you need to write/optimize complex queries day to day tasks
ك data engineer abstract role
SQL is the main skill that you need to write/optimize complex queries day to day tasks
لو انت data engineer builder role / software engineer in data
فطبيعي هتحتاج تبقى مماستر لغات برمجة معينة و المعظم بيطلب scala and python
And that's it.. thanks for reading.
فطبيعي هتحتاج تبقى مماستر لغات برمجة معينة و المعظم بيطلب scala and python
And that's it.. thanks for reading.
لو هتكلم على most known and used now for sure it's Spark
but you need to know Hadoop first to study it and of course it's the most required tool beside sql and python.
ماحبيتش اضيف اي تولز معينة او بروجكيتس ليها فلو حد احتاج تول معينة يبعتلي على كيريوس اكيد
but you need to know Hadoop first to study it and of course it's the most required tool beside sql and python.
ماحبيتش اضيف اي تولز معينة او بروجكيتس ليها فلو حد احتاج تول معينة يبعتلي على كيريوس اكيد
just wanna give a shoutout to my friend and also a unique senior data engineer for his zoom camp which gave me a whole new perspective about data warehouses and was like the glue to build knowledge.
Thanks boss @AhmedEmad_07 I really appreciate your effort.
Thanks boss @AhmedEmad_07 I really appreciate your effort.
جاري تحميل الاقتراحات...