Junior Data Engineer (Data Management Industry)
Job Description
Job Description (Tugas & Tanggung Jawab)
- Merancang & Mengembangkan Data Pipeline: Membangun alur ETL/ELT yang andal menggunakan Apache NiFi untuk penjadwalan dan pemrosesan data otomatis dari berbagai sumber.
- Pengelolaan Analytical Storage: Mengelola dan mengoptimalkan ClickHouse sebagai sistem penyimpanan data analitis berkinerja tinggi.
- Integrasi Event-Driven Messaging: Mengintegrasikan RabbitMQ untuk mendukung arsitektur pengiriman pesan berorientasi peristiwa (event-driven).
- Monitoring & Pemeliharaan Sistem: Memantau kesehatan, kinerja, dan kestabilan sistem data secara real-time menggunakan Grafana dan Zabbix.
- Menyiapkan Fondasi Data: Memastikan data mentah berhasil di-extract, di-transform menjadi bersih/terstruktur, dan siap diolah oleh Data Analyst atau Data Scientist.
- Bahasa Pemrograman: Menguasai SQL dan Python untuk manipulasi dan pengolahan data.
- ETL & Data Pipeline: Pengalaman praktis menggunakan Apache NiFi atau alat orchestration setara.
- Database & Big Data: Terbiasa mengelola basis data analitis (ClickHouse) serta memahami basis data relasional (RDBMS) dan non-relasional (NoSQL).
- Messaging & Monitoring: Memiliki pemahaman tentang message broker (RabbitMQ) serta alat pemantauan sistem (Grafana & Zabbix).
- Cloud & Platform: Familiar dengan platform basis cloud (AWS / GCP / Azure) dan ekosistem Big Data (seperti Spark / Hadoop).
More Info
About Company