Dołącz do nas
Data Engineer
Zarobki: 12 000 - 19 000 PLN net/miesiąc B2BMiejsce pracy: Zdalnie
Data dodania: 01.07.2022
Interesujesz się Data Engineeringiem? Aktualnie poszukujemy do nowo powstałego teamu osoby, która pomoże nam w rozwoju tej dziedziny. Jako członek/członkini zespołu będziesz miał(a) okazję współtworzyć architekturę procesów zasilających eSky w dane.
W celu organizacji pracy posługujemy się elementami metodyki Agile. Do monitoringu dostępności naszych rozwiązań używamy Grafany. Na codzień korzystamy z Pythona, Apache Airflow oraz usług chmurowych Google Cloud Platform, integrujemy dane z różnorakich źródeł (REST, bazy NoSQL, bazy relacyjne, (S)FTP i nie tylko) i umieszczamy je w naszej hurtowni danych BigQuery.
Wyzwania, jakie na Ciebie czekają:
✅ Będziesz odpowiadać za rozwój i utrzymanie procesów związanych z zasilaniem i gromadzeniem danych w hurtowni BigQuery
✅ Oczekujemy również, że zadbasz o jakość i spójność danych
✅ Korzystając z Pythona oraz SQL będziesz również programował(a) i konfigurował(a) mechanizmy ETL do zasilania hurtowni danych
✅ Twoim zadaniem będzie także współpraca z właścicielami źródeł danych oraz ich konsumentami w celu wypracowania właściwych praktyk zasilania hurtowni, zachowania spójności danych i ich jakości oraz metod korzystania
Nasze oczekiwania:
✅ Umiejętność analizowania i rozumienia domeny biznesowej problemów oraz przełożenia domeny biznesowej na model danych
✅ Bardzo dobra znajomość Pythona oraz SQL
✅ Znajomość zagadnień związanych z konteneryzacją (Docker)
✅ Znajomość narzędzi do procesów ETL/ELT (np. Apache Airflow)
Mile widziane:
✅ Znajomość zagadnień związanych z usługami chmurowymi (idealnie Google Cloud Platform)
✅ Znajomość zagadnień i narzędzi związanych z data mining, data science, machine learning będzie atutem
Stack technologiczny:
- Python
- Google Cloud Platform (BigQuery, Kubernetes Engine, Pub/Sub, Compute Engine, DataPrep, Dataflow, Cloud Functions, Cloud Run, Cloud Storage)
- Apache Airflow
- Grafana
- MongoDB
- Postgres
- SQL Server
Co oferujemy:
🌴 Dojrzałe procesy technologiczne, Continuous Integration, codzienne wdrożenia pozwalające na obserwowanie efektów pracy
🌴 Bezpośredni wpływ na kształt rozwiązań oraz bliską współpracę z biznesem
🌴 Pełną autonomię – samoorganizujące się zespoły, swoboda tworzenia metodyki pracy i wyboru technologii
🌴 Zaawansowany proces Agile – pełna adopcja w skali całej firmy od ponad 6 lat, Product Ownerzy dostępni na miejscu
🌴 Praca w modelu hybrydowym – możliwość pracy zarówno zdalnej oraz w jednej z naszych oddziałów (Katowice, Warszawa)
🌴 Benefity w systemie kafeteryjnym – m.in. karta Multisport, bilety do kina, kody rabatowe w sklepach, możliwość skorzystania z grupowego ubezpieczenia na życie oraz prywatnej opieki medycznej
🌴 Duże możliwości rozwoju – praca z najnowszymi technologiami, szkolenia wewnętrzne i zewnętrzne (np. z Machine Learning, Kubernetes)
🌴 Udział w konferencjach IT – co roku jesteśmy obecni na najważniejszych branżowych konferencjach, nie tylko w Polsce, ale i za granicą (m.in. Google Cloud Next, .NET Developer Days)