NEW
【Python/データエンジニア】フルリモート可 データパイプライン移行支援
データエンジニア
-
750,000 円/月
-
東京都
-
業務委託 / 契約社員
-
業務内容
以下、概要になります
・フルリモート可能です
・大手企業のデータ基盤における既存SPARKパイプラインのDatabricks移行プロジェクト
・役割:開発メンバー
・主な業務:既存SPARKパイプラインの現状調査・仕様整理、DatabricksへのETLパイプラインの移行・実装、シルバー/ゴールドレイヤーのデータ変換処理の開発・テスト、移行後の動作確認・品質担保など -
開発環境
-
言語
- Python, SQL
-
フレームワーク
-
DB
-
OS/クラウド
-
言語
-
求めるスキル
<必須要件>
・DWH/データパイプライン開発・運用経験
・Pythonを用いたデータ処理の実務経験
・SQLによるデータ加工・集計の実務経験
・Apache Spark/PySparkの経験
・Databricksの経験
・複数名チームでのプロジェクト参画経験
<歓迎要件>
・シルバーデータ/ゴールドデータ設計・開発経験
・アジャイル/スクラム開発経験 -
期間
未定
-
想定稼働日数
週5日
-
面談回数
3回
-
リモート
フルリモート
13時間前