一部リモート
【Azure/Databricks】データマネジメントシステムPJの業務支援|製造業|一部リモートのエンジニア求人・案件
職種
システムエンジニア・プログラマー
契約形態
業務委託
稼働率
100%
リモート
一部リモート
出社頻度
週2回
業種
製造業
契約期間
即日~2024年11月末(延長の可能性あり)
業務内容
・製造業向けのAzure Databricks案件
・ベンダー側メンバーのITアーキテクトとして参画
・Bronzeにあるデータを変換して次のSilver Layerに移行(Bronze⇒Silver⇒Gold)
・Gold LayerのデータをML(機械学習)などに活用、BIで分析(別チームが動いている)
・上記の業務内容に伴って以下の業務を実施予定
- 要件分析とソリューションアーキテクチャ設計及び仕様の作成
- データモデリングとデータアーキテクチャ設計
- ETL、データ統合、およびデータ移行の設計
・ベンダー側メンバーのITアーキテクトとして参画
・Bronzeにあるデータを変換して次のSilver Layerに移行(Bronze⇒Silver⇒Gold)
・Gold LayerのデータをML(機械学習)などに活用、BIで分析(別チームが動いている)
・上記の業務内容に伴って以下の業務を実施予定
- 要件分析とソリューションアーキテクチャ設計及び仕様の作成
- データモデリングとデータアーキテクチャ設計
- ETL、データ統合、およびデータ移行の設計
スキル
必須スキル
・Data関連の案件で複数参画経験
・Azure Cloudの経験
・Pythonのプログラミング経験
・ジョブ、データブリックスノートブックのパフォーマンス最適化
・Azure Cloudの経験
・Pythonのプログラミング経験
・ジョブ、データブリックスノートブックのパフォーマンス最適化
任意スキル
任意スキル
・Azure環境でDatabricksにデータの分析、変換、モデリング、移行の経験
・Databricksのアーキテクチャやコンポーネント(ノートブック、ジョブ)に関する深い知見
・データ基盤(Databricks)に関する知見
・Pysparkのプログラミング経験
・Databricksのアーキテクチャやコンポーネント(ノートブック、ジョブ)に関する深い知見
・データ基盤(Databricks)に関する知見
・Pysparkのプログラミング経験
プロジェクトの詳細
![](https://tech-stock.com/wp-content/themes/tech-stock/dist/assets/img/projects/detail_blur-large.webp)
開発工程
・Azure Data lake storage
・Databricks clusters
・Databricks clusters
プロジェクト期間
2024年08月15日 ~ 2024年11月30日
ポジション
メンバー
募集人数
1名