募集終了
フルリモート
【ETL/DWH】データ基盤開発支援|サービス業|フルリモート可のエンジニア求人・案件
〜90万円/月(税別)
東京都中央区 / フルリモート(在宅) / 東銀座駅
業務委託(フリーランス)
システムエンジニア・プログラマー / バックエンドエンジニア(サーバサイド)
Python
職種
システムエンジニア・プログラマー / バックエンドエンジニア(サーバサイド)
契約形態
業務委託
稼働率
100%
リモート
フルリモート
出社頻度
フルリモート
業種
サービス業(他に分類されないもの)
契約期間
即日~長期予定
業務内容
・薬局DX支援のプロダクトのETL/ELT処理開発、DWH構築などのデータ基盤開発支援
・Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
・Apache Sparkを利用したETL処理の開発
・各サービス開発チームのデータエンジニアリングの支援
・Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
・Apache Sparkを利用したETL処理の開発
・各サービス開発チームのデータエンジニアリングの支援
スキル
必須スキル
・サーバーサイドのアプリケーション開発経験
・AWS/GCP/Azureのいずれかのクラウドサービスを利用した経験
・データレイク、データウェアハウスの設計・構築・運用経験
・ETL/ELTなどのデータワークフロー管理ツールの開発・運用経験
・チーム開発経験
・AWS/GCP/Azureのいずれかのクラウドサービスを利用した経験
・データレイク、データウェアハウスの設計・構築・運用経験
・ETL/ELTなどのデータワークフロー管理ツールの開発・運用経験
・チーム開発経験
【言語・スキル】
【経験年数】
Python
【言語・スキル】
【経験年数】
Python
1年以上3年未満
任意スキル
任意スキル
・Pythonでの開発経験
・Databricksの利用経験
・Spark、Prestoを利用する大規模なデータプラットフォームの開発・運用経験
・Terraformなどを使ったインフラの自動構築の経験
・匿名加工が必要なデータの取り扱い経験
・データマネジメント・ガバナンス施策の実施経験
・Databricksの利用経験
・Spark、Prestoを利用する大規模なデータプラットフォームの開発・運用経験
・Terraformなどを使ったインフラの自動構築の経験
・匿名加工が必要なデータの取り扱い経験
・データマネジメント・ガバナンス施策の実施経験
プロジェクトの詳細
開発工程
■業務概要
薬局のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。
■業務内容の詳細
Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
Apache Sparkを利用したETL処理の開発
各サービス開発チームのデータエンジニアリングの支援
■募集背景
現在カケハシには「薬局DX」をトータルサポートするために複数のプロダクトが存在しており、希少価値の高い様々なデータを取得できています。より「薬局DX」をサポートするためにも、データ連携や基盤構築をしてデータ事業を展開する必要があります。また、プロダクトの改善やカスタマーサクセスの品質向上などのためにも、社内でのデータ利活用を推進することは必須となります。本ポジションでは、データエンジニアリングで薬局と社内のDX化を推進することに興味のある方を募集します。
▼以下の弊社ブログ記事もご覧ください
データ基盤チームについて
https://kakehashi-dev.hatenablog.com/entry/2022/05/24/113000
Databricksを導入した背景
https://kakehashi-dev.hatenablog.com/entry/2022/09/12/100000
■今後の進展
2022年7月にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。
■面白さ/やりがい
Databricksを活用した最新のデータ基盤技術に触れることができます。
単にデータパイプライン開発だけでなく、データ利用者とともにサービス要件を一緒に検討をするため、生きたデータ基盤構築のノウハウを学べます。
DMBOKやデータメッシュなどのデータマネージメント・ガバナンスについてのスキルが身につきます。
希少価値の高い医療データ基盤を構築することで、社会貢献性の高いサービス提供に貢献できます。
フルリモートで全国どこでも働けます。
■チーム
開発ディレクター:1
データエンジニア:3
■開発環境
開発言語…Python、Apache Spark、SQL
データベース・データウェアハウス・データフォーマット…Databricks、BigQuery、Amazon Aurora、Amazon DynamoDB、Delta Lake、Apache Parquet
インフラ…AWS、GCP
開発手法…スクラム
構成管理…Terraform
バージョン管理、コラボレーションツール…GitHub、Slack、esa、JIRA、Trelloなど
プロジェクト期間
2023年03月01日 ~ 2023年05月31日
ポジション
サブリーダー