Airflow 3.0がやってきました
オーケストレーションツールのAirflowですが、ついに3.0のメジャーバージョンアップがやってきました！2.0は2020年にリリースされ、実に4年以上の月日をかけて作られたメジャーリリースだそうです。 気になった内容をご紹介します。 アーキテクチャーの変更（Task SDK） モチベーション 歴史的に、Airflowのタスク実行は比較的信頼できるネットワーク クラスター内での実行とされてきました。つまり、各コンポーネントが相互に同じネットワークの中で通信し合うことで、タスク実行を実現していました。 ExecutorとAirflow Workers上でタスクを起動するプロセス間のやり取り 接続と環境情報のためのワーカーとAirflowメタデータデータベース間のやり取り。 ハートビート情報などのためのAirflow WorkerとAirflowの残りの部分との間のやり取り。 これは、すべての
データオーケストレーションツールDagsterの紹介
データオーケストレーションとは データオーケストレーションという言葉をご存知でしょうか？日本ではまだ耳慣れない言葉ですが、data orchestrationでgoogle検索すると実に3000万件以上ヒットし、世界的には十分に市民権を得ている言葉です。Databricksではデータオーケストレーションを以下のように説明しています。 データオーケストレーションとは データオーケストレーションとは、複数のストレージからサイロ化したデータを取り出し、組み合わせて整理し、分析に利用できるようにするための自動化されたプロセスです。 このプロセスでは、レガシーシステム、クラウドベースのツール、データレイクといったあらゆるデータセンターが接続されます。データは標準形式に変換されるため、理解しやすく、容易に意思決定に利用できます。 オーケストレーションとは、コンピュータシステム、アプリケーション、および
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
