Spring cloud data flow

프로그래밍/spring

낭만프로그래머. 2021. 1. 16. 14:50

새로 입사한 회사에서 처음 받은 미션이 SCDF 를 이용해서 사내 서비스중에 하나를 대체 가능한지 여부를 체크하는 미션이라 Research!

Spring 공식 Document

Documentation | Spring Cloud Data Flow

Spring Cloud Data Flow - Documentation

dataflow.spring.io

대략적인 개요

Stream, Task 라 호칭되는 Spring boot 어플리케이션을 pipeline 으로 연동가능하게끔 관리
local, K8S 환경등에서 동작하며 persistent data 는 RDB 를 사용해서 관리(정의, 히스토리등)
몇개의 Task 를 연동하여 사용가능한 composite Task 개념이 존재
Stream 은 kafka 등의 메세지큐에서 데이터를 대기하며 늘 떠있는 job
Task 는 일회성으로 동작하여 spring batch job, spring task 의 구현체로 구현을 하면 됨
Stream, Task 등의 관리
- Spring cloud data flow 에 기본적으로 있는 spring flo 기반의 web dashboard 가 존재
  - k8s 로 docker 기반의 task 를 업로드 할때 사용하면 편하더라..
  - local 환경에서 task 의 log 를 확인하는것도 편함