Spring cloud data flow

새로 입사한 회사에서 처음 받은 미션이 SCDF 를 이용해서 사내 서비스중에 하나를 대체 가능한지 여부를 체크하는 미션이라 Research!

Spring 공식 Document

https://dataflow.spring.io/docs/installation/

Documentation | Spring Cloud Data Flow

대략적인 개요

• Stream, Task 라 호칭되는 Spring boot 어플리케이션을 pipeline 으로 연동가능하게끔 관리
• local, K8S 환경등에서 동작하며 persistent data 는 RDB 를 사용해서 관리(정의, 히스토리등)
• 몇개의 Task 를 연동하여 사용가능한 composite Task 개념이 존재
• Stream 은 kafka 등의 메세지큐에서 데이터를 대기하며 늘 떠있는 job
• Task 는 일회성으로 동작하여 spring batch job, spring task 의 구현체로 구현을 하면 됨
• Stream, Task 등의 관리
  • Spring cloud data flow 에 기본적으로 있는 spring flo 기반의 web dashboard 가 존재
    • k8s 로 docker 기반의 task 를 업로드 할때 사용하면 편하더라..
    • local 환경에서 task 의 log 를 확인하는것도 편함

Shell 을 사용한 log 확인

• local, K8S 설치는 가이드가 잘되어있어서 그냥 따라만 해도 설치는 문제가 없음