DOIK [2기]11 Stackable Operator - Stackable Data Platform (SDP) Stackable Operator CloudNet@ 팀 gasida님의 DOIK(Database Operator In Kubernetes) 스터디를 진행하며 작성한 글 입니다. 1. Stackable Data Platform (SDP) Kubernetes 환경에서 오픈소스 데이터 관련 애플리케이션들을 손쉽게 배포하고 관리할 수 있게끔 도와주는 Operator 입니다. Stackable은 계층적 구조를 가지는데, Data 관련 파이프라인(airflow-scheduled-job , data-lakehouse-iceberg-trino-spark 등..) 을 Best Pratice 환경으로 쉽게 배포해 주거나, 데이터 관리 오픈소스(Hadoop, Kafka, Spark 등) 를 설치하고 관리하는데 필요한 Thi.. 2023. 11. 23. Kubernetes Pod 스케줄링 기법 - affinity, taint, toleration Kubernetes Pod 스케줄링 기법 - affinity, taint, toleration CloudNet@ 팀 gasida님의 DOIK(Database Operator In Kubernetes) 스터디를 진행하며 작성한 글 입니다. 해당 문서는 Kubernetes의 Pod가 어떻게 스케줄링되고, 어떻게 조절할 수 있는지에 대해 기술합니다. 0. Repository Map Taint와 Toleration 특정 노드에 파드를 허용하는 방법 nodeAffinity 파드가 label을 기반으로 파드를 스케줄링할 노드를 선택하는 방법 podAffinity 파드가 label을 기반으로 label을 가진 파드가 스케줄링된 동일한 노드에 스케줄링하는 방법 podAntiAffinity 파드가 label을 기반으로 .. 2023. 11. 23. Kafka In kubernetes - Strimzi Operator Kafka In kubernetes - Strimzi Operator CloudNet@ 팀 gasida님의 DOIK(Database Operator In Kubernetes) 스터디를 진행하며 작성한 글 입니다. Kafka Strimzi Kafka Strimzi 는 쿠버네티스 환경에서 카프카 Kafka 운영 관리에 도움을 주는 Operator 입니다. Strmizi v0.38.0 doc Strimzi가 제공하는 Kafka 구성요소 Kafka MirrorMaker Kafka Cluster간의 데이터 전송 / 수신을 도와주게 됩니다. Kafka Bridge Client Application에서 Kafka Producer 또는 Consumer가 되기 위해서 라이브러리를 설치해야하는데, 불가능한 경우가 있을 수.. 2023. 11. 18. Kafka 이론 Kubernetes RBAC CloudNet@ 팀 gasida님의 DOIK(Database Operator In Kubernetes) 스터디를 진행하며 작성한 글 입니다. Kafka란 ? 미국 linkedin에서 개발했으며, pub-sub 모델의 메시지 큐 종류 입니다. 1. Kafka를 왜 쓸까 ? Kafka docs에서는 이벤트 스트리밍을 위해 Kafka를 사용한다고 합니다. 이때 이벤트 스트리밍은 , 수많은 소프트웨어들이 실시간으로 상시 작동하기 위한 기술을 의미합니다. 예를들어 DB , IOT 센서 , 클라우드 서비스 APP에서 발생하는 이벤트를 나중에 검색할 수 있도록 지속적으로 저장하거나 다른 대상 기술로 전달하여 적제적소에 올바른 위치에 있도록 도와주는것이 이벤트 스트리밍 입니다. 따라서 ,.. 2023. 11. 18. 이전 1 2 3 다음
