[Airflow] 커스텀 XCom 사용
안녕하세요 마개입니다. Airflow를 이용하는데 있어 Task 간에 데이터를 주고 받는 방법에는 여러 방법이 있는데 기본적으로는 XCom이라는 기능을 제공합니다. 이 XCom에 대해서 Custom해보는 과정을 알아봅니다.
최근 포스트
[Airflow] DAG에 이슈가 있을 때 체크포인트
안녕하세요 마개입니다. Airflow를 운영함에 있어 DAG에 이슈가 있을 때 체크해봐야할 사항들에 대해 알아봅니다. 자료는 Marc Lamberti님의 자료를 참고했습니다.
[Linux] 비밀번호 없이 SSH 원격 접속하기 (PEM Key 생성)
안녕하세요 마개입니다. Linux 상에서 원격서버(마찬가지로 Linux)에 SSH 접속을 할 때 계정과 비밀번호를 요구합니다. 하지만 자동화를 하는 과정에서는 계정과 비밀번호를 입력할 수 없으니 (또는 계정과 비밀번호를 하드코딩하는 것은 보안상에 문제가 됨.) OpenSSH와 사...
[EKS] 시작해보기
안녕하세요 마개입니다. AWS의 수많은 서비스들 중에서 EKS를 이용해서 Kubernetes Cluster를 구성해보고자 합니다. AWS EKS의 공식 문서를 보고 따라해보았습니다.
[Airflow] Secrets Backend
안녕하세요 마개입니다. 일반적으로 connections와 variables는 환경변수 또는 메타스토어 데이터베이스에서 조회가 가능하지만 대체안으로 AWS SSM Parameter Store, Hashicorp Vault Secrets 또는 직접 구성하여 사용할 수 있습니다. 이번...
[Linux] 서버 간의 파일 실시간 동기화
안녕하세요 마개입니다. Linux 서버 2개가 있을 때 2개 서버 간에 양방향으로 파일을 동기화하는 방법에 대해 알아봅니다. 서버는 A와 B가 있다고 가정하겠습니다.
[Airflow] Release Notes - 2.4.x
안녕하세요 마개입니다. 2022년 09월 19일에 적용된 Airflow 2.4 버전에서의 변경사항은 무엇이 있었는지 공식 홈페이지를 통해 알아봅니다. 메이저한 변경사항에 대해만 알아보고 버그 수정 부분은 생략합니다. 자세한 것은 공식 홈페이지를 통해 확인합니다.
[Airflow] Release Notes - 2.3.x
안녕하세요 마개입니다. 2022년 04월 30일에 적용된 Airflow 2.3 버전에서의 변경사항은 무엇이 있었는지 공식 홈페이지를 통해 알아봅니다. 메이저한 변경사항에 대해만 알아보고 버그 수정 부분은 생략합니다. 자세한 것은 공식 홈페이지를 통해 확인합니다.
[Airflow] Release Notes - 2.2.x
안녕하세요 마개입니다. 2021년 10월 11일에 적용된 Airflow 2.2 버전에서의 변경사항은 무엇이 있었는지 공식 홈페이지를 통해 알아봅니다. 메이저한 변경사항에 대해만 알아보고 버그 수정 부분은 생략합니다. 자세한 것은 공식 홈페이지를 통해 확인합니다.
[Elasticsearch] 여러 필드에 검색하고자 할 때 - Multi Match
안녕하세요 마개입니다. Elasticsearch에서 하나의 필드가 아니라 여러 필드에 쿼리를 하고자 할 때 match를 여러 번 작성하기 보다는 여러 필드를 한번에 쿼리할 수 있는데 이에 대해 알아봅니다. 본 내용은 7.10 버전에서 진행되었습니다.
[Elasticsearch] 한글을 분석하는 방법 - Nori 분석기
안녕하세요 마개입니다. Elasticsearch에서 한글 형태소 분석기는 몇 가지가 있는데 그 중 하나인 Nori에 대해 알아봅니다.
[Elasticsearch] Filter 종류
안녕하세요 마개입니다. Elasticsearch에서 데이터를 인덱싱할 때 Tokenizer를 통해 Token화된 이후에 필터링이 필요할 때 사용하는 것이 Filter입니다. Settings를 통해 filter를 지정할 수 있는데 몇 가지 filter에 대해 알아봅니다.
[Elasticsearch] 유연하게 scoring하는 방법 - function_score
안녕하세요 마개입니다. Elasticsearch에서 용어나 필드를 부스팅하는데 한계가 있다보니 유연하게 스코어링을 조절할 수 있는 방식으로 function_score 방식을 제공합니다. 해당 기능에 대해 알아봅니다.
[Python] Release Notes - 3.10
안녕하세요 마개입니다. Python 3.10 버전에서의 변경사항에 대해 알아봅니다.
[Pandas] For 문 이용 시 속도 개선 방법
안녕하세요 마개입니다. Pandas의 DataFrame을 이용할 때 For 문을 이용하는 것은 지양해야 하지만 어쩔 수 없이 사용해야 할 때가 있습니다. 이럴 때 For 문을 잘못 사용하면 속도 저하를 불러오는데 여러 가지 방법으로 속도를 비교해 보겠습니다.