[Airflow] Secrets Backend
안녕하세요 마개입니다. 일반적으로 connections와 variables는 환경변수 또는 메타스토어 데이터베이스에서 조회가 가능하지만 대체안으로 AWS SSM Parameter Store, Hashicorp Vault Secrets 또는 직접 구성하여 사용할 수 있습니다. 이번...
최근 포스트
[Linux] 서버 간의 파일 실시간 동기화
안녕하세요 마개입니다. Linux 서버 2개가 있을 때 2개 서버 간에 양방향으로 파일을 동기화하는 방법에 대해 알아봅니다. 서버는 A와 B가 있다고 가정하겠습니다.
[Airflow] Release Notes - 2.4.x
안녕하세요 마개입니다. 2022년 09월 19일에 적용된 Airflow 2.4 버전에서의 변경사항은 무엇이 있었는지 공식 홈페이지를 통해 알아봅니다. 메이저한 변경사항에 대해만 알아보고 버그 수정 부분은 생략합니다. 자세한 것은 공식 홈페이지를 통해 확인합니다.
[Airflow] Release Notes - 2.3.x
안녕하세요 마개입니다. 2022년 04월 30일에 적용된 Airflow 2.3 버전에서의 변경사항은 무엇이 있었는지 공식 홈페이지를 통해 알아봅니다. 메이저한 변경사항에 대해만 알아보고 버그 수정 부분은 생략합니다. 자세한 것은 공식 홈페이지를 통해 확인합니다.
[Airflow] Release Notes - 2.2.x
안녕하세요 마개입니다. 2021년 10월 11일에 적용된 Airflow 2.2 버전에서의 변경사항은 무엇이 있었는지 공식 홈페이지를 통해 알아봅니다. 메이저한 변경사항에 대해만 알아보고 버그 수정 부분은 생략합니다. 자세한 것은 공식 홈페이지를 통해 확인합니다.
[Elasticsearch] 여러 필드에 검색하고자 할 때 - Multi Match
안녕하세요 마개입니다. Elasticsearch에서 하나의 필드가 아니라 여러 필드에 쿼리를 하고자 할 때 match를 여러 번 작성하기 보다는 여러 필드를 한번에 쿼리할 수 있는데 이에 대해 알아봅니다. 본 내용은 7.10 버전에서 진행되었습니다.
[Elasticsearch] 한글을 분석하는 방법 - Nori 분석기
안녕하세요 마개입니다. Elasticsearch에서 한글 형태소 분석기는 몇 가지가 있는데 그 중 하나인 Nori에 대해 알아봅니다.
[Elasticsearch] Filter 종류
안녕하세요 마개입니다. Elasticsearch에서 데이터를 인덱싱할 때 Tokenizer를 통해 Token화된 이후에 필터링이 필요할 때 사용하는 것이 Filter입니다. Settings를 통해 filter를 지정할 수 있는데 몇 가지 filter에 대해 알아봅니다.
[Elasticsearch] 유연하게 scoring하는 방법 - function_score
안녕하세요 마개입니다. Elasticsearch에서 용어나 필드를 부스팅하는데 한계가 있다보니 유연하게 스코어링을 조절할 수 있는 방식으로 function_score 방식을 제공합니다. 해당 기능에 대해 알아봅니다.
[Python] Release Notes - 3.10
안녕하세요 마개입니다. Python 3.10 버전에서의 변경사항에 대해 알아봅니다.
[Pandas] For 문 이용 시 속도 개선 방법
안녕하세요 마개입니다. Pandas의 DataFrame을 이용할 때 For 문을 이용하는 것은 지양해야 하지만 어쩔 수 없이 사용해야 할 때가 있습니다. 이럴 때 For 문을 잘못 사용하면 속도 저하를 불러오는데 여러 가지 방법으로 속도를 비교해 보겠습니다.
[Athena] String 이어붙이기 사용 시 유의 사항
안녕하세요 마개입니다. AWS의 Athena나 MySQL 또는 다른 데이터베이스의 SQL을 이용하여 String 값을 이어붙이기할 때 유의해야할 사항에 대해 알아봅니다.
[Athena] No output location provided 에러
안녕하세요 마개입니다. AWS에서 Athena를 처음 이용하거나 IAM 유저를 새로 만들고 권한을 부여한 후 이용하게 될 때 발생할 수 있는 문제에 대해 알아봅니다.
[리뷰] 어쩌다 데이터 분석 with 파이썬
안녕하세요 마개입니다. 이번에 소개해 드릴 책은 “어쩌다 데이터 분석 with 파이썬”입니다. 해당 책에 대해 알아보도록 하겠습니다.
[Linux] 원격 서버 파일 복사하기/가져오기
안녕하세요 마개입니다. Linux 상에서 로컬 PC에서 원격 서버로 파일을 복사하거나 반대로 원격서버에 있는 파일을 로컬 PC로 복사해야 하는 경우가 있습니다. (예 : 로컬 PC에서 데이터를 JSON 파일로 생성해서 Druid 서버에 복사하기, 원격 서버의 로그 파일을 로컬 P...