마개

Data Engineer
마술을 좋아하고 자동화, 데이터를 다룹니다.

최근 포스트

[리뷰] 어쩌다 데이터 분석 with 파이썬

1 분 소요

 안녕하세요 마개입니다. 이번에 소개해 드릴 책은 “어쩌다 데이터 분석 with 파이썬”입니다. 해당 책에 대해 알아보도록 하겠습니다.

[Linux] 원격 서버 파일 복사하기/가져오기

최대 1 분 소요

 안녕하세요 마개입니다. Linux 상에서 로컬 PC에서 원격 서버로 파일을 복사하거나 반대로 원격서버에 있는 파일을 로컬 PC로 복사해야 하는 경우가 있습니다. (예 : 로컬 PC에서 데이터를 JSON 파일로 생성해서 Druid 서버에 복사하기, 원격 서버의 로그 파일을 로컬 P...

[SQS] Queue 생성하기

1 분 소요

 안녕하세요 마개입니다. SQS는 Simple Queue Service로 AWS에서 제공하는 Queue 서비스입니다. SQS를 생성하기 위해서 몇 가지 설정해야 하는 부분이 있는데 이에 대해 알아보겠습니다.

[리뷰] SQL로 시작하는 데이터 분석

1 분 소요

 안녕하세요 마개입니다. 이번에 소개해 드릴 책은 “SQL로 시작하는 데이터 분석”입니다. 해당 책에 대해 알아보도록 하겠습니다.

[Pandas] CSV 파일 다룰 때 숫자 타입 이슈 문제

3 분 소요

 안녕하세요 마개입니다. Pandas를 이용해서 CSV파일을 다룰 때 str 타입으로 저장했던 데이터가 int 타입으로 변경이 되는 경우가 있습니다. 이러한 상황에 대해 알아보고 원인과 해결 방안을 보겠습니다.

[Vault] 구축

2 분 소요

 안녕하세요 마개입니다. 개발을 하는데 있어 필요한 토큰, 비밀번호, 암호화 키와 같은 민감한 데이터를 어떻게 다루고 관리해야할지 고민할 때 고려해야 하는 기술 및 툴 중에 하나인 Vault에 대해 알아봅니다.

[MAC] mds_stores CPU 점유율 문제

최대 1 분 소요

 안녕하세요 마개입니다. 2017년형 맥북을 사용 중인데 자주 CPU 점유율이 높아서 문제점을 찾은 내용을 공유합니다.

Airflow 구축 및 변천사 - 모니터링

6 분 소요

 안녕하세요 마개입니다. Airflow를 처음 도입하게 된 배경부터 구축을 넘어 마지막으로는 모니터링 부분에 대해 정리하고자 합니다.

Airflow 구축 및 변천사 - 개선

7 분 소요

 안녕하세요 마개입니다. 이전 글에서는 Airflow를 구축하고 기본적인 설정을 하는 과정을 정리하였습니다. 이번에는 기본적인 환경에서 겪은 불편함과 이를 해결하면서 개선하는 과정에 대해 정리하겠습니다.

Airflow 구축 및 변천사 - 구축

5 분 소요

 안녕하세요 마개입니다. 이전 글에서는 Airflow를 도입하게 된 배경과 선정 이유에 대해 정리하였습니다. 이번에는 구축하는 과정에 대해 내용을 정리해 보겠습니다.

Airflow 구축 및 변천사 - 도입 배경 및 선정

2 분 소요

 안녕하세요 마개입니다. 현재의 회사에서 Airflow를 1년 정도 넘게 사용 중인데 처음 Airflow를 도입하게 된 배경과 그동안의 변천사, 그 과정에서 생긴 고민들에 대한 내용을 정리하고자 합니다.