[Apache Iceberg] Big Data File Format
안녕하세요 마개입니다. Apache Iceberg 테이블을 이용하게 되었는데 이 Iceberg가 무엇이고 어떤 것이 좋은지 알아봅니다.
최근 포스트
[Git] Pull할 때의 에러
안녕하세요 마개입니다. Git을 이용하여 버전관리를 하고 있는데 Pull을 할 때의 발생하는 에러들을 모아놓습니다.
[Python] 구글 스프레드시트 연동
안녕하세요 마개입니다. Python의 Pandas를 이용하여 구글 스프레드시트에 데이터를 업로드하는 작업을 진행해보고자 합니다. 해당 내용은 구글 스프레드시트 API 설정과 파이썬 연동, Pandas로 데이터 업로드하는 과정으로 진행됩니다.
[Slack] API를 이용하여 메시지 보내기
안녕하세요 마개입니다. 개인 또는 회사에서 개발을 진행하면서 슬랙을 통해 메시지를 받고자할 때가 있습니다. 배치 프로세스가 있다면 해당 프로세스의 결과 (성공 또는 실패)를 받는다던지 특정 메트릭이 임계치를 넘을 경우 알람을 받는 등의 형태로 이용할 수 있는데 API를 이용해서...
[Apache Spark] 속성
안녕하세요 마개입니다. Apache Spark를 이용하면서 사용하던 속성을 작성합니다. 무작위로 필요할 때 쓰기 위해 기록해놓은 것입니다.
[Java] Lombok
안녕하세요 마개입니다. Java를 이용하여 모델을 개발하는데 사용되는 Lombok에 대해 알아봅니다.
[EC2] Instance Type
안녕하세요 마개입니다. AWS에서 인스턴스를 다루다보면 많은 인스턴스 타입이 있고 이중에 어떤 것을 써야할지에 대한 고민이 생길 수 있습니다. 이에 대해 정리를 해봅니다.
[Data Engineering Roadmap] 1. 개요
안녕하세요 마개입니다. Data Engineer가 되기 위해 Data Engineering Roadmap을 살펴보고 하나씩 공부해나가는 시간을 가져보려고 합니다.
[Apache Hive] 속성
안녕하세요 마개입니다. Apache Hive를 이용하면서 사용하던 속성을 작성합니다. 무작위로 필요할 때 쓰기 위해 기록해놓은 것입니다.
[Notion] 왼쪽 메뉴바에서 페이지 사라짐 현상
안녕하세요 마개입니다. Notion을 이용해서 커뮤니티에 정보를 제공해주는 페이지가 있는데 해당 페이지가 왼쪽 메뉴바에서 갑자기 사라져서 해당 현상과 해결 방법을 남깁니다.
[Apache Spark] Storage Format
안녕하세요 마개입니다. Apache Spark는 RDD부터 시작하여 DataSet, DataFrame, Parquet 등 여러 포맷을 거쳐왔는데 이번에 Apache Spark의 스토리지 포맷에 대해 정리합니다. 참고 문서를 보고 정리했습니다.
[Java] Gradle이란
안녕하세요 마개입니다. Build Tool로 많이 사용하는 Gradle에 대해 알아봅니다.
[Redshift] DataShare
안녕하세요 마개입니다. AWS Redshift의 여러 기능 중에 DataShare에 대해 살펴봅니다. 공식 문서를 참고하여 정리합니다.
[Redshift] Unload
안녕하세요 마개입니다. AWS Redshift의 여러 기능 중에 UNLOAD에 대해 살펴봅니다. 공식 문서를 참고하여 정리합니다.
[리뷰] 데이터 드리븐 리포트, 상사와 고객을 설득하는 데이터 기반의 의사결정 with 파이썬
안녕하세요 마개입니다. 이번 달에 소개해 드릴 책은 “데이터 드리븐 리포트, 상사와 고객을 설득하는 데이터 기반의 의사결정 with 파이썬”입니다. 해당 책에 대해 알아봅시다.