마개

안녕하세요 마개입니다. GithubIO를 이용하여 블로그를 운영하고 있는데 보다보니 중요한 사실을 잊었습니다. 블로그의 모든 글들에는 이미지를 넣었지만 해당 이미지가 확대되지 않았다는 점입니다. 어떠한 이미지는 블로그에서 볼 때 작게 보이는데 이게 확대가 안되기 때문에 문제가 ...

[ChatGPT] OpenAI API 비용 충전하기

November 1, 2024 1 분 소요

안녕하세요 마개입니다. ChatGPT에서 제공해주는 API를 사용하기 위해 비용을 충전해봅니다.

[SparkSQL] SparkSQLOperator를 사용하는 Airflow 파이프라인 성능 개선기

October 23, 2024 3 분 소요

안녕하세요 마개입니다. SparkSQL을 사용하는 파이프라인에 성능 이슈가 있어서 이를 튜닝했던 과정을 공유합니다. 회사에서 진행한 것이기에 정확한 정보가 나오지는 않습니다.

[ChatGPT] OpenAI API 이용해보기

October 16, 2024 2 분 소요

안녕하세요 마개입니다. 개발을 하다가 모르는 것이 생길 때 매번 OpenAI의 ChatGPT 도움을 많이 받았었습니다. 하지만 IT 개발자로서(데이터 엔지니어지만..) 제대로 사용해보면 좋을 것 같아 API에 대해 알아보게 되었습니다. 해당 내용에 대해 기록을 남깁니다.

[Airflow] Release Notes - 2.9.x

September 28, 2024 최대 1 분 소요

안녕하세요 마개입니다. 2024년 04월 08일에 적용된 Airflow 2.9 버전에서의 변경사항은 무엇이 있었는지 공식 홈페이지를 통해 알아봅니다. 메이저한 변경사항에 대해만 알아보고 버그 수정 부분은 생략합니다. 자세한 것은 공식 홈페이지를 통해 확인합니다.

[Airflow] Release Notes - 2.8.x

September 28, 2024 최대 1 분 소요

안녕하세요 마개입니다. 2023년 12월 18일에 적용된 Airflow 2.8 버전에서의 변경사항은 무엇이 있었는지 공식 홈페이지를 통해 알아봅니다. 메이저한 변경사항에 대해만 알아보고 버그 수정 부분은 생략합니다. 자세한 것은 공식 홈페이지를 통해 확인합니다.

[Airflow] Release Notes - 2.7.x

September 28, 2024 1 분 소요

안녕하세요 마개입니다. 2023년 08월 18일에 적용된 Airflow 2.7 버전에서의 변경사항은 무엇이 있었는지 공식 홈페이지를 통해 알아봅니다. 메이저한 변경사항에 대해만 알아보고 버그 수정 부분은 생략합니다. 자세한 것은 공식 홈페이지를 통해 확인합니다.

[Airflow] Release Notes - 2.6.x

September 28, 2024 1 분 소요

안녕하세요 마개입니다. 2023년 04월 30일에 적용된 Airflow 2.6 버전에서의 변경사항은 무엇이 있었는지 공식 홈페이지를 통해 알아봅니다. 메이저한 변경사항에 대해만 알아보고 버그 수정 부분은 생략합니다. 자세한 것은 공식 홈페이지를 통해 확인합니다.

최근 포스트