Airflow 구축 및 변천사 - 모니터링
안녕하세요 마개입니다. Airflow를 처음 도입하게 된 배경부터 구축을 넘어 마지막으로는 모니터링 부분에 대해 정리하고자 합니다.
최근 포스트
Airflow 구축 및 변천사 - 개선
안녕하세요 마개입니다. 이전 글에서는 Airflow를 구축하고 기본적인 설정을 하는 과정을 정리하였습니다. 이번에는 기본적인 환경에서 겪은 불편함과 이를 해결하면서 개선하는 과정에 대해 정리하겠습니다.
Airflow 구축 및 변천사 - 구축
안녕하세요 마개입니다. 이전 글에서는 Airflow를 도입하게 된 배경과 선정 이유에 대해 정리하였습니다. 이번에는 구축하는 과정에 대해 내용을 정리해 보겠습니다.
Airflow 구축 및 변천사 - 도입 배경 및 선정
안녕하세요 마개입니다. 현재의 회사에서 Airflow를 1년 정도 넘게 사용 중인데 처음 Airflow를 도입하게 된 배경과 그동안의 변천사, 그 과정에서 생긴 고민들에 대한 내용을 정리하고자 합니다.
[서평] 쉽게 배우는 AWS AI 서비스
안녕하세요 마개입니다. 이번에 AWS를 이용하여 AI 서비스를 구축하는 책에 대해 소개를 해보고자 합니다.
Docker Private Registry 만들기 (AWS EC2 Ubuntu)
안녕하세요 마개입니다. AWS EC2 서버를 이용하여 Docker의 Registry를 만들려고 합니다.
TensorFlow GPU 세팅하기
안녕하세요 마개입니다. 이번에는 NVIDIA 그래픽카드가 달린 PC에 TensorFlow GPU를 세팅해서 사용해 보겠습니다. 업데이트 : 2023.10.09
[Docker] 서버의 용량이 꽉 찼을 때 확인사항
안녕하세요 마개입니다. AWS EC2에서 Docker를 운영하다 디스크 용량이 가득 차서 점검을 해본 사항에 대해 공유합니다.
[서평] fastai와 파이토치가 만나 꽃피운 딥러닝
안녕하세요 마개입니다. 이번에 딥러닝 관련 책에 대해 리뷰를 해보는 시간을 가져보도록 하겠습니다.
[DevOps] CI/CD 툴 비교
안녕하세요 마개입니다. DevOps 분야에서 필요한 CI/CD 툴들에 대해 간단하게 정리를 하였습니다.
Apache Kafka란
안녕하세요 마개입니다. 이번 글에서는 데이터 파이프라인에 많이 이용하는 Apache Kafka에 대해 대략적으로 알아보도록 하겠습니다.
[서평] SQL 쿡북 - 모든 SQL 사용자를 위한 쿼리 완벽 가이드
안녕하세요 마개입니다. 이번에 SQL 관련 책에 대해 리뷰를 해보는 시간을 가져보도록 하겠습니다.
[Athena] AccessDeniedException 에러
안녕하세요 마개입니다. Python에서 AWS의 Athena를 이용할 때 발생한 에러를 다뤄보고자 합니다.
국내외 IT기업 기술 블로그
안녕하세요 마개입니다. 국내외 IT회사들의 기술 블로그 주소를 나열하였습니다. 참고용으로 봐주시길 바랍니다. (업데이트 날짜 : 2023.07.30)
[Data 포지션] Data Engineer
Data Engineer는 Data 분석 또는 경영진의 의사 결정을 위해 각기에 흩어져있는 데이터를 한곳으로 수집하여 저장하고 보여줄 수 있는 Data Pipeline을 구축하는 것이 주 업무입니다. Data가 굉장히 중요해진 만큼 Data 분석은 필수사항이 되었고 이를 효과적으...