마개

Data Engineer
마술을 좋아하고 자동화, 데이터를 다룹니다.

최대 1 분 소요

 안녕하세요 마개입니다.
8강에서는 스크래핑(Scraping)에 대해 알아보겠습니다. 스크래핑은 웹이나 프로그램 등에서 데이터를 추출하고 가공하는 기술입니다. 이전에 네이버 뉴스 크롤링 사례에서 사용한 주요 기술이므로 끝까지 시청해주세요 !


Scraping

참고

[Apache Iceberg] Big Data File Format

3 분 소요

 안녕하세요 마개입니다.  Apache Iceberg 테이블을 이용하게 되었는데 이 Iceberg가 무엇이고 어떤 것이 좋은지 알아봅니다.

[Git] Pull할 때의 에러

최대 1 분 소요

 안녕하세요 마개입니다.  Git을 이용하여 버전관리를 하고 있는데 Pull을 할 때의 발생하는 에러들을 모아놓습니다.

[Python] 구글 스프레드시트 연동

2 분 소요

 안녕하세요 마개입니다. Python의 Pandas를 이용하여 구글 스프레드시트에 데이터를 업로드하는 작업을 진행해보고자 합니다. 해당 내용은 구글 스프레드시트 API 설정과 파이썬 연동, Pandas로 데이터 업로드하는 과정으로 진행됩니다.

[Slack] API를 이용하여 메시지 보내기

2 분 소요

 안녕하세요 마개입니다.  개인 또는 회사에서 개발을 진행하면서 슬랙을 통해 메시지를 받고자할 때가 있습니다. 배치 프로세스가 있다면 해당 프로세스의 결과 (성공 또는 실패)를 받는다던지 특정 메트릭이 임계치를 넘을 경우 알람을 받는 등의 형태로 이용할 수 있는데 API를 이용해서...