데이터 분석가 판교데싸

Airflow 사용 이유 데이터 엔지니어링에선 데이터 ETL(Extract, Transform, Load) 과정을 통해 데이터를 가공하며 적재함 머신러닝 분야에서도 모델 학습용 데이터 전처리, Train, Prediction시 사용 가능 위와 같은 경우 여러개의 Sequential한 로직(앞의 output이 뒤의 input이 되는)이 존재하는데 이런 로직들을 한번에 관리해야 함 관리할 로직이 적다면 CRON + 서버에 직접 접속해 디버깅 하는 방식으로 사용할 수 있지만, 점점 관리할 태스크들이 많아지면 헷갈리는 경우가 생김 이런 Workflow Management 도구는 airflow 외에도 하둡 에코시스템에 우지(oozie), luigi 같은 솔루션이 있음 DAG 생성 DAG 생성하는 흐름 (1) de..

클래스와 객체의 개념 기본적으로 속성은 클래스를 설명하는 특징이고 메서드는 동작을 뜻 함

PYQT5 란? uic.loadUiType() 본 Qt designer를 이용해서 원하는 GUI를 구성하고 이 UI파일을 파이썬 코드를 이용하여 로드 qpix_map=QPixmap() 화면에 이미지를 표시하는 인스턴스 -> 이미지 시각화 QFileDialog.getExistingDirectory Directory를 설정 하고 원하는 폴더 지정하기 lineEdit.setText 한줄짜리 글자를 입력받을 수 있는 입력 위젯 self.move move() 메서드는 이 위젯을 스크린의 x=300px, y=300px의 위치로 이동 setWindowTitle() 타이틀바에 나타나는 실행 프로그램의 제목을 설정 if name == 'main':한 줄의 코드를 통해 프로그램이 직접 실행되는지 혹은 모듈을 통해 실행되는..

Rate Limiting : 어떤 유저가 1초에 몇 만개의 Request를 보내면 서버가 부하가 되니 제한을 시켜놓은 것 Response Status Codes : 요청 시 요청 값에 대해 어떤 식으로 나오는지에 대한 코드 API 코드 예시 ex) curl -X GET "https://api.spotify.com/v1/artists/0OdUWJ0sBjDrqHygGUXeCF" -H "Authorization: Bearer {your access token}" 을 보내면 이런 식의 Json 파일을 Response 받을 수 있음 참조: developer.spotify.com/documentation/web-api/reference/artists/get-artist/ API 실습 1. spotify Docs g..

API : 두개의 시스템이 서로 상호 작용하기 위한 인터페이스 * 데이터를 주고받는 인터페이스 , 보통 API 는 Rest API를 뜻 함 application(내컴퓨터) : HTTP라는 프로토콜을 통해Rest api에 주소를 요청 -> 서버는 해당 값을보고 다시 application(내컴퓨터)에 어떠한값을 리턴 값을 던져주게됨 HTTP : W3 상에서 정보를 주고받을 수 있는 프로토콜 (주로 HTML) Request : 웹브라우저(클라이언트)를 통해 서버에 어떤 정보를 요청하는 것 Response : 요청 한 것에 대한 응답 값(Json 형태의 데이터로 들어옴)으로 들어 올 것 Authorization ( 권한 ) Authentication: Identity(정체)가맞다는 증명을 하는 것 Authori..