데이터 분석가 판교데싸

AWS 클라우드 내에서 pyspark 및 아파치 스파크 사용을 위한 기초 단계로 먼저 AWS를 익혀보면서 DB를 핸들링 해보자 * AWS - RDBMS 생성하기 us-east-2.console.aws.amazon.com/console/home?region=us-east-2# https://us-east-2.console.aws.amazon.com/console/home?region=us-east-2 us-east-2.console.aws.amazon.com 1. 위의 URL 로 들어가 AWS 가입 후 로그인 가입 이후 왼쪽 상단에 있는 서비스를 클릭하여 -> RDS 서비스 선택 및 생성 docs.aws.amazon.com/ko_kr/AmazonRDS/latest/UserGuide/CHAP_Tutorial..

Azure Stream Analytics -> 원본에서 빠르게 대량의 스트리밍 데이터를 분석 및 처리 하도록 설계된 이벤트 처리 엔진 특징 1. 기기, 센서, 클릭스트림, 소셜 미디어 피드, 어플리케이션 등 다양한 입력 소스에서 추출한 정보에서 패턴과 관계를 확인할 수 있다. 2.이러한 패턴은 경고 생성, report 툴에 정보 제공 또는 나중에 사용하기 위해 변환된 데이터 저장과 같은 작업을 트리거하고 워크플로우를 시작하는 데 사용 됨 3. Stream Analytics는 또한 Azure IoT Edge 런타임에 제공되어 IoT 기기에서 데이터를 처리할 수 있다. 작동 방식 1. 입력, 쿼리 및 출력으로 구성 2. Azure Event Hubs, Azure IoT Hub 또는 Azure Blob Sto..

SQL data type 인덱스의 종류 primary : 중복되지 않는 유일한 키 normal : 중복을 허용하는 인덱스 unique : 중복을 허용하지 않는 유일한 키 foreign : 다른 테이블과의 관계성을 부여하는 키 인덱스의 정의 방법 자주 조회되는 칼럼에 적용 조회 시 오랜시간을 소모하는 컬럼에 적용 데이터가 긴 경우 인덱스를 사용하지 않는다. 인덱스 생성 CREATE INDEX index_name ON table_name (index_col_name,...) primary key 테이블 전체를 통틀어서 중복되지 않는 값을 지정해야 한다. where 문을 이용해서 데이터를 조회할 때 가장 고속으로 데이터를 가져올 수 있다. 테이블마다 딱 하나의 primary key를 가질 수 있다. 여러개의 ..

오늘은 R SDK를 사용해 자동차 사고로 인한 사망확률을 예측하는 로지스틱 회귀 + 모델 배포까지 학습하겠습니다. * Azure 안에서 작업영역을 만드는 것은 생략 1. 개발환경 설정 library(azuremlsdk) # azure ml sdk 패키지를 불러옵니다 ws

1. 애져 포탈 로그인 2. 리소스 만들기 ( 작업영역 이름은 마음대로~~) 3. 리소스 그룹 -> docs-aml 4. 작업영역 : Basic -> 검토 + 만들기 5. 배포 성공하면 -> 리소스 이동 선택 -> azure 머신러닝 스튜디오 로그인 후 시작 6. 왼쪽에서 노트북 선택 -> 샘플 폴더 열기 -> 파이썬 폴더 열기 -> 1.0.85 -> 튜토리얼 ... 눌러 복제 7. 8. VM(컴퓨팅)찾을 수 없는 경우 -> +새 컴퓨팅(vm) 눌러 인스턴스 vm 설치( 이름 입력 :2~16자 사이 ,5분 정도 걸림) 9. 튜토리얼 - 첫번째 모델 훈련 (1) 작업 공간 연결 및 실험 생성 from azureml.core import Workspace ws = Workspace.from_config() ..