데이터 분석가 판교데싸

이진분류(Sigmoid) 이중 분류는 어떤 물체인지 표현할 필요 X 다중분류(Softmax) 다중 분류는 '어떤 물체'인지 표현해야 함 결국 정답을 어떻게 표현할 것인가? -> one hot encoding 실제 알고리즘 출력을 확률로 변환 하기 위해 softmax 사용 정답과 출력을 비교 결국 하위 식이 1이 되게끔 학습을 하는것 (밑에 시에서는 1 X 0.7) 결국 잘맞추면 1 , 못 맞추면 log식이 (1x 무한대) 무한대로 치솟는 형태로 나타남

Project 타이어 정상/불량 판정 자동화를 위한 이미지 처리 + 설비 내장 가능한 서비스 구현 프로젝트 관련 설명 1. 딥러닝 모델 개발 다음과 같은 최적의 딥러닝 모델을 구하기 위해 30여번의 실험을 진행 대략적인 코드는 다음과 같다 CNN 모델 최적화 과정을 간단하게 정리하자면 1. 먼저 data를 argumentaion 진행 (코드1, 이미지를 증폭, 변화를 주어 모델 적용 -> 보통 데이터 부족 할 때 사용) 2. 각각의 이미지에 대해 폴더별로 labeling( 정상 /비정상) 3. 이후 일반적인 딥러닝 모델을 정의한다 ( 지금 같은경우는 Vggnet 을 기본으로잡고 거기서 변화를 주고 실험) 4. 정의된 모델을 테스트 해가며 accuracy를 확인하고 이 과정에서 val acc set의 과적..

* 특정 그림에 개와 고양이가 포함되어 있는지 분류하는 kaggle 과제 * 전체적인 EDA 및 모델링 목차는 이렇다 1. 먼저 parameter를 정의하고 그림 file을 확인한다 2. 이후에 Training data 및 데이터를 담을 리스트를 만든다 3. 랜덤한 샘플 이미지는 이렇다 4. 이후 CNN 모델을 정의한다. * 위의 모델 layer 가 이런식으로 구성 되어있다고 생각하면 된다 5. 과적합을 방지하고 최상의 accuracy 지점을 찾기위해 callback 을 정의한다 * Image data generator 사용하는 이유 -> 기본적으로는 이미지데이터 학습을 쉽게 하기 위해서인데 ImageDataGenerator 클래스를 통해 객체를 생성할 때 파라미터를 전달해주는 것으로 데이터의 전처리를 ..

* Keras regressor로 Regression 진행 보통 딥러닝은 Classification에 초점을 맞추지만 이번에 진행할 예제는 Regression이다 . 딥러닝으로 회귀를 진행하는 방법이 여럿 있겠지만 여기서는 마지막 레이어에서 actiation function을 제거하는 방법으로 진행하겠다. 딥러닝을 통한 Regression으로 Insight 보다는 modelling이 목적이며 그러므로 columns 명은 따로 집어넣지 않음. 1~12 : 설명변수 13: 가격 --------------------------------------------------------------------------------------------------------------------------------- ..

1.2.3 Time-series Learning "정확성 vs. 설명력 반비례 관계 존재" * 데이터마이닝 알고리즘 : KNN RF SVM 등은 조금씩 정확성이 상승하지만 그만큼 결과가 왜 그렇게 나왔는지 설명해주는 포인트는 부족해짐 * 실제로 Tree계열 알고리즘은 최대한 데이터를 세분화 시켜서 구분을 짓는것 -> 구분을 Ratio를 보면서 변수의 특성을 추론 하는 것이지 각각의 변수가 모델의 정확성에 얼마나 기여했는지는 표시하지 못하는 것이 현실 * 최근에 화두인 DNN(딥러닝)은 정확성이 높음과 반대로 불운하게도 설명력은 거의 없다라고 할정도로 이론적 근거가 뚜렷하게 있지가 않다.. (점추정 형태로 정확도가나왔다)이지 왜 그런 정확성이 나왔는지 통계적인 범위가 나왔다거나 이런것 이없음 bias나 v..