BESS(Back-End Study Space)

2020/12/07 - [데이터 분석 입문/데이터 엔지니어링] - Crawling, ETL Crawling, ETL #1. 크롤링(crawling, (=Scraping)) - 다양한 정보를 활용하기 쉽도록 수집하는 행위 - 크롤링을 하는 프로그램을 크롤러(Crawler)라고 함 - 웹의 데이터를 자동화해 가져오는 크롤러가 웹 크롤러(Web Crawler) leeezxxswd.tistory.com #1. 정형 데이터 - Structured Data - 엑셀 등의 스프레드시트에서 작업하듯 열과 행을 정리하여 일목 요연하게 표로 만들 수 있는 데이터 - 정형 데이터를 쉽게 다루기 위해 관계형 데이터베이스(RDB : Relational Database)가 활용되기도 함 - 정형 데이터를 File로 변환할 경우에..

#1. 크롤링(crawling, (=Scraping)) - 다양한 정보를 활용하기 쉽도록 수집하는 행위 - 크롤링을 하는 프로그램을 크롤러(Crawler)라고 함 - 웹의 데이터를 자동화해 가져오는 크롤러가 웹 크롤러(Web Crawler) #2. ETL - Extract(추출), Transformation(변환), Loading(저장) - 내외부의 다수의 데이터를 추출하고 이를 필요에 맞게 변환 후 저장하는 일련의 절차를 의미 - Data Warehouse라는 데이터 분석을 위한 저장구조를 마련하는데 매우 중요한 절차 - ETL 오픈소스 도구 · Talend · Pentaho · KNIME · Apache NIFI (많이 활용됨) · StreamSets · ... #3. ELT - Extract(추출)..

2020/12/07 - [데이터 분석 입문/딥러닝] - Generative Adversarial Network Generative Adversarial Network 2020/12/06 - [데이터 분석 입문/딥러닝] - Recurrent Neural Network(RNN) Recurrent Neural Network(RNN) 2020/12/06 - [데이터 분석 입문/딥러닝] - Convolutional Neural Network(CNN) Convolutional Neural N.. leeezxxswd.tistory.com #1. Deep Learning Framework - Deep Learning 구현을 쉽고 편하게 할 수 있도록 도와주는 Software - 종류 · Tensorflow · PyTo..

2020/12/06 - [데이터 분석 입문/딥러닝] - Recurrent Neural Network(RNN) Recurrent Neural Network(RNN) 2020/12/06 - [데이터 분석 입문/딥러닝] - Convolutional Neural Network(CNN) Convolutional Neural Network(CNN) 2020/12/05 - [데이터 분석 입문/딥러닝] - Mini-Batch, Back Propagation, Overfitting Mini-B.. leeezxxswd.tistory.com #1. Generative Adversarial Network (GAN) 생성모델(Generative Model)의 한 종류로 서로 대립(Adversarial)하는 두 신경망을 경쟁시켜..

2020/12/06 - [데이터 분석 입문/딥러닝] - Convolutional Neural Network(CNN) Convolutional Neural Network(CNN) 2020/12/05 - [데이터 분석 입문/딥러닝] - Mini-Batch, Back Propagation, Overfitting Mini-Batch, Back Propagation, Overfitting 2020/12/05 - [데이터 분석 입문/딥러닝] - Perceptron, Deep Learning, Gradi.. leeezxxswd.tistory.com #1. Recurrent Neural Network(RNN) 이전까지 들어온 입력이 저장된 공간 -state(아래 그림에서 A)가 존재함 새로운 입력과 함께, 이 stat..

2020/12/05 - [데이터 분석 입문/딥러닝] - Mini-Batch, Back Propagation, Overfitting Mini-Batch, Back Propagation, Overfitting 2020/12/05 - [데이터 분석 입문/딥러닝] - Perceptron, Deep Learning, Gradient Descent Perceptron, Deep Learning, Gradient Descent #1. Perceptron(1958, Frank Rosenblatt) 생물학적 뉴런을 모방하여 인공.. leeezxxswd.tistory.com #1. Convolutional Neural Network(CNN) - 이미지 인식(Image Classification)에 가장 널리 사용됨 - 일..

2020/12/05 - [데이터 분석 입문/딥러닝] - Perceptron, Deep Learning, Gradient Descent Perceptron, Deep Learning, Gradient Descent #1. Perceptron(1958, Frank Rosenblatt) 생물학적 뉴런을 모방하여 인공신경망(Artificial Neural Network)의 기본 단위 ※ Activation function : 가중치들의 합으로 만들어진 신호가 이 함수를 만족해야 다음.. leeezxxswd.tistory.com #1. Mini-Batch weight 값을 아주 조금 바꾸기 위해서 내가 가진 모든 training data에 대하여 loss를 모두 계산하는 건 너무 오래 걸림 ▼ 전체 data 중에..

#1. Perceptron(1958, Frank Rosenblatt) 생물학적 뉴런을 모방하여 인공신경망(Artificial Neural Network)의 기본 단위 ※ Activation function : 가중치들의 합으로 만들어진 신호가 이 함수를 만족해야 다음 perceptron으로 전달되도록 한다. #2. Artificial Neural Network (ANN) - Artificial Neural Network : Perceptron을 여러 개 연결한 것 - Artificial Neural Network의 학습 : 우리가 원하는 목표를 달성하기 위한 weight값들을 찾아내는 과정 #3. Deep Learning Single-Layer Perceptron Multi-Layer Perceptron..

2020/12/04 - [데이터 분석 입문/머신러닝] - 손실함수(loss function) 손실함수(loss function) 2020/12/04 - [데이터 분석 입문/머신러닝] - 파라미터(Parameter)와 하이퍼파라미터(Hyperparameter) 파라미터(Parameter)와 하이퍼파라미터(Hyperparameter) 2020/12/04 - [데이터 분석 입문/머신러닝] - 신경망.. leeezxxswd.tistory.com #1. 학습, 검증/개발, 테스트 셋 학습 셋 (Training set) - 모델 생성을 위해 학습 과정에 사용 - 모델 파라미터 추정을 위해 소모됨 검증/개발 셋 (Validation/Development set) - 학습 과정에서 하이퍼파라미터를 튜닝하는 데에 사용 ..

2020/12/04 - [데이터 분석 입문/머신러닝] - 파라미터(Parameter)와 하이퍼파라미터(Hyperparameter) 파라미터(Parameter)와 하이퍼파라미터(Hyperparameter) 2020/12/04 - [데이터 분석 입문/머신러닝] - 신경망모델(Neural Networks)과 딥러닝(Deep Learning) 신경망모델(Neural Networks)과 딥러닝(Deep Learning) 2020/11/30 - [데이터 분석 입문/머신러닝] - 강화학습.. leeezxxswd.tistory.com #1. 손실함수 (loss function) 학습 알고리즘이 작동하게끔 만드는 원동력 - 손실함수의 값을 줄여나가는 과정이 곧 모델을 학습하는 과정 ☞ 손실(Loss) ? - 실제 데이터..