BESS(Back-End Study Space)

2020/12/07 - [데이터 분석 입문/데이터 엔지니어링] - Crawling, ETL Crawling, ETL #1. 크롤링(crawling, (=Scraping)) - 다양한 정보를 활용하기 쉽도록 수집하는 행위 - 크롤링을 하는 프로그램을 크롤러(Crawler)라고 함 - 웹의 데이터를 자동화해 가져오는 크롤러가 웹 크롤러(Web Crawler) leeezxxswd.tistory.com #1. 정형 데이터 - Structured Data - 엑셀 등의 스프레드시트에서 작업하듯 열과 행을 정리하여 일목 요연하게 표로 만들 수 있는 데이터 - 정형 데이터를 쉽게 다루기 위해 관계형 데이터베이스(RDB : Relational Database)가 활용되기도 함 - 정형 데이터를 File로 변환할 경우에..

#1. 크롤링(crawling, (=Scraping)) - 다양한 정보를 활용하기 쉽도록 수집하는 행위 - 크롤링을 하는 프로그램을 크롤러(Crawler)라고 함 - 웹의 데이터를 자동화해 가져오는 크롤러가 웹 크롤러(Web Crawler) #2. ETL - Extract(추출), Transformation(변환), Loading(저장) - 내외부의 다수의 데이터를 추출하고 이를 필요에 맞게 변환 후 저장하는 일련의 절차를 의미 - Data Warehouse라는 데이터 분석을 위한 저장구조를 마련하는데 매우 중요한 절차 - ETL 오픈소스 도구 · Talend · Pentaho · KNIME · Apache NIFI (많이 활용됨) · StreamSets · ... #3. ELT - Extract(추출)..