연랩

웹 크롤링 크롤링 웹 크롤링 vs 웹 스크래핑   크롤링 주의 사항 법적 주의 사항- 웹사이트 콘텐츠는 대부분 저작권으로 보호됨- 상당한 투자와 노력으로 구축된 데이터베이스는 제작자의 권리가 인정됨- 무단 크롤링은 저작권법과 부정경쟁방지법 위반이 될 수 있음 기술적 주의 사항과도한 요청으로 서버에 부담을 주지 않도록 크롤링 간격 조정-> 과도한 요청 시 영업 방해로 인정될 수 있음- robots.txt 파일의 크롤링 규칙 확인 및 준수- 기술적 제한을 우회하는 행위 금지 윤리적 고려사항 - 상업적 목적으로 사용 시 저작권자의 허가 필요- 경쟁 업체의 데이터를 무단으로 활용하지 않도록 주의 robot.txt 확인 방법웹브라우저 주소창에 해당 웹사이트 주소 뒤에 /robots.txt를 입력하여 robots...

분류 코딩 로켓발사 목적: 로켓발사 성공여부 예측 모델 구현  데이터 준비하기 라이브러리 및 데이터 불러오기   데이터 탐색 및 전처리  자료형 변환해수면 압력 데이터가 object로 되어 있음  하나의 데이터가 20:52 형식으로 되어 있음rocket['Sea Level Pressure'] = pd.to_numeric(rocket['Sea Level Pressure'], errors='coerce')에러가 나는 경우null로 하라는 의미-> float로 daylength 또한 10:26 이렇게 되어 있으므로 계산하여 수치형으로 전환할 수 있게 한다시간과 분을 분리하여 24시간 기준 소수점 변환 object 타입인 변수의 데이터 분포 확인object는 주로 범주형-> 범주형 데이터의 빈도 수 확인 - c..

회귀 코딩 공공자전거 수요예측 목표 : 특정 시간의 공공자전거 대여량 예측(회귀)목적 : 공공자전거의 적절한 배치와 관리 데이터 수집아래의 링크에서 데이터 수집이 가능하다 Bike Sharing Demand | Kaggle 데이터 불러오기데이터를 불러올 때 유의할점은 datetime 칼럼을 datetime으로 읽어오고 싶으면 parse_dates=['datetime']옵션을 사용한다-> 옵션 선정하지 않으면 string으로 읽어옴  -> 범주형 변수가 있는 지 살펴보아야 한다ex) season, holiday, workingday, weather ...예측하고자 하는 것 : countcasual, registered는 독립 변수로 쓸 수 없다  데이터 탐색(EDA) datetime 연도, 월별 등 평균으..

통계 기반 데이터 활용 회귀 코딩 머신러닝 개요  인공지능 ⊃ 머신러닝 ⊃ 딥러닝  머신러닝컴퓨터가 데이터를 통해 학습하여 답을 도출하는 규칙을 찾아내는 학습법-> 공식을 찾는 것 딥러닝인간의 뉴런을 모방한 인공신경망 기반으로 인간과 유사하게 학습하는 방법  데이터 마이닝과 머신러닝 데이터 마이닝의 목적데이터를 탐색하고 분석 -> 유용한 정보나 패턴을 발견 -> 유의미한 정보를 추출 -> 의사 결정에 활용데이터베이스, 통계, 데이터 시각화, 머신러닝 기술 등을 사용-> 통찰력 머신러닝의 목적주어진 데이터를 학습 -> 에측을 위한 모델을 구축 -> 구축된 모델을 통해 자동화된 의사결정 지원-> 예측, 자동화 문제 정의 데이터 수집 -> 탐색적 DA(EDA) -> 모델링 -> 적용  CRSIP-DM(Cros..

MS Azure ML Designer를 활용한 회귀 모델  트리기반 알고리즘을 이용한 자동차 가격 예측 모델 구현    Azure 제공 회귀 알고리즘  Poisson Regression 푸아송 분포를 이용하여 만든 회귀 알고리즘푸아송 분포 : 단위 시간 내에 특정 사건이 몇회 발생할 것인지를 나타내는 이산 확률 분포단위 시간 당 특정 사건이 발생할 횟수를 예측함 (양의 정숫값) 예시 : 일주일 고객센터 문의 수, 하루 교통사고 발생 건수 예측 Linear Regression 선형회귀식을 이용하여 예측하는 회귀 알고리즘독립변수(feature)와 종속변수(label)와의 선형적인 관계 예측통계적 기법을 활용하며, 복잡하지 않은 선형 관계를 가질때 유용함 Bayesian Linear Regression기존의 ..

MS Azure ML Designer를 활용한 군집 모델 프로야구 데이터를 활용한 선수능력 측정 모델 구현   문제 정의 야구 타자의 능력 수치를 바탕으로 내년 스카웃 결정  데이터 준비  주성분 분석(PCA)주성분 분석(PCA, Principal Component Analysis): 데이터를 효율적으로 표현하기 위해 고차원 데이터를 저차원으로 변환하는 차원 축소 기법-> 과대적합 방지  주요 서분의 표준편차를 알아볼 수 있다. 여기에서 주목해야할 것은 Standard deviation이다. Variance (분산)각 주성분(PC)이 데이터의 전체 분산(variance)에서 얼마나 많은 비율을 설명하는지를 나타냄분산은 데이터의 퍼짐 정도를 나타내며, 주성분은 데이터를 이 퍼짐이 가장 큰 방향으로 정렬PC..

MS Azure ML Designer를 활용한 분류 모델 날씨데이터를 활용한 로켓 발사 예측 모델 구현 데이터 준비 데이터 분리Designer > Component > Split Data > 드래그앤 드롭 후 더블 클릭  왼쪽을 학습데이터로 사용, 학습데이터를 70%로 지정테스트 데이터는 30%로 분리- split rows: 행 = 데이터 샘플- Randomized split: 행 기준 무작위로 분리- Random seed: 난수 초기값 ex) 0으로 하면 다 결과가 동일하게 나타남 즉, 확인 가능  모델링/평가 모델링 알고리즘 선택-> Two-Class Decision Forest  Bagging Resampling- 샘플링 시 중복 허용, 복원 추출 의사결정 나무의 깊이: 5의사결정 나무 개수: 8리..

통계 기반 데이터 활용 개요 데이터와 통계 통계와 관련된 책 소개제목: Factfulness - 저자는 인간은 세상을 이분법적으로 분류하려는 간극 본능을 가지고 있다고 함- 통계에 의해 세상을 바라보아야 하며 우리는 편견을 가지기 쉬움- Gapminder 재단 운영중 Gapminder Website https://www.gapminder.org/tools/#$chart-type=bubbles&url=v2 Gapminder ToolsAnimated global statistics that everyone can understandwww.gapminder.org 통계 통계 기본 개념기술 통계확률과 분포추정과 가설 검정상관분석: ex) HeatMap 머신러닝 - 데이터 기반으로 학습- 주어진 데이터 속에서 규..