My Log

10월 1일 오전 10시경에 ADsP 결과가 발표되었습니다. 결과는 합격!! 시험 난이도가 생각보다 많이 쉬웠기에 높은 점수가 나온 것 같아요. 공부기간 공부는 한 달 정도 잡고 시작했습니다. 책을 사는 것과 동시에 글을 작성했으니, 8월 1일을 시작일로 보면 되겠습니다. 시험은 8월 31일에 치렀습니다. 공부 시간은 매일 바뀌었지만, 일반적으로 하루 2~3시간은 보았던 것 같아요. https://logoflife.tistory.com/4 [ADsP #1] 데이터분석 준전문가 시험접수 컴퓨터공학 전공자라도, 데이터 분석이나 통계 등은 생소한 분야입니다. 한참 4차 산업혁명이라는 단어가 신문과 다큐를 도배할 때보단 주춤한 상태이지만 빅데이터에 대한 관심과 그 효과를 믿기에, 관련 자격증.. logoflif..

얼마 전 ADsP(데이터분석 준전문가) 자격증을 준비하고 시험도 치렀습니다. 지난 시험에 비해 매우 쉬운편이라고 하더군요. 시험을 마치고 카페에서 가답안을 체크하며 마음을 비우는 와중에 빅데이터 관련 국가공인 자격증이 신설된다는 것을 알게 되었습니다. 명칭은 "빅데이터 분석기사" 인데요, 신설 배경부터 살펴보겠습니다. 배경 신설 배경은 작년 12월에 발표된 "제4차 국가기술자격 제도발전 기본 계획"으로 거슬러 올라갑니다. 이는 일부 국가기술자격이 현장의 직무를 반영하지 못하고 활용성이 낮다는 문제 제기와 4차 산업혁명 등의 미래변화를 반영하려는 배경에서 추진되었습니다. 3차 계획의 한계를 되짚어 보고 4차 산업혁명 도래에 따른 직업 능력 변화에 대응하려는 목적이네요. 이에 따라 "국가기술자격법 시행령/시..

* 시작하기에 앞서 본 게시물에 포함된 내용은 한국데이터산업진흥원에서 발행한 [데이터 분석 전문가 가이드, 2019년 2월 8일 개정] 에 근거한 것임을 밝힙니다. 1. 군집 분석 - 군집 분석은 관측값들을 유사한 성격을 가지는 몇 개의 군집으로 집단화하고, 군집의 특성을 파악하여 군집사이의 관계를 분석하는 다변량분석 기법이다. 1) 계층적 군집 - 가장 유사한 개체를 묶어 나가는 과정을 반복하여 원하는 개수의 군집을 형성하는 방법 - 군집을 형성하는 매 단계에서 지역적 최적화를 수행해 나가는 방법(전역적인 최적해라고 볼 수 없음) - 계층적 군집의 결과는 덴드로그램의 형태로 표현 (* 덴드로그램을 통해 항목간의 거리, 군집간의 거리를 알 수 있고, 항목간 유사정도를 파악하여 견고성을 해석할 수 있다.)..

* 시작하기에 앞서 본 게시물에 포함된 내용은 한국데이터산업진흥원에서 발행한 [데이터 분석 전문가 가이드, 2019년 2월 8일 개정] 에 근거한 것임을 밝힙니다. 1. 데이터 마이닝 개요 1) 데이터 마이닝이란? - 거대한 양의 데이터 속에서 쉽게 드러나지 않는 유용한 정보를 찾아내는 과정 - 기업이 보유한 고객, 거래, 상품데이터 등과 이외의 기타 외부 데이터를 기반으로 감춰진 지식, 새로운 규칙 등을 발견하고 이를 비즈니스 의사결정 등에 활용하는 일련의 작업 2) 데이터 마이닝의 기능 ㄱ. 분류(Classification) - 새롭게 나타난 현상을 검토하여 기존의 분류, 정의된 집합에 배정하는 것 - 잘 정의된 분류기준과 선분류되어진 검증 집합이 필요 - 기법 : 의사결정나무, memory-base..

* 시작하기에 앞서 본 게시물에 포함된 내용은 한국데이터산업진흥원에서 발행한 [데이터 분석 전문가 가이드, 2019년 2월 8일 개정] 에 근거한 것임을 밝힙니다. 1. 다변량 분석 가. 상관분석 - 두 변수 간의 관계를 알아보기 위한 것 - 상관계수(r)를 이용 * 0 ≤ r ≤ 1 : x가 증가할 때 y도 증가 * -1 ≤ r ≤ 0 : x가 증가할 때 y는 감소 * r = 0 : x가 변화해도 y의 변화가 없음 - plot(x, y) 함수 : 두 변수의 산점도 확인, 대략적인 상관관계 파악 cor(x, y) 함수 : 두 변수의 상관계수를 구함 1) 피어슨의 상관계수 - 등간척도 측정 - 두 변수 간 선형관계의 크기를 측정 - rcorr( as.matrix(data), type="pearson" ) ..

* 시작하기에 앞서 본 게시물에 포함된 내용은 한국데이터산업진흥원에서 발행한 [데이터 분석 전문가 가이드, 2019년 2월 8일 개정]에 근거한 것임을 밝힙니다. 1. 통계학 개론 가. 통계학이란? - 자료로부터 유용한 정보를 이끌어 내는 학문 (자료의 수집, 정리, 해석하는 방법 등을 포함) - 일기예보, 경제통계, 사회조사 분석통계, 실험결과 분석통계 등 다양한 형태 나. 통계 분석이란? - 특정한 집단이나 불확실한 현상을 대상으로 자료를 수집 → 대상 집단에 대한 정보를 구함 → 적절한 통계 분석 방법을 이용한 의사결정(통계적 추론) 과정을 말함 - 통계적 추론에는 대상 집단의 특정값을 추측하는 추정 / 가설 설정 후 채택여부를 결정하는 가설검정 / 미래에 대한 예측이 있다. 다. 모집단 - 알고자..

* 시작하기에 앞서 본 게시물에 포함된 내용은 한국데이터산업진흥원에서 발행한 [데이터 분석 전문가 가이드, 2019년 2월 8일 개정] 에 근거한 것임을 밝힙니다. 1. 데이터 마트 가. 데이터 마트란? - 데이터의 한 부분으로서 특정 사용자가 관심을 갖는 데이터들을 담은 비교적 작은 규모의 데이터 웨어하우스 - 데이터 웨어하우스의 일부 데이터를 가지며 특정 사용자를 대상으로 한다. (사용자의 기능 및 제공 범위가 다름) 나. reshape - 기존 데이터 구조를 column-wise하게 전환 - 크게 melt와 cast단계로 구분 1) melt : id 값을 기준으로 하여 나머지 변수에 대한 데이터를 생성 > aqm = melt ( airquality , id = c ( "month" , "day" )..

* 시작하기에 앞서 본 게시물에 포함된 내용은 한국데이터산업진흥원에서 발행한 [데이터 분석 전문가 가이드, 2019년 2월 8일 개정] 에 근거한 것임을 밝힙니다. 1. 분석 환경의 이해 가. 통계 패키지 R - 통계 분석 과정에서 수행되는 복잡한 계산이나 시각화 기법을 쉽게 사용할 수 있도록 설계된 무료 소프트웨어 - 기본으로 제공되는 기능 외에도 사용자들이 직접 제작한 패키지를 이용하여 무수히 많은 기능들을 사용할 수 있도록 확장 가능 - 상용 소프트웨어나 출력물에 견주어 뒤쳐지지 않는 강력한 시각화 요소 - R의 선택 기준 SAS SPSS R 프로그램 비용 유료, 고가 유료, 고가 오픈소스 설치 용량 대용량 대용량 적음 다양한 모듈지원 및 비용 별도 구매 별도 구매 오픈소스 최근 알고리즘 및 기술 ..