728x90
머신러닝 프로젝트에 사용하기 위해, 데이터를 모델이 이해할 수 있는 형태로 변환하거나 품질을 올리는 일련의 과정을 데이터 전처리라고 한다.
전처리 과정에서 해야 하는 일들을 다음과 같다.
- 데이터 실수화: 문자열, 범주형 데이터 등의 데이터를 컴퓨터가 이해할 수 있는 실수형으로 변환
- 불완전 데이터(결측치) 제거: NaN, NA, NULL 값 등을 제거
- 데이터 노이즈 제거
- 가격 데이터의 '-', '없음' 등 적절하지 않은 데이터 제거
- 이상치 제거
- 나이 값으로 200, 1200 등이 존재하는 경우 등
- 모순된 데이터 제거: 남성 주민번호가 2로 시작하는 경우 등
- 데이터 불균형 해결
- 과소포집(Undersampling), 과대포집(Oversampling)
주요 데이터 전처리 기법
- Data Vectorization: 데이터를 실수화 하는 작업
- Data Cleaning: 결측치, 이상치, 모순 데이터 등을 제거하는 작업
- Data Integration: 여러 개의 데이터 파일을 하나로 합치는 과정
- Data Reduction: 데이터가 과도하게 큰 경우 이를 줄이거나, 데이터의 차원을 축소하는 작업
- Data Transformation: 데이터에 로그를 씌우거나, 평균값을 구하거나 하는 방법으로 데이터를 변환하는 작업
- Data Balancing: 특정 클래스의 데이터가 타 클래스의 데이터 수와 너무 차이가 날 때, 샘플링을 통해 이 비율을 맞추는 작업
'개념 정리' 카테고리의 다른 글
| [Java] 기초 정리 자바 ArrayList 선언, 추가 및 사용법 (0) | 2022.12.01 |
|---|---|
| [기초 정리] Static, Final, private static final & private final 차이 (0) | 2022.12.01 |
| Q. 세션을 사용하면 좋은데 왜 쿠키를 사용할까? (0) | 2022.11.25 |
| 무엇을 풀스택 개발자로 부를 것인가? (0) | 2022.11.21 |
| [RESTful]XMLHttpRequest사용법 (0) | 2022.10.07 |
