[Brightics Studio 실습] 전처리 (3) : 이상치 탐지하고 제거하기

#브라이틱스 #브라이틱스스튜디오 #Brightics #브라이틱스서포터즈 #데이터분석

데이터 분석 과정에서 분석에 알맞게 데이터를 다듬는 전처리 과정! 벌써 세 번째 단계네요

저번까지 데이터 변수를 적절하게 맞추고 결측치를 처리해보았는데요,
이번 포스트에서는 이상치를 탐지하고 제거하는 과정을 실습해보겠습니다!

---

𝒃𝒓𝒊𝒈𝒉𝒕𝒊𝒄𝒔 𝒑𝒓𝒐𝒄𝒆𝒔𝒔

※ 해당 실습은 Brightics AI 홈페이지에서 제공하는 튜토리얼 중 이상치 제거 (2)를 바탕으로 진행하였습니다!
추가적인 설명이나 데이터 다운로드는 아래 링크를 이용하세요!

Brightics Studio

---

𝟎. 이상치[이상값, Outlier]란?

이상치란 다른 관측치에 비해 비정상적으로 멀리 떨어져있는 값을 가리키는 말입니다.

통계값을 왜곡할 수 있어 제거 하는 경우도 있고,
데이터의 수집이나 통계 처리 과정에서 중요한 의미를 지니고 있기 때문에 주목해야할 수도 있어요.

결측값과 마찬가지로 데이터의 구성 형태를 파악한 후 분석의 목적, 내용 등을 고려하여 적절한 판단을 내리는 게 중요한 부분!

𝟏. 𝐋𝐨𝐚𝐝

튜토리얼에 있는 201_py_outlier_detection_lof.csv 파일을 불러왔어요.

 

주어진 시나리오는 관측 정보 데이터에서 관측치가 적은 지역의 데이터 제거하기!

낙뢰는 갑작스러운 전기적 방전 현상으로 주로 뇌우가 있을 때 발생한다. 낙뢰로 인한 재산 피해 및 인명 피해를 줄이기 위해 낙뢰감지기를 통해 수집된 낙뢰 관측 정보 데이터를 활용하여 낙뢰 발생이 빈번한 지역의 속성을 파악하고자 한다. 분석에 앞서 관측치가 적은 지역의 데이터를 제거하고자 한다.

데이터는

변수명	변수 형태	의미	예시
Time	string (문자)	관측 날짜와 시간	2017-12-27 6:16
Latitude	double (실수)	위도	34.37178
Longtitude		경도	126.110565
Value		낙뢰강도 (kA, 부호는 전하 극성)	1

이렇게 구성되어 있고, 총 2674 개의 데이터가 있네요. 결측치는 없어보여요.

 

Scatter Plot 으로 분포 형태를 간단하게 살펴볼게요. X축은 경도, Y축은 위도로 선택해준 산점도 그래프!

𝟐. 𝐟𝐢𝐥𝐭𝐞𝐫

낙뢰 강도가 0인 데이터는 제외해주려고 하는데, 이렇게 조건을 부여하고 그 조건에 부합하는 데이터만 골라내는 함수는?
이제는 익숙해진 Filter 함수 ㅎㅁㅎ
​
이번에는 낙뢰 강도(Value)가 0이 아닌 데이터만! 이니까 조건을 위 이미지와 같이 설정해줍니다.

Value != 0

 

𝟑. 𝐨𝐮𝐭𝐥𝐢𝐞𝐫 𝐝𝐞𝐭𝐞𝐜𝐭𝐢𝐨𝐧

그리고 이제 이 실습의 메인 포인트, 이상치를 탐지하는 함수를 넣어볼게요.

Outlier Detection (Local Outlier Factor) 함수를 검색해 불러와줍니다.
Input columns 로 경도(Longitude)와 위도(Latitude)를 선택해준 후 Result는 Remove Outliers!
나머지는 그대로 둔 후 실행해주어 다시 산점도로 확인해보면 위와 같은 화면을 확인할 수 있어요.

수치 상으로도 총 194개의 데이터가 삭제되었다고 나오고, 눈으로 보기에도 아까의 산점도 분포와 차이가 있네요.

 

---

여기서 잠깐! Outlier Detection 을 검색하면 총 네 개의 함수가 검색되는데요,

먼저 위 두 함수와 아래 두 함수는 괄호 안 내용이 다른데요,

Local Outlier Factor와 Tukey/Carling은 이상치를 감지하는 방법을 의미합니다.

LOF는 주변 밀도, Tukey와 Carling 방법은 각각 사분위 범위와 중위수를 활용하는 탐지 방법입니다.
(해당 함수 내에서 Tukey, Carling을 선택할 수 있어요.)

그리고 함수 이름에 Model이 없는 것이 이상치를 검출하는 함수이고, 있는 함수는 그 이상치를 검출해 제외하는 모델 함수입니다!

---

𝟒. 𝐭𝐞𝐬𝐭 𝐝𝐚𝐭𝐚

테스트 데이터를 불러와 앞서 언급했던 이상치 탐지 모델 함수를 활용해 이상치를 감지, 제거해볼까요?
테스트 데이터도 이전과 동일한 방법으로 Load 함수를 통해 불러와주고, Filter 함수로 Value 값이 0이 아닌 데이터만 뽑아봅니다.

 

그리고 이번에는 Outlier Detection (Local Outlier Factor) Model 함수를 가져와서,
기존의 Outlier Detection 함수와 테스트 데이터에 대한 Filter 함수 두 가지를 연결하면 됩니다.

그 결과를 산점도로 나타내면?
이 데이터는 총 16개의 테스트 데이터로 이루어져 있었는데, 그 중 10개가 삭제되었어요.
마찬가지로 산점도로 나타내면 위와 같습니다!

 

---

여기까지 데이터에서 이상치를 탐지하고 제거하는 실습을 진행해보았습니다.
전처리에서 진행해야 할 실습들도 거의 마무리 되네요!

다음에는 데이터 중에서도 시계열 데이터를 전처리하는 과정을 담아보겠습니다!