[Brightics Studio 실습] 전처리 (4) : 시계열 데이터 전처리

#브라이틱스 #브라이틱스스튜디오 #Brightics #브라이틱스서포터즈 #데이터분석

시계열 데이터는 주가, 실업률 데이터처럼 시간의 흐름에 따라 관찰·수집한 데이터를 의미합니다.

시간적 순서가 있는 데이터이고, 한 시점의 데이터는 그 이전(과거) 데이터들에 의존하는 것이 특징이에요.
과거의 데이터를 바탕으로 현재 형태와 미래 예측에 대한 분석을 진행하는 것이 바로 시계열 데이터 분석이라고 할 수 있겠죠?

이러한 시계열 데이터도 분석 이전에 전처리가 필요할 텐데요,
이번 실습에서는 시계열 데이터의 전처리 과정을 브라이틱스 스튜디오로 실습해보겠습니다!

※ 이 포스트는 PC 버전에 최적화되어 있습니다. 모바일은 글이 다소 난잡해보일 수 있습니다 ㅠㅠ

---

𝐛𝐫𝐢𝐠𝐡𝐭𝐢𝐜𝐬 𝐩𝐫𝐨𝐜𝐞𝐬𝐬

해당 실습은 Brightics AI 홈페이지에서 제공하고 있는 튜토리얼 중 시계열 데이터 전처리를 바탕으로 진행하였습니다!

https://www.brightics.ai/kr/docs/ai/s1.0/tutorials/234_py_time_preprocessing?type=insight

Brightics Studio

실습에 사용한 파일은 해당 페이지에서 다운 가능한,

234_py_time_preprocessing_energy_usage, 234_py_time_preprocessing_holiday_calendar 파일입니다:)

 

𝟏. 𝐋𝐨𝐚𝐝

이제는 익숙한 실습 csv 파일 불러오기! 두 데이터셋을 각각 불러온 후에 table을 통해 데이터 형태를 간단히 훑어봅시다.

첫 번째 데이터셋(usage)은
- timestamp [String] : 연월일 시간대
- value [Double] : 에너지 사용량
- temperature [Double] : 기온
- rain [Double] : 강수량
- humidity [Double] : 습도
- wspeed [Double] : 풍속
으로 문자형 변수 한 가지, 실수형 변수 다섯 가지로 총 여섯 개의 변수로 이루어져 있고,

두 번째 데이터셋(holiday)으로는
- date [String] : 연월일
- holiday [Double] : 휴일여부
를 변수로 두고 있는 데이터셋이 있어요.

* 첫 번째 csv 파일은 Load 함수 내 Add Data 과정에서 모든 변수가 Double 로 인식되었는데,
세 번째 단계에서 timestamp 변수를 직접 String으로 바꾸어주었습니다!

 

그 중 첫 번째 데이터셋은 시계열 데이터이다보니
X축을 timestamp로 두고 Y축을 value로 두면 이처럼 시간의 흐름에 따른 에너지 사용량 그래프를 그려볼 수 있어요.

앞으로 몇 가지의 시계열 전처리를 실습해보겠습니다!
사실 이 부분 튜토리얼 내용이 살짝 어려웠는데요,
최대한 SQL을 다뤄본 적이 없어도 이해하기 쉽도록 풀어볼게요!
일단 제가 SQL을 아직 직접적으로 공부해본 적이 없기 때문에 (｡•́︿•̀｡)

 

---

잠깐, 실습이 어려울 때 꿀팁 ( •⌄• ू )✧

튜토리얼 설명이 상세하게 적혀 있긴 하지만, 아직 내용이 익숙하지 않아 한 번에 와닿지 않을 때에는!

튜토리얼 글 하단 Data & Model 다운로드 탭의 참고 모델을 활용해보세요!
json 파일을 다운 받아서 브라이틱스 스튜디오에서 그대로 열어 실행시키면?

튜토리얼 완성 모델 자체를 제공하고 있기 때문에, 궁금하거나 헷갈리는 부분을 직접! 확인해볼 수 있어요
쿼리 부분 코드가 이해가 잘 안 가서, 각 함수를 눌러보면서 어떤 코드인지 하나씩 복사해가면서 이해해보고
또 왼쪽 input 데이터와 오른쪽 output 데이터를 스크롤해서 비교해가면서 어디가 바뀌었는지 확인해보기!

대신 거기서 끝나기 없기 ( •͈ᴗ•͈)◞ 직접 다시 실습해봅시당

---

앞으로 할 시계열 데이터 전처리 과정은 아래와 같아요.

usage 데이터셋에서는
① 파생변수로 연(year), 월(month), 일(day), 연 주차(week), 요일(dayname) / 시각(hour) 생성하기
② 변수의 형태를 바꾸기 : 요일을 숫자로, 일~토 = 0~6 / 연 주차를 0-53에서 00-53 형태로

holiday 데이터셋에서는
③ usage 데이터셋의 timestamp과 holiday 데이터셋의 date를 동일한 형태로 만들어 데이터셋 합치기
④ 합치는 과정에서 wdh (연 주차+요일+시각), dayhour(날짜+시각) 변수 생성하기

마지막으로, 합친 데이터셋에서
⑤ 불필요한 변수 제거, 분석에 필요한 변수 수정 및 생성하기
⑥ 데이터셋에 다시 저장하기 (Unload 함수)

를 순차적으로 진행해보겠습니다!
참고로 튜토리얼의 SQL 부분을 최대한 브라이틱스 함수로 바꾸어 실습해 보았어요.
때문에 튜토리얼과 순서도 조금 차이가 있습니다! (결과는 동일해요)

아직 변수 생성, 수정 및 제거에 익숙하지 않다면 아래 포스트도 함께 참고해주세요!

[Brightics Studio 실습] 전처리 (1) : 데이터 결합, 생성, 변경과 저장

𝟐. ①,② : 𝐃𝐞𝐜𝐨𝐦𝐩𝐨𝐬𝐞 𝐝𝐚𝐭𝐞𝐭𝐢𝐦𝐞 & 𝐀𝐝𝐝 (𝐟𝐮𝐧𝐜𝐭𝐢𝐨𝐧) 𝐜𝐨𝐥𝐮𝐦𝐧

먼저 변수 값에서 연, 월, 일, 연 주차와 요일 값을 추출하는 decompose datetime 함수로

①번 사항인 파생변수 생성하기를 진행해볼게요.

이 함수는 input 으로 timestamp 만 입력하면 자동으로 오른쪽처럼 변수를 추출해줍니다.
다만 timestamp 변수가 yyyyMMddHHmmss 형태여야 합니다!

그럼 이제 ①, ②번 항목 중 남은 건
①의 시각 변수 (hour) 생성하기
②의 요일 변수 (dow) : Sunday-Saturday를 0-6 형태로 생성하기
②의 연 주차 변수 : 0-53을 00-53 형태로 만들기이죠?

이 부분은 튜토리얼에서는 Query Executor를 통해서 SQLite 코드로 풀어냈는데,
저는 이전 튜토리얼에서 사용한 Add function column과 Add column 함수를 함께 사용해보았어요.

 

Add Function Column으로 hour 라는 이름의 시각 변수를 생성해줍니다. 
substr(timestamp, 9, 2), 즉 timestamp 변수에서 9번째 자리부터 두 자리를 뽑아내면 오른쪽과 같은 시각 값을 얻을 수 있겠죠? 
Add Function Column과 Add Column 관련 설명도 이전 데이터 결합, 생성, 변경 포스트에 있답니다:D

 

요일 변수는 약간의 복붙(?)이 필요한데요, Add column 함수를 사용해서 위와 같은 조건을 부여해서 형태를 바꾸어보았어요!

 

마지막으로 연 주차 형태를 바꾸는 것은 코드를 사용하는 것이 나을 것 같아서 Query Executor를 사용해주었습니다.

 

SELECT *,
case when length(timestamp_week) = 1
then '0'||cast(timestamp_week as text)
else cast(timestamp_week as text)
end as week 
FROM  #{DF(0)}

week이라는 새로운 변수를 만들되
timestamp_week 의 길이, 즉 글자수가 하나라면 앞에 0을 붙여주고, 아니라면 그대로 값을 넣어주는 코드!

참고로 위 세 가지를 Query Executor를 사용해 입력한 SQLite 코드는 아래와 같아요.

 

SELECT * , strftime('%w', datetime(substr(timestamp,1,4)||'-'||substr(timestamp,5,2)||'-'||substr(timestamp,7,2))) AS dow
, cast(substr(timestamp,9,2) as double) as hour
, case when length(timestamp_week) = 1 then '0'||cast(timestamp_week as text) else cast(timestamp_week as text) end as timestamp_week2
, substr(timestamp,9,2) as timestamp_hour2
FROM  #{DF(0)}

/* timestamp_week2 는 해당 포스트의 week, timestamp_hour2는 hour입니다 */

 

𝟑. ③ 𝐃𝐚𝐭𝐞𝐭𝐢𝐦𝐞 𝐅𝐨𝐫𝐦𝐚𝐭𝐭𝐞𝐫 & 𝐉𝐨𝐢𝐧

이제 두 데이터셋의 timestamp, date 부분을 적절히 다듬어서 이 두 변수를 기준으로 데이터셋을 합쳐볼게요!
여기서 주의할 점은 timestamp는 yyyyMMddHHmmss 형태이고, date는 yyyy-mm-dd 형태라는 점이에요.

Datetime formatter를 통해 두 가지 중 하나를 다른 하나의 형태와 동일하게 만들어준 후, Join 함수로 합쳐주겠습니다.

 

Datetime formatter는 날짜와 시간에 대한 변수를 원하는 형태로 간단하게 바꾸어줄 수 있는 함수인데요.

튜토리얼에서는 holiday 데이터셋의 date 변수 형태를 yyyyMMddHHmmss 형태로 바꾸어주었는데,
저는 usage 데이터셋의 timestamp 변수를 yyyy-MM-dd 형태로 바꾸었어요.

그 이유는! 튜토리얼처럼 하게 되면
시간에 대한 데이터가 없는 date 변수는 yyyyMMdd000000 형태로 바뀌게 되고,
이렇게 되면 앞 여덟 글자만 활용한다! 라는 조건을 합칠 때 더 부여해주어야 하기 때문에
브라이틱스 스튜디오 함수를 최대한 사용하고자 하는 경우에는 usage 데이터셋 변수를 바꾸어주는 게 편리하다는 결론!

참고로 datetime formatter의 display mode를 replace(대체)가 아닌 append(덧붙이기)를 선택해야 새로운 변수로 추가됩니다.

 

대망의 Join! 방금 형태를 바꾸어주면서 생긴 reformat_timestamp 변수와 date 변수를 기준으로 데이터셋을 합쳐줍니다.
결과를 보니 제대로 합쳐진 것 같아요. (변수는 나중에 선택한 것만 사용할 수 있으니 중복되어 생겨도 괜찮아요.)

그런데 holiday 데이터셋은 휴일인 날짜에 대한 데이터 뿐이라 휴일이 아닌 경우에는 null 값이네요.
하지만 null 값, 결측값 처리 방법도 이제 잘 알고 있으니까 >_<

[Brightics Studio 실습] 전처리 (2) : 결측값 처리하기

Replace Missing Number 함수를 통해 holiday 결측값을 0 (휴일이 아니다)으로 입력해주기!

 

 𝟒. ④ 𝐀𝐝𝐝 𝐅𝐮𝐧𝐜𝐭𝐢𝐨𝐧 𝐂𝐨𝐥𝐮𝐦𝐧𝐬

④번인 wdh (연 주차+요일+시각) 변수와 dayhour (날짜+시각) 변수 생성은

아까와 동일하게 Add Function Columns 를 사용합니다.

 

wdh 변수는 연 주차와 요일, 시각을 '-' 문자로 연결해주고, dayhour 변수는 timestamp에서 8자리를 그대로 가져왔어요.

 

---

참고로 이 3번, 4번 과정을 Query Executor를 활용하면 아래 코드를 사용하면 됩니다.

SELECT a.* 
, a.timestamp_week2||'-'||cast(a.dow as text)||'-'||a.timestamp_hour2 as wdh
, substr(a.timestamp, 5,8) as dayhour
, b.holiday
from  #{DF(0)} a left outer join  #{DF(1)} b
on substr(a.timestamp,1,8) = substr(b.date,1,8)

---

 

𝟓. ⑤ 𝐒𝐞𝐥𝐞𝐜𝐭 𝐂𝐨𝐥𝐮𝐦𝐧

어려웠던 부분들은 거의 끝나고, 이제 마무리 단계!
Select Column 함수를 통해서 변수 이름과 type을 다듬어주고, 필요없는 변수는 제거해줄게요!
​
전처리 과정에서 생긴 불필요한 변수들은 체크 해제해주고, 분석에 알맞은 형태로 이름과 type을 바꾸어주었어요.

 

완전 깔끔해서 쾌감 .. (?)

𝟔. ⑤ 𝐀𝐝𝐝 𝐟𝐮𝐧𝐜𝐭𝐢𝐨𝐧 𝐜𝐨𝐥𝐮𝐦𝐧𝐬

weekday 는 평일일 때 (dow 값이 0과 6 사이, 즉 0과 6이 아닌 값일 때) 1, 그렇지 않을 때 0인 변수이고
offday는 주말이거나 공휴일일 때 1, 그렇지 않을 때 0인 변수!

 

𝟕. ⑥ 𝐔𝐧𝐥𝐨𝐚𝐝

이렇게 Unload 함수로 원래 데이터 파일에 덮어쓰기로 저장까지 하면 시계열 전처리 과정도 끝!

---

이전 실습에 비해 비교적 난이도도 높은 편이었고, 프로세스 자체의 길이도 긴 편이라
실습 과정도, 리뷰 과정도 조금 오래 걸렸는데 다 마치고 나니까 정말 뿌듯하네용..

이쯤에서 전처리 실습도 마무리해보려고 합니다!

다루지 않았지만 실습해보기 좋은 전처리 과정 튜토리얼도 많이 있어요 !
* 문자 데이터의 더미 변수 변환

https://www.brightics.ai/kr/docs/ai/s1.0/tutorials/302_1_py_fifa_classification_preprocessing?type=insight

Brightics Studio

* 날짜 관련 전처리 및 파생 변수 생성

https://www.brightics.ai/kr/docs/ai/s1.0/tutorials/25_0_py_Create_Date_Var?type=insight

Brightics Studio

다음에는 EDA [Exploratory Data Analysis] 과정 실습을 진행해볼게요!
읽어주셔서 감사합니다.