📊

Projects

Projects

Search

분석, ML, DL 관련한 여러 프로젝트를 진행해봤지만, 그중 제일 재미있었고 다방면의 시도를 해볼 수 있었던 프로젝트입니다.

프로젝트 주제

프로젝트 주제는 리테일앤인사이트의 컨설팅을 받는 지역 마트, 단일 점포들의 매출 데이터에서 매출 패턴 기반 동일 상품 인식 및 공통 카테고리 체계를 생성하는 것이었습니다.

데이터는 리테일앤인사이트를 통해 제공받았으며 보안상 점포의 지역이나 점포명 등의 정보는 마스킹 된 상태로 제공받았습니다.

주제는 매출 패턴 분석과 공통 카테고리 체계 생성으로 정해져 있지만 정답이 정해져 있지 않은 프로젝트였습니다. 사측에서도 분류가 굉장히 난잡하게 되어있는 상황이기에 이를 통합하기 위한 좋은 아이디어를 찾는 과정에서 해당 프로젝트가 시작됐습니다. EDA 에 많은 노력과 시간을 쏟았고 사측, 멘토, 팀원분들과 소통하며 나오는 좋은 아이디어들을 시도해보았습니다.

문제 및 해결방안

데이터를 처음 받았을 당시 제공받은 데이터의 매장 수가 너무 적고 데이터의 시작 날짜가 2021년 9월 ~ 2022년 9월 까지였기 때문에 추가로 데이터를 요청하여 진행하였습니다.

제공받은 데이터에서 이상치로 잡히는 데이터들은 신규 마트거나 테스트를 위해 임의로 값을 넣은 것들, 가격 컬럼에 바코드 번호(18자리의 숫자로 구성된 숫자) 가 들어가게 되면서 말도 안되게 튀는 값들이 존재하는 상황이었습니다. 이러한 입력 오류는 기계가 해주는 것이 아닌 사람이 수작업으로 하는 작업이기 때문에 이러한 상황이 존재했고 이러한 이상치는 목표를 위해서 불필요했기 때문에 제거 후 진행했습니다.

단일 마트가 아닌 여러 마트의 데이터를 합쳐서 사용하기 때문에 카테고리의 종류가 너무 난잡하고 비슷한 종류의 상품이더라도 하나로 묶이지 않는 상황이었습니다. 홈플러스 롯데마트 이마트 같은 큰 마트가 아닌 지역 마트, 작은 점포들이 사용하는 카테고리가 다를 수밖에 없고 새로운 상품이 들어오는 경우에 기타항목 등으로 등록해서 사용하는 경우가 많았기 때문입니다. 따라서 정리가 되지 않은 카테고리들을 리테일앤인사이트에서 현재 분류에 사용하고 있는 카테고리를 가져와 직접 마스킹해줬습니다.

리테일앤인사이트 매출 패턴 분석

프로젝트 당시에 유행하던 이상한 변호사 우영우 관련 유튜브 영상을 조회수가 높은 기준으로 정렬한 뒤 댓글을 크롤링하여 댓글의 내용이 긍정/부정/중립인지 판단하는 주제로 진행했습니다.

프로젝트 주제

NLP 프로젝트의 주제로 어떤 것을 해볼지 고민하던 중 텔레그램 api 를 활용한 챗봇 만들기, 네이버 음식점리뷰를 크롤링하여 감정분석을 할지 고민하다가 당시 유행하기 시작하던 ‘이상한 변호사 우영우’ 라는 드라마를 주제로 해보면 재미있을 것 같다. 라는 생각이 들어 시작하게 되었습니다.

‘이상한 변호사 우영우’ 를 유튜브에 검색한 후 조회수를 내림차순으로 정렬하여 당시의 기준으로 조회수가 50만 회가 넘어가는 영상들의 댓글들을 가져와 분석을 진행하였습니다. 영상의 종류는 다양했는데 ost 커버, 촬영 비하인드, 스토리 요약 영상 등 다양한 영상이 있었기에 다양한 댓글들을 수집할 수 있었고, 해당 드라마가 나왔을 당시에 논란이 된 부분이 있었기 때문에 보통의 리뷰 데이터보다 많은 부정적인 반응과 날것의 데이터를 수집할 수 있었을 것이라 예상하고 진행했습니다.

아이디어

nltk 를 사용한 불용어 처리

konly 를 활용한 형태소 분석

Kobert model 사용

이상한 변호사 우영우를 주제로 한 감정분석

AI CONNECT 에서 진행한 쇼핑 고객 상담 대화 문장 의도 태깅 주제의 대회입니다.

이어드림스쿨과 AI CONNECT 에서 진행한 2차 모의 경진대회 입니다.

쇼핑 중 대화 문장들의 의도를 다중분류하는 과제입니다.

쇼핑 중 이루어진 대화 내용

.txt 형태

대화에 대응되는 14개의 의도 클래스

인사하기

진술하기

AI CONNECT 쇼핑 고객 상담 대화 문장 의도 태깅

AI CONNECT 에서 진행한 고객 데이터를 활용한 식당 만족도 예측 주제의 대회입니다.

이어드림스쿨과 AI CONNECT 에서 진행한 1차 모의 경진대회 입니다.

고객 및 식당 정보를 이용한 음식점 평점 예측

추천 시스템(Recommendation System) | 개방형 문제 | MAE(Mean Average Error)

고객 및 식당 정보를 이용하여 특정 고객이 특정 식당에 부여한 평점을 예측하는 문제입니다

데이터 설명

데이터 개요

다음의 Column으로 이루어진 Table 형태의 CSV 데이터 (Encoding: 'UTF-8', Delimiter: ',')

AI CONNECT 고객 데이터를 활용한 식당 만족도 예측

Kaggle의 IEEE-CIS Fraud Detection 이상 거래 탐지 프로젝트입니다.

이어드림스쿨 머신러닝 과제로 진행했던 IEEE-CIS Fraud Detection 이상 거래 탐지 프로젝트입니다.

대회의 목적은 데이터가 불균형한 실제 상거래 데이터에서 이상 거래를 탐지하는 것입니다. 처음 시도에는 XGB, LGBM 같은 부스팅 기반의 모델을 사용했으며, Leaderboard 에서 상위권을 차지한 팀들의 솔루션을 분석하고 마지막으로는 competition 에서 1등을 한 solution 을 자세히 살펴보았습니다.

Self-Feedback

이미 종료된 대회지만 진행하면서 나온 결과와 상위권 솔루션 코드나 설명 등을 비교해보며 어떤 생각들을 가지고 대회를 진행하는지 배울 수 있었고 DIscussion 탭의 많은 토론들도 도움을 주었다.

다시금 느낀 점은 데이터를 분석에 있어서 EDA가 아주 중요하다는 것이다. 문제를 풀어가는 방법들에는 다양한 이론, 기술들이 있지만 중요한건 데이터에 맞는 방법을 사용하는 것. 그리고 전처리에서 많은 힘을 쓰는 것이다. Kaggle 의 창업자인 Anthony Goldbloom 도 "데이터 과학의 80%는 데이터 클리닝에 소비되고, 나머지 20%는 데이터 클리닝하는 시간을 불평하는 데 쓰인다." 라고 말했듯이 전처리에 많은 힘을 쓸 필요가 있다. 

팀 프로젝트로 시작한 프로젝트였으나 주제를 정해야 하는 날 팀원 두 명이 나가게 되면서 혼자 프로젝트를 진행했지만, 마음은 편안했던 프로젝트였다.

Kaggle IEEE-CIS Fraud Detection

Fastcampus 의 매출데이터를 받아 진행했던 프로젝트입니다.

프로젝트 설명

팀 프로젝트로 진행한 패스트캠퍼스의 매출데이터 분석 프로젝트입니다. 패스트캠퍼스의 데이터사이언티스트라면 어떻게 패스트캠퍼스의 매출액을 높일 수 있을지 고민해보는 주제입니다.

Self-Feedback

쉬운 과제였지만 제출 후의 피드백이 따로 없던 점이 아쉬웠습니다. 하지만 분석 결과가 만족스러웠기에 만족합니다.

단순 반복문을 사용하는 것보다는 쿼리 함수를 사용하는 것이 더 효율적일 텐데 모든 부분에 적용하지 못하여 추후에는 적용하려 합니다.

시각화 부분에서의 도표의 폰트나 색상 등이 일정하지 못한데, 협업 시에 이러한 부분을 통일해야 더 보기 좋은 결과물이 나올 것이라는 점을 배웠습니다.

Fastcampus 매출 데이터 분석

프로젝트 주제

Byte Degree 과제로 진행했던 CelebA 프로젝트입니다.

데이터 설명

CelebA는 - 10,177개의 ID, - 202,599개의 얼굴 이미지, - 5개의 랜드마크 위치, 이미지당 40개의 이진 속성 주석을 포함하여 다양한, 대량 및 풍부한 주석을 가지고 있는 유명인 이미지가 포함된 대규모 얼굴 속성 데이터셋입니다.

Self-Feedback

피드백 받은 대로 ImageDataGenerator 나 tf.data를 이용해서 input pipeline 을 만들어 데이터셋을 올리지 않고 학습시킬 수 있도록 할 것, 모델링 부분은 코드로만 표현하기보다는 이미지를 추가해 주는 것이 더 보기 좋다는 점을 배워갔다.

GAN 모델들 또한 더 좋은 모델들이 나오기도 했고, 생성 쪽 프로젝트는 Stable Diffusion이 나왔기 때문에 관련 해당 API 를 이용한 프로젝트를 진행해 보는 것 또한 재밌을 것 같다.

Kaggle CelebA image generation

프로젝트 주제

Byte Degree 과제로 진행했던 URBANSOUND8K 음성 분류 프로젝트입니다.

데이터 설명

텐서플로우 데이터셋 중 하나인 URBANSOUND8K 입니다. 기계 학습 및 음향 처리 연구를 위해 개발된 대규모 음향 데이터 세트입니다. 이 데이터 세트는 도시 환경에서 녹음된 10개의 오디오 클래스를 포함하고 있습니다. 10개의 클래스는 다음과 같습니다.

A numeric identifier of the sound class:

0 = air_conditioner

2 = children_playing

TensorFlow Datasets UrbanSound8K

프로젝트 주제

Byte Degree 과제로 진행했던 PCAM(patch_camelyon) ResNet 을 사용한 이미지 분류 프로젝트입니다.

데이터 설명

텐서플로우 데이터셋 중 하나인 patch_camelyon 입니다. PCAM 데이터셋은 암 조직 슬라이드 이미지에서 전이 학습 및 이미지 분류 작업에 사용되는 공개 데이터셋입니다. 데이터셋은 조직(세포) 이미지의 patch 로 구성되었고, 각 patch 는 암 세포를 포함하거나 포함하지 않았습니다. 해당 데이터셋은 정상 조직과 악성 종양 조직을 분류하기 위함입니다. 327,680 개의 컬러 이미지(96 x 96px) 로 구성되어 있습니다.

Self-Feedback

비전공자로 공부해 나가며, 처음으로 진행해본 딥러닝 프로젝트였고 여러 방면에서 너무도 부족했고 모자랐던 과제였습니다. 데이터를 불러오는 과정도 잘 해내지 못해 시간을 많이 소모했었고, 여러 가지 모델을 실험해보지도 못하고, 보고서의 양식도 제대로 지켜내지 못한 채 마감일에 급급히 제출했던 과제입니다. 멘토님을 통해 받은 피드백 후 보고서를 작성하거나 주석을 남기는 부분에 있어서 좀 더 신중을 기울여야 한다는 교훈을 얻었습니다.

TensorFlow Datasets patch_camelyon