Being Being

미래에셋 금융 빅데이터 페스티벌에 참여하여 너무 감사하게도 본선에 진출하게 되었습니다. 김정우(연예인 아님, 우리 팀 이름입니다) 사랑해~ "키워드"를 이용하여 펀드를 보다 쉽게 이해시키는 과제를 받았고, 해당 키워드를 논리적으로 뽑아내기 위해 받았던 데이터 속 펀드명과 관련한 뉴스 데이터를 이용하기로 했습니다. 네이버 증권 뉴스 홈페이지에서 펀드 이름을 검색한 후, 뉴스 제목과 내용을 가져와 LDA 토픽모델링을 진행하는 것이 목적입니다. 군말말고 들어가보겠습니다. 일단 필요한 패키지를 불러와 주고요. 저희는 검색과 클릭 기능을 사용한 동적 방법이 필요하기 때문에 크롬드라이버를 열어줍니다. import pandas as pd from selenium import webdriver from selenium..

2019년 KDD에 실린 논문으로, 뉴스 추천에 있어서 서로 다른 사용자는 단어와 뉴스를 다르게 받아들임을 반영하여 주목을 받았다. 논문 리뷰 스터디에서 해당 논문을 맡아 발제하였고 그 내용을 정리하려고 합니다. INTRO 서로 다른 사용자는 단어와 뉴스를 다르게 받아들임 이전의 추천은 이러한 사용자 개별의 선호는 반영되지 않았고, 단지 text 안에서의 중요한 단어에 가중치를 부여하는 방식을 사용하였음 → 이것을 추천에 반영한다면 더욱 향상된 personalized 뉴스 추천이 가능할 것이라는게 논문의 핵심 APPROACH 위 아키텍처를 크게 세 부분으로 나누면, 1. News encoder : 뉴스 벡터 학습 2. User encoder : 유저 벡터 학습 3. Click predictor : 후보 ..

사실 selenium이 편하니까 머릿속으로는 웬만하면 뷰숲써야지 하면서도 (selenium은 라이브러리 자체가 굉장히 무겁기도 하고 잘 막힌다는 단점이 있다.) 굳이 막히지만 않으면 동적으로 크롤링하는 버릇(?)이 있었다. 하지만 내가 적은 코드 명령들을 전혀 먹어주지 않는 네이버와 근 몇 달 간 함께하면서 뷰숲과 많이 친해졌다. 종강하고 좀만 여유로워지면 올릴게욥.. 찬찬히 뜯어보겠음.. 크롤링하게 된 이유 빅데이터 동아리 ADV 프로젝트로 "식당 추천 시스템"을 하게 되면서, 팀원들이 네이버/카카오/구글맵 리뷰 데이터를 각자 분배하여 크롤링하기로 했다. 사다리 탔는데 네이버가 걸렸다. 네이버는 크롤링이 자주 막힌다.. F12를 누르면 훤히 보이는 소스들을 파이썬에다가 순순히 보내주지 않는다. 작업 환..

Reference 강의 : Minnesota 대학교 Nearest Neighbor Collaborative Filtering 코세라 강좌 Refere CV는 그냥 심심해서 넣었고, Recommender에서 train/test split은 조금 특이한 점이 있다. 같이 공부하는 팀원 분께서 아주 잘 설명을 해주셨었었었는데(지금 까먹음) 다시 공부하고 여기다 정리해야겠다. 이번 주 안에 할 것이다.

1. approach -> User-User CF의 한계 좋은 결과를 제공하지만, 여러 문제가 있음 Sparcity : 많은 item set이 있어도, rating의 수가 적음 계산적 문제 : 모든 pair correlation에 대해 계산을 하는 것은 많은 비용이 듦 해결 : Item-Item CF 2. Item-Item CF 과정 크게 아래 두 단계로 나뉜다. ① pairs of items에 대해 유사도 계산 ② user-item rating 예측 3. Item-Item CF 장점 - 예측 accuray나 top-N 예측 측면에서 성능이 좋음 - Implementation이 효율적 (User가 Item보다 많은 상황 가정) - 넓은 applicability, flexibility 4. Item-Ite..

Reference 강의 : Minnesota 대학교 Nearest Neighbor Collaborative Filtering 코세라 강좌 블로그 : exmemory.tistory.com/56 Intro 협업 필터링에는 최근접 이웃 기반과 잠재요인 협업 필터링이 있는데 오늘 공부할 내용은 최근접 이웃 기반이다. 협업 필터링은 user-behabior(rating, 구매 이력 등)을 기반으로 추천을 진행한다. 최근접 이웃 기반의 목표는 User-Item matrix에서 사용자가 아직 평가하지 않은 아이템을 예측하는 것이 목표다. 이를 위해 행렬을 만들면 굉장히 sparse한 형태가 나와 공간이 낭비되는 문제가 발생한다. 이 최근접 이웃 기반은 2가지로 나뉘는데, 사용자 기반 : 비슷한 사용자들은 어떤 ite..

출처 : 미네소타 대학교 Recommendar System 복습할 때 보라고 헷갈리는거 위주로 정리,, Introducing Recommendar Systems Q. Prediction과 Recommendation을 구분하는 best definition은? A. Prediction은 어떤 item에 대하여 한 사람의 rating(좋아요 개수, 소비량 등); recommendation은 큰 셋으로부터 어떤 사람이 아이템을 선택하(여 보여주)는 것. Q. Prediction과 Recommendation을 same interface에 합치는 것은 가능하다? A. False; ++) Explicit prediction 결점 중 하나가 잘못될 수 있다는 점, 심각하게 잘못된다면 사용자들은 시스템의 신뢰도를 잃게 ..