댓글분석4 [댓심]댓글 분석1 : 가상환경 구축 Pororo 설치 중에 계속 버전 이슈가 생겨 가상환경과 버전에 대해 한번 정리해볼 생각이다. 라이브러리 설치시 혹은 pip, pip3, conda install 등의 이슈도 모두 가상환경과 관련 있으니 이참에 다같이 정리 해봐야 겠다. 1. 가상환경이란? 독립적인 작업환경, 패키지 및 버전관리를 하기 위한 가상의 환경 프로젝트마다 활용하는 다양한 라이브러리끼리의 호환문제에 시달리다 보면 자연스럽게 부딪히는 문제다. 정말 에러 메시지도 길어서 지쳐서 포기할 때가 한 두번이 아니었다. 보통 pip 패키지를 설치하게 되면 패키지는 파이썬 설치 폴더 안에 일괄적으로 저장되기 때문에 여러 프로젝트를 동시에 진행하면 문제가 생긴다. 예를 들어 프로젝트 a에서는 R패키지 1.15를 사용해야 하고, 프로젝트 b에서는.. 2021. 4. 28. [댓심]크롤링 프로그램 제작2: 대댓글 크롤링 2021.04.07 - [프로젝트/유튜브 댓글분석] - [댓심]유튜브 댓글 크롤링 프로그램 제작기1 우선 대댓글이 달린 원 댓글을 대댓글 데이터에 함께 저장하려 시도했다. FK 개념으로 원 댓글에 고유 번호를 부여한 후 대댓글에 FK를 부여하려 했지만, 대댓글이 달리지 않은 댓글의 경우 크롤링 할 내용이 없기 때문에 NULL 값이 아닌 아예 건너뛰게 된다. 정리해보면 1. 대댓글이 없는 댓글을 식별할 수 없다 2. 원 댓글과 인덱스를 맞출 수 없음. 3. 댓글과 대댓글의 관계를 정보화 할 수 없음 역시 비슷한 문제를 해결하신 분이 계셨다. blog.naver.com/blueqnpfr1/222069530876 [PYTHON] 셀레니움(selenium)을 활용한 유튜브 댓글 크롤링 계기오랜만에 포스팅을 한다.. 2021. 4. 8. [댓심]댓글 크롤링 프로그램 제작1 : 코드 완성 from selenium import webdriver as wd from bs4 import BeautifulSoup import time import re import pandas as pd driver = wd.Chrome(executable_path="C:/Users/MSI/OneDrive/바탕 화면/youtube/chromedriver.exe") url = 'https://www.youtube.com/watch?v=yDD4K-XxuDY' driver.get(url) last_page_height = driver.execute_script("return document.documentElement.scrollHeight") while True: driver.execute_script("window.. 2021. 4. 7. 두 번째 프로젝트 : 댓심 프로젝트 두 번째 프로젝트로 댓심(댓글 + 민심) 프로젝트를 시작해보려 한다. 1. 배경 (1) 나의 경험 예전 스타트업에서 일할 때 유튜브 댓글과 고객들의 후기 데이터를 근거로 영상을 기획한 적이 있었다. 단순한 텍스트 마이닝으로 키워드를 추출해 이를 참고하는 방식이었지만, 정량적인 근거를 토대로 영상을 기획해본 경험이 인상적이었다. 몇 년전 영화 홍보영상을 제작할 기회가 있을 때에도 써먹었던 방법이었다. 댓글을 있는대로 다 긁어 무식하게 키워드를 뽑아내 해석해보니 영화에 기대하는 부분, 장면, 감동적인 포인트를 얼추 유추할 수 있었고, 토대로 영상의 포인트를 기획했었다. 영상을 제작한 후 피드백을 해봤을 때에도 의도했던 부분이 먹혀들었던 것 같다. (2) 트렌드 최근 유튜브 영상을 시발점으로 재밌는 현상들이 .. 2021. 3. 31. 이전 1 다음
