유튜버3 [댓심]크롤링 프로그램 제작2: 대댓글 크롤링 2021.04.07 - [프로젝트/유튜브 댓글분석] - [댓심]유튜브 댓글 크롤링 프로그램 제작기1 우선 대댓글이 달린 원 댓글을 대댓글 데이터에 함께 저장하려 시도했다. FK 개념으로 원 댓글에 고유 번호를 부여한 후 대댓글에 FK를 부여하려 했지만, 대댓글이 달리지 않은 댓글의 경우 크롤링 할 내용이 없기 때문에 NULL 값이 아닌 아예 건너뛰게 된다. 정리해보면 1. 대댓글이 없는 댓글을 식별할 수 없다 2. 원 댓글과 인덱스를 맞출 수 없음. 3. 댓글과 대댓글의 관계를 정보화 할 수 없음 역시 비슷한 문제를 해결하신 분이 계셨다. blog.naver.com/blueqnpfr1/222069530876 [PYTHON] 셀레니움(selenium)을 활용한 유튜브 댓글 크롤링 계기오랜만에 포스팅을 한다.. 2021. 4. 8. [댓심]댓글 크롤링 프로그램 제작1 : 코드 완성 from selenium import webdriver as wd from bs4 import BeautifulSoup import time import re import pandas as pd driver = wd.Chrome(executable_path="C:/Users/MSI/OneDrive/바탕 화면/youtube/chromedriver.exe") url = 'https://www.youtube.com/watch?v=yDD4K-XxuDY' driver.get(url) last_page_height = driver.execute_script("return document.documentElement.scrollHeight") while True: driver.execute_script("window.. 2021. 4. 7. 두 번째 프로젝트 : 댓심 프로젝트 두 번째 프로젝트로 댓심(댓글 + 민심) 프로젝트를 시작해보려 한다. 1. 배경 (1) 나의 경험 예전 스타트업에서 일할 때 유튜브 댓글과 고객들의 후기 데이터를 근거로 영상을 기획한 적이 있었다. 단순한 텍스트 마이닝으로 키워드를 추출해 이를 참고하는 방식이었지만, 정량적인 근거를 토대로 영상을 기획해본 경험이 인상적이었다. 몇 년전 영화 홍보영상을 제작할 기회가 있을 때에도 써먹었던 방법이었다. 댓글을 있는대로 다 긁어 무식하게 키워드를 뽑아내 해석해보니 영화에 기대하는 부분, 장면, 감동적인 포인트를 얼추 유추할 수 있었고, 토대로 영상의 포인트를 기획했었다. 영상을 제작한 후 피드백을 해봤을 때에도 의도했던 부분이 먹혀들었던 것 같다. (2) 트렌드 최근 유튜브 영상을 시발점으로 재밌는 현상들이 .. 2021. 3. 31. 이전 1 다음
