파이썬 활용, 키워드 데이터베이스 자동으로 만들기 도전
파이썬의 무궁무진한 기능을 알게 되면서 뭔가 활용해 볼 수 있는 것을 만들어 보고 싶어 졌습니다.
이제 막 파이썬 공부를 시작한 초보 주제에 실력도 없으면서 마음만 급하네요.^^
지난번에 제 블로그의 제목과 카테고리를 크롤링해서 엑셀 파일로 만드는 것을 해봤는데, 좀 더 활용도가 높은 것을 한번 만들어 보고 싶어졌습니다.
참고로 블로그 제목과 카테고리를 크롤링한 내용에 대해서는 아래 링크 참조하세요...↓↓↓↓↓
이번에 도전해 보고 싶은 과제는 네이버 키워드 검색도구로 애용하고 있는 "블랙 키위"를 이용해서 "자동 키워드 데이터베이스 생성" 프로그램을 한번 만들어 보는 것입니다.
기본적인 아이디어는 아래와 같습니다.
1. 블랙 키위에서 키워드(Ex, 발열 체크기)를 검색합니다.
2. 그러면, 이 키워드의 연관 키워드와 유관 키워드가 나타납니다.
3. 위의 각 키워드를 크롤링해서 데이터로 만든 다음에 이들 각 키워드에 대해서 순차적으로 월간 검색량 데이터와 포화 지수 데이터를 크롤링해서 이들을 CSV 파일로 저장합니다.
4. 이 CSV 파일을 엑셀로 열어서 필요한 부분을 Cooking 해서 데이터베이스를 만들어 갑니다.
만드는 방법은 첫 키워드만 화면에서 입력을 하고, 1~3의 과정은 자동으로 진행하도록 프로그래밍을 합니다.
이를 위해서는 자동으로 크롬창을 열고, 자동으로 키워드를 입력하고, 자동으로 크롤링을 해서 연관/유관 키워드를 선행 데이터를 뽑은 다음에 여기서 순차적으로 키워드를 가지고 와서 하나씩 자동 검색을 해서 최종적으로 월간 검색량과 포화 지수를 뽑아 CSV 파일에 순차적으로 쌓아가는 것입니다.
좀 더 발전을 시키면 각각의 연관/유관 키워드에 연관/유관 키워드를 다시 찾아내어서 더 이상의 연관/유관 검색어가 없는 키워드가 나올 때까지 계속 반복해가면 좋겠지만 여기까지는 무리인 것 같아서 1차 연관/유관 키워드만 찾는데까지만 우선 진행해 보려고 합니다.
기본적으로 파이썬의 셀레니엄 (Selenium) 라이버러리를 활용해서 크롬 드라이버를 제어하고 뷰티플 수프(Beautifulsoup)도 같이 이용해서 웹 파싱을 하는 형태로 코딩을 해야 합니다.
반복되는 이야기이지만 전체적인 플로차트는 아래와 같이 생각하고 있습니다.
프로그램은 작성하는 데로 몇 회에 걸쳐 순차적으로 올려 보도록 하겠습니다.
실제 완성하기까지 겪어야 할 수많은 에러 메시지들을 생각하면 솔직히 좀 겁도나네요.
주위에서 도와주시는 분도 없고 하니까 코딩 중에 진짜 어려운 부분이 발생하면 해결을 못하고,,, 중도에 포기를 해야 할지도 모르겠지만,,, 이렇게 도전해 보다 보면 파이썬 코딩에 실용적인 지식이 늘 것 같기도 해서 한번 시도해 보려고 합니다.
응원 부탁합니다. ^^.
Updated : 본 건은 도전 일주일만에 완료했습니다. 물론 틈틈히.., 퇴근후에 관심갖고 쳐다볼 수 있는 것이 있어서 즐거웠습니다. 결과물은 아래 참조하세요
이 글을 공유합시다
