파이썬으로 키워드 데이터베이스 만들기
얼마 전에 유튜브 라이브를 통해 파이썬을 배우기 시작했다는 말씀을 드렸고, 파이썬의 웹 크롤링 기능을 활용해서 자동으로 키워드 데이터베이스 (Keyword Database) 만들기에 한번 도전해 보고 싶다는 글을 썼습니다.
사실 코딩은 제대로 배워 본 적이 없기 때문에 가능할까 생각했는데 우격다짐으로 처음 생각하던 형태대로 완성은 했습니다. 이야기를 꺼낸 지 일주일 만이네요..
아래 영상은 비주얼 스튜디오 (Visual Studio)를 활용해서 파이썬 코딩을 실행한 화면입니다.
위의 영상은 "무선충전기"라는 키워드를 블랙 키위로 검색을 하고, 이 "무선충전기"의 연관 키워드와 유사 키워드를 불러 읽어드려서 각각을 리스트로 만든 다음에 이들 키워드의 월 검색량과 키워드 포화 지수를 데이터 베이스로 만드는 것입니다.
연관 키워드와 유사 키워드를 꼬리에 꼬리를 물고 들어가면 더 강력한 데이터베이스를 만들 수 있겠지만 아직 거기까지 생각하기는 싫어서 1차 연관/유사 키워드만 크롤링을 하는 것으로 했습니다.
물론 지금은 Default로 "무선충전기"를 설정을 했지만 간단히 Input함수를 쓰면 그때그때 다양한 키워드를 입력해서 자동으로 그 키워드에 대한 월 검색량과 키워드 포화 지수를 축척할 수 있을 것입니다.
사실 온라인을 공부하다 보니까 "키워드"가 전부라는 생각이 들 때가 많습니다.
일일이 수작업을 할 필요 없이 자동으로 키워드에 대한 정보를 모을 수 있으니 활용하는 수준에 따라서는 유용한 툴이 될 수 있을 것 같습니다.
위의 영상을 간단히 설명해 보면.
▼ 원도10에서 비주얼 스튜디오 실행시킨 화면입니다.
코딩 창에 코딩 내용이 보이고 실행 시 콘솔 창에 진행 내용이 보입니다.
▼ 코드를 실행하면, Chrome Driver Library 실행으로 크롬 창이 자동으로 열립니다.
아래 마크에서 보시는 것처럼 "Chrome이 자동화된 텍스트에 의해 제어되고 있다"는 메시지가 보임.
▼ 크롬창이 비주얼 스튜디오 창과 겹쳐 보여서 제가 마우스로 오른쪽으로 옮겼습니다.
그 사이 블랙 키위 검색창에 "무선 충전기"라는 검색어가 자동 입력되었습니다.
▼ 프로그램이 진행되면서 "무선 충전기의 연관 키워드와 유사 키워드"를 수집하여 리스트형 데이터를 만듭니다.
키워드의 숫자가 총 25개라는 것도 보입니다.
이제 이 25개 키워드를 한 개씩 검색창에 넣어 가면서 데이터를 크롤링하게 됩니다.
▼ 첫번째 키워드인 "무선 충전기"에 대해서 데이터를 자동으로 수집하고 있습니다.
▼ 두번째 키워드인 "블루투스 스피커"에 대한 데이터를 수집하고 있습니다.
검색량이 상당한 키워드이네요.
▼ 세번째 키워드인 "보조배터리"에 대한 데이터를 수집하고 있습니다.
이렇게 자동으로 25번째 마지막 키워드인 "아이폰 고속 무선충전기"까지 자동으로 검색하여 지정한 데이터를 모으게 됩니다.
모은 데이터는 콘솔 창에 보일 뿐만 아니라 CSV 파일로 저장되어 엑셀로 열어 볼 수 있습니다. 아래는 엑셀 화면입니다.
이렇게 데이터를 확보했으면 이 데이터들을 원하는 형태로 가공해서 활용도가 높은 키워드를 쌓아가면 되겠지요.
이 데이터를 활용도는 매우 풍부할 것 같은데, 상상력에 맡기기로...^^.
사실 조금 깊게 생각해보면 지금은 블랙 키위를 활용하여 데이터를 크롤링을 했는데, 블랙 키위도 "네이버 데이터랩 API"를 이용하여 검색 데이터를 만들어 내는 것이므로 좀 더 빠르고 자유도가 높은 키워드 데이터를 확보하기 위해서는 "네이버 API"에 직접 Access 하는 것이 최선일 것으로 보입니다.
이 부분에 대해서도 도전해 보고 싶은 목록에 넣어 두면 좋을 듯싶습니다.
어쨎든 파이썬을 배우기 시작해서 2번째 미션까지 완성했습니다. 이렇듯 코딩 공부는 직접 뭔가를 만들어 보는 것이 가장 좋은 공부 방법인 것 같습니다.
감사합니다.
2020/06/29 - 구름 IDE에 파이썬 사용 환경 만들기
2020/07/01 - 파이썬을 이용하여 "네이버 쇼핑"의 제품 리스트를 긁어오기 (데이터 크롤링)
2020/07/19 - 파이썬을 이용하여 티스토리 제목과 카테고리 크롤링
2020/07/22 - CSV 파일, 엑셀에서 한글 깨짐 현상 해결방법
이 글을 공유합시다
