두 단어의 연관성(상관관계)를 빅데이터 API 없이 확인할 수 있는 방법이 있을까?(3탄)
안녕하세요?
두 단어의 연관성(상관관계)를 빅데이터 API 없이 확인할 수 있는 방법이 있을까? (3탄)으로 돌아왔습니다. 1 ~2탄을 안 보셨다면 이전 글 보시고 오시는 것도 추천드립니다.
(1탄 https://heojjit-street.tistory.com/2 )
(2탄 https://heojjit-street.tistory.com/3 )
지난 시간에 이어 3탄, 대중성에 대한 이야기를 해보려 합니다.
대중성이란? 사람들에게 많이 언급이 될 확률이 높아 웹페이지에 검색이 많이 되는 항목을 말합니다.
예를 들면, 구글에서 "삼성전자"라고 검색되어 나오는 결과수가 "깨끗한나라"보다 많다는 이야기입니다.
그렇다면, 삼성전자와 깨끗한나라와 물티슈를 묶어서 검색하면 어떻게 될까요?
"깨끗한나라"보다"삼성전자"는 물티슈와 연관성이 떨어짐에도 불구하고 검색 수가 훨씬 더 많이 있군요.
이것이 웹상의 "대중성 효과"입니다
즉, 사람들이 많이 언급할 수록 웹에서 검색될 확률이 더 올라간다는 것이죠.
그렇다면 우리는 어떻게 해야 두 단어의 연관성을 검색어 수로 확인할 수 있을까요?
바로, 검색어수로 방향성을 확인하면 됩니다.
"삼성전자"의 검색결과는 99,000,000개였습니다. "깨끗한나라"는 그보다 적은 10,100,000개였지요.
그리고 "물티슈"의 검색 결과는 344,000,000개입니다.
방향성은 다음과 같이 구할 수 있습니다.
단어 1&단어 2 검색 수
수식 1 : ---------------------------- = 단어 1(단어 2)의 방향성
단어1(단어2) 검색 수
수식 2 : 단어 1의 방향성 + 단어 2의 방향성 = 양방향성 = 두 단어의 연관성
예를 들어,
"깨끗한나라"와 "물티슈"의 방향성 계산을 해보겠습니다.
"깨끗한나라"&"물티슈" 검색 수 419,000
---------------------------- = ---------------------- = 0.041 = 깨끗한나라의 방향성
"깨끗한나라" 검색 수 10,100,000
"깨끗한나라"&"물티슈" 검색 수 419,000
---------------------------- = ---------------------- = 0.0012 = 물티슈의 방향성
"물티슈" 검색 수 344,000,000
==>>>두 단어의 양방향성은 합인 약 0.0422 (연관성)
위와 같은 사실에서 "깨끗한나라"의 방향성이 0.041으로 "물티슈"의 방향성인 0.0012 보다 높게 나왔습니다.
즉, "깨끗한나라"는 "물티슈"로의 연결성은 강하고 "물티슈"에서 "깨끗한나라"의 연결성은 그에 비하여 부족하다는 결론입니다.
상대적으로 대중성이 "물티슈"보다 적은 "깨끗한나라"는 검색 결과 수가 "물티슈" 보다 작게 검색이 되지만,
"깨끗한나라"와 "물티슈"를 둘 다 포함하는 검색 결과에서는 보다 많은 비율을 가져감을 알 수 있는데.
이는, 대부분의 양방향성의 값을 "깨끗한나라"의 방향성에서 차지한다고 할 수 있겠군요.
이렇게 마지막으로 대중성에 의한 검색결과 수의 치우침을 방향성의 값으로 보정하는 방법을 알아보았습니다.
다음 시간에는 실제 검색 사례로 얼마나 정확도가 있게 연관성을 확인할 수 있는지에 대해서 알아보겠습니다.