[UPDATE] 수만개의 트윗을 단 5분 만에 처리한다?! - NetMiner 4.4.2

안녕하세요, 사이람입니다. 

최근 사용 편의 향상을 위해 버그를 수정하고 불편했던 점을 개선하여 NetMiner가 4.4.2 로 업데이트 되었습니다!

우선 텍스트 데이터를 불러오는 속도가 매우 빨라졌습니다!

실제 약 5만개의 한글 트윗에서 단어(형태소)를 추출하여 빈도와 TF-IDF 를 계산하고, 문장과 문단을 뽑아 구성하는데까지 단 2~3분!

동일한 데이터를 불러오는데 약 4~5시간 정도의 시간이 걸렸던 과거에 비하면 아주 획기적인 변화라고 할 수 있겠죠?

참고로 아래 이미지는 테스트 데이터를 불러올 때 NetMiner 의 Progress Bar 에 표시되는 소요시간 입니다. 텍스트 데이터를 불러올 때는 4단계의 처리 과정을 거치게 되어있는데 그 중 Building Network 를 효율적으로 개선하여 소요시간이 크게 줄어든 것을 확인할 수 있습니다.

그리고 메인노드셋의 속성을 2모드 네트워크로 추가하여 분석할 수 있습니다. 

예를 들어 아래와 같이 사람들의 소속 부서(Department)가 노드셋의 속성으로 구성되어 있을 때, 마우스 우클릭 후 Add to Workfile 을 클릭하면! 사람들의 소속 부서 데이터가 사람과 소속 팀 간의 2모드 네트워크로 추가됩니다.

사람들의 학교, 소속 기관 등 일반적인 통계 데이터도 아주 쉽게 네트워크 데이터로 변환하여 분석할 수 있습니다 :)

그리고 사람-기관, 사람-제품, 키워드-문서 등 2모드 네트워크를 유사도에 따라 사람 네트워크, 키워드 네트워크로 변환할 수 있는 Transform >> Mode >> 2 mode Network 에도 작지만 편리한 기능이 추가되었습니다. 

바로 Diagonal 에 대한 처리 옵션입니다. 

2모드 네트워크를 1모드 네트워크(Similarity network)로 변환하는 방법은 '서로 다른 노드 간의 유사성을 측정'하는 것입니다. 예를 들어, A, B, C 가 모두 (가) 라는 단체에 소속되어 있다고 가정해 보겠습니다. A,B,C 가 실제로 관계가 있는지 알 수 없지만 그들이 속한 단체가 같다면, 서로 알 수 있는 가능성이 높다고 가정하여 이 세 사람의 관계를 만들어 줄 수 있습니다. 이런 방식으로 서로 다른 두 사람이 속했던 단체가 얼마나 겹치는지 비교하며, 만약 여러 번 같은 단체에 소속되었었다면 유사도가 높고, 한 개 정도의 단체가 겹친다면 유사도가 낮게 나타납니다. 

여기에서 '나'와 '나'를 비교하는 계산이 포함되는데, 당연히 '나'와 '나'의 유사도를 계산한다면 100% 일치하는 결과가 나오겠죠? 그래서 2모드 네트워크를 1모드로 변환하는 과정에서는 '나'와 '나' 사이의 링크, 즉 Diagonal(Self-loop) 가 생성되고 유사도는 1로 계산됩니다. 

보통 Diagonal 은 분석하지 않는 경우가 많기 때문에 NetMiner의 메뉴 Transform >> Value >> Diagonal 에서 별도로 처리를 합니다. 그런데, 이번 업데이트에서는 아예 Diagonal 에 대한 처리가 옵션으로 추가되어 별도로 Diagonal 을 제거하지 않을 수 있게 되었습니다 :)

간단하게 Post-process 의 'Diagonal Replace with a Value' 를 체크하시고 0 을 입력하시면 됩니다

그 외 업데이트 내용은 다음과 같습니다. 

1) 개선사항

• Statistics >> Frequency >> Vector : 서브노드셋 속성에 대한 빈도 분석 추가

• REST API : 서버 포트 체크 및 변경 가능(메뉴 Edit >> Preference >> Application 탭 >> Communication Service)

2) 버그 수정

• Motif Search 실행 에러 수정
• 네트워크 맵에서 45도 각도로 배치된 링크가 표시되지 않는 에러 수정

※ 4.4.2 업데이트 시, 기존에 배포된 '자동 토픽 분석 플러그인'이 실행되지 않을 수 있습니다. http://www.netminer.com/download_buy/appstore/appstore-readList.do 에서 최신 플러그인을 다운로드하여 교체하시면 됩니다. 

NetMiner 4 사용자라면 누구나 무료로 업데이트 하실 수 있습니다. 프로그램을 최신 버전으로 업데이트 하시려면 NetMiner 실행 후 Help >> Check Update 를 클릭하시거나 www.netminer.com 에서 설치 프로그램을 다운로드하여 재설치 해주시기 바랍니다. 

빅데이터 속 비정형 텍스트 데이터를 분석하는 가장 쉬운 소프트웨어, NetMiner! 

NetMiner를 활용한 다양한 텍스트 분석 사례와 관련 교육에 대해서 확인해 보시려면 아래 링크를 클릭클릭!

<분석 사례>

무료 자동 토픽 분석 플러그인 활용 사례 >> 

19대 대선 후보 연설문/담화문 분석 >> 

9.13 부동산 대책 전후 '집값'에 대한 트윗 여론 분석 >>

<교육>

연구동향분석 교육, 텍스트 네트워크 분석 교육

앞으로도 NetMiner에 대한 꾸준한 관심과 이용을 부탁드립니다.

감사합니다.

 

(주)사이람