Media Log

안녕하세요~ 넷마이너를 사랑해 주시는 여러분~


재미있는 넷마이너 플러그인이 배포되었다는 사실을 모두 알고 계시죠~~?

바로, 페이스북 이용자 데이터 수집 플러그인입니다!


KBS '차정인 기자의 T-time'에서도 그 활용법을 간단히 소개해 드릴 기회가 있었는데요,

여러분들의 이해를 좀더 돕고, 많이 활용되길 바라면서 오늘부터 총 4번에 걸쳐 플러그인 활용법을 예시와 함께 소개해 드리겠습니다! 


1. 설치하기



먼저 넷마이너를 이미 이용하고 계신 분들은 넷마이너 웹사이트의 앱스토어 메뉴에서 플러그인을 다운로드 받으실 수 있습니다. 



페이스북 이용자 데이터 수집 플러그인 (넷마이너 사용자용)



넷마이너가 아직 없으신 분들 ;)


넷마이너 평가판을 이용하여 플러그인을 사용해 보실 수 있습니다~

단, 평가판용 플러그인은 넷마이너 평가판 사용자들을 위해 별도로 제작된 플러그인으로, 최대 100명의 페이스북 친구들의 데이터만 수집된다는 사실을 유의해 주세요^^


넷마이너 4 평가판 다운받기

(넷마이너 홈페이지에 가입하셔야 합니다)


페이스북 이용자 데이터 수집 플러그인 (평가판용)



첨부되어 있는 두 개의 파일을 다운로드 받은 후, 먼저 facebookLib.zip 파일의 압축을 풀어줍니다. 

(이 때, 파일을 다운 받으시는 폴더의 경로 상에 한글이 들어가지 않도록 주의 해주세요 :) 에러가 나는 분들이 계시네요~ )


그 후 넷마이너를 실행시켜 Tools > Plug-in Manger 에서 FaceBookUserCrawler_NS.nmx 파일을 플러그인으로 등록한 후 플러그인을 실행시킵니다.



Step1. 크로울러 라이브러리 경로 설정



플러그인을 실행하면 다음과 같은 화면이 나옵니다.



여기에서 Browse버튼을 누른 뒤 facebookLib.zip의 압축을 푼 디렉토리를 선택합니다.



Step2. Access Token 설정




본 플러그인이 페이스북 데이터를 수집하기 위해서는 데이터 접근을 허용하는 Access Token을 등록해야 합니다. 자신의 페이스북 계정의 AccessToken 값을 모른다면 ‘아니오’를 누릅니다.


‘아니오’를 누르면 아래와 같은 메시지 창이 뜹니다.



‘확인’을 누르면 잠시 뒤 웹브라우져 창이 뜨고 페이스북에 접속됩니다.

페이스북에 로그인하여 애플리케이션 접근을 허용하면 다음과 같이 AccessToken 값이 웹브라우저 상에 나타납니다.


만약 에러메시지가 나타난다면?



플러그인을 실행할 때마다 AccessToken을 입력해야 하므로 별도 파일로 저장해두시면 편리합니다 :)


혹시 Token Code 는 나오지 않고 Proxy.jsp 저장 메시지만 나타나는 경우에는?



Step3. 크로울러 메인메뉴 설정




Input Access Token에 Step2에서 받은 Token code를 입력합니다. Input First Date에 수집하려는 데이터의 시작일을 입력합니다. 수집 가능한 기간은 오늘 날짜로부터 최대 6개월 전까지입니다. Result file path는 결과 데이터가 저장될 폴더 위치입니다. 폴더 위치를 설정한 뒤 OK를 누르면 데이터 수집이 시작됩니다. 


Step4. 데이터 수집 및 결과 summary




수집 시간은 데이터의 크기에 따라 약 1-2분 정도의 시간이 소요됩니다. 수집이 끝나면 아래와 같이 수집결과가 나타납니다. 





수집 완료~!! 



긁어왔으니 이제, 넷마이너에 펼쳐진 데이터가 무엇을 의미하는지 살펴 볼까요~?



만약 내 친구는 훨씬 많은데 데이터가 그보다 적게 수집된다면?



2. 수집 데이터 구조



기본적으로 수집되는 데이터의 구조는 다음과 같습니다.



  • 1-mode Network

Main Nodeset: 나와 내 친구들의 목록입니다.



My Friends Network: 나와 내 친구들 간의 친구관계 네트워크입니다. 내 친구들 간의 관계도 포함되어 있습니다.



Post Like Network: 내가 쓴 포스트에 대해 좋아요를 눌러 준 친구들과의 관계 네트워크입니다. 내가 쓴 포스트에 대해 좋아요를 누른 횟수의 합이 링크값으로 포함되어 있습니다.



Post Comment User Network: 내가 쓴 포스트에 댓글를 단 친구들과의 관계 네트워크입니다. 내가 쓴 포스트에 대해 댓글을 단 횟수의 합이 링크값으로 포함되어 있습니다.  




  • 2-mode Network(1)
PostData: 내가 쓴 포스트 목록입니다. 포스트가 작성된 시간, 메시지 내용, 좋아요 수,댓글 수 등이 노드 속성으로 포함되어 있습니다.


PostLikeNetwork: 내가 쓴 각각의 포스트와 해당 포스트에 좋아요를 누른 친구 간의관계입니다. 



  • 2-mode Network(2)

CommentData: 내가 쓴 포스트에 달린 댓글 목록입니다. 해당 댓글이 작성된 시간, 댓글 내용, 댓글 좋아요 수 등이 노드 속성으로 포함되어 있습니다.





자, 이제부터는 데이터를 활용하고 분석할 수 있도록 안내해 드릴게요 :) 
재미있는 시간이 될 것 같네요~!!



3. 활용하기


페이스북 친구관계의 다양한 모습을 함께 분석해 보겠습니다. 저(TRK)의 데이터를 예를 들어 설명해 드릴 테니 잘 따라 오세요~^^ 

2012년 9월 1일부터 11월 13일까지의 데이터를 크롤링 하였습니다~


오늘은 처음이니까- 

가장 기본적인 것부터 살펴 보겠습니다 =)




내 친구들끼리도 서로 친구일까?




넷마이너 페이스북 플러그인을 실행하여 자신의 페이스북 데이터를 가져오자마자~~~


짜잔~ 

아래와 같은 네트워크 맵이 가장 먼저 보이셨죠?



이 네트워크 맵을 들여다 보면,

자신의 친구 관계뿐 아니라 친구들끼리 서로 친구인지 한 눈에 확인할 수 있습니다 =)


페이스북을 사용하다보면 친하고 잘 알고 지내는 사람들과도 친구를 맺지만,

오다 가다 만난 분들도 모두 친구가 되면서 친구 수가 엄청나게 늘어나게 됩니다~ 그쵸?


이 플러그인을 사용하시면서 여러분은 내 친구들뿐 아니라,

나와 친구인 사람들에 한하여 친구들끼리의 관계도 확인할 수 있습니다.

아래 그림처럼 말이예요~!

 




헙.. 너희들도 친구였구나~~~ 세상 참 좁네~~~



물론 이미 알고 있었던 관계일 수도 있지만,

이렇게 한눈에 볼 수 있도록 펼쳐놓아 주는 것이 소셜네트워크 분석 툴들이 가진 '시각화'의 한가지 장점이 될 수 있겠지요. 특히 넷마이너가 가진 장점이랄까요~ ;)


친구관계를 보시면서 충격 받으신 분들이 없기를 바라면서,


저는 다음 시간에 두번째 활용예시를 가지고 다시 포스팅을 이어가 보겠습니다~~~


쭉~ 함께 해주세요!!




저작자 표시 비영리 변경 금지
신고
크리에이티브 커먼즈 라이선스
Creative Commons License
  1. 곽동근 at 2013.02.25 11:19 신고 [edit/del]

    안녕하세요? 지난주 넷마이너 교육받은 수강생입니다.
    평가판용으로 플러그인을 받아 실행중인데, 토큰값을 불러오는데에서 계속 에러가 나네요..
    페이스북을 로그 아웃하고 실행시키면, 로그인 하라는 페이지까지는 잘 뜨는데, 그 뒤로는 "페이지가 없다"고 나오네요..
    혹시나 해서 F5를 눌러보니, 사이람 테스트 앱 연결 페이지가 뜨던데. 그걸 클릭하니, 내 정보 접속 허가 여부를 묻는게 잠깐 나오긴 했습니다만, 역시 페이지 없음이 뜹니다.
    무슨 문제가 있는건가요?
    "facebookLib_e.zip"은 c:/tmp/에 넣었습니다.(한글폴더는 아니고요..)
    알려주세요-

    Reply
  2. 천명규 at 2013.12.23 15:11 신고 [edit/del]

    스크립트를 돌려서 결과 값을 갖고 왔는데, Accumulated Post likes 가 "0"으로 나타납니다.
    그러다 보니 PostLike UserNetwork [0*1], PostLikeNetwork [0*1] 로 되어서 이 부분을 분석하기 어렵습니다.
    아마 스크립트를 돌릴 때 Like에 대한 값을 못가져 오는 것이 아닌가 싶은데, 확인 부탁드립니다. 참고로 [revised] Facebook Data Crawling Box 9-4 일자 플로그인을 갖고 돌려 보았습니다.

    Reply
  3. 데킬라김 at 2014.04.01 17:58 신고 [edit/del]

    덕분에 넷마이너 실 사용해봤습니다. 감사합니다.

    1. 토큰 입력할때 특정 페이지의 아이디를 넣어서 받은후
    그 페이지에 대한 자료를 받고자 했는데, 지원을 안하는건가요?
    에러가 발생하면서 페이지가 아닌 제 계정의 자료만 수집하네요.
    로그는 대략 아래와 같습니다. (현 개발자가 아니라서 그대로 붙여봅니다)

    Traceback (most recent call last):
    File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 603, in <module>
    File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 522, in run1
    IndexError: list index out of range
    Traceback (most recent call last):
    File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 603, in <module>
    File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 530, in run1
    File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 337, in getUserData
    UnboundLocalError: local variable 'data' referenced before assignment
    Exception in thread Thread-79:
    Traceback (most recent call last):
    File "threading.pyc", line 532, in __bootstrap_inner
    File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 270, in run
    KeyError: 'count'

    Exception in thread Thread-81:
    Traceback (most recent call last):
    File "threading.pyc", line 532, in __bootstrap_inner
    File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 284, in run
    KeyError: 'count'

    2. 토큰 생성할때
    https://developers.facebook.com/tools/explorer/
    유저, 프렌즈, 확장 퍼미션 체크항목이 많은데 넷마이너 돌리기 위해서는 어떤걸 체크해야 할지..

    Reply
  4. Favicon of http://cyram.tistory.com BlogIcon (주)사이람 at 2014.04.02 15:28 신고 [edit/del]

    안녕하세요. 넷마이너에 관심을 가져주셔서 감사드립니다.
    사용하신 플러그인은 페이스북 '페이지'계정은 지원하지 않습니다.

    액세스 토큰은 가지고 계신 것이 없을 경우에 액세스 토큰 보유 여부를 묻는 대화창에서 '아니오'를 선택하시면 자동으로 웹상에 나타납니다.

    또한 결과파일을 저장할 폴더를 지정해 주실 때에 파일경로 상에 한글이 들어가지 않도록 주의해 주세요~

    현재 이 플러그인은 2014년 2월 12일에 업데이트 되어 새롭게 넷마이너 홈페이지에 올라와 있습니다.
    http://www.netminer.com/bbs/board.php?bo_table=plugin_script&wr_id=52
    이곳에서 다시 다운로드 받아 실행해 보세요.

    다른 문의 사항이 있으시면 netminer@cyram.com 으로 메일 문의 주시기 바랍니다. 감사합니다.

    Reply
  5. 데킬라김 at 2014.04.02 17:02 신고 [edit/del]

    페이스북 페이지용 플러그인 개발 계획은 없는지요?

    Reply
  6. 조형락 at 2015.09.06 16:52 신고 [edit/del]

    토큰을 받아서 입력하였고 결과데이터 입력경로도 한글경로가 없는데

    Error in FaceBookUserCrawler_NS.py at line number 140,
    importer.runImport :
    java.lang.ArrayIndexOutOfBoundsException 이 발생하는 이유가 뭐죠?ㅠㅠ

    Reply
  7. 조형락 at 2015.09.24 23:07 신고 [edit/del]

    친구 400명인데, 평가판 아니고 정품이에요. 계속

    Error in FaceBookUserCrawler_NS.py at line number 137,
    importer. runImport :
    java.lang.ArrayIndexOutOfBoundsException : 0

    이라고 뜨는데 137번째 라인 소스좀 확인할 수 있을까요..

    가능하면 137번째 라인을 포함하는 함수 전체를 보고싶습니다. 불가능하다면 137번째 라인만 보여주실 수 있을까요

    이메일은 whgudfkr@hanyang.ac.kr 입니다.

    Reply
  8. 김주훈 at 2015.12.17 15:46 신고 [edit/del]

    안녕하세요 co-occurrence 분석을 공부하고 있는 학생 입니다. 기존에 R program을 이용하다 우연히 netminer program 을 접하게되어 이리저리 공부해보고있습니다. 저도 co-occurrence 플러그인을 실행후 sample 파일을 받아 입력후 실행 하면 "Error in coNetwork.py at line number 78, importer.runImport:java.lang.ArrayindexOutOFBoundsException" 이란 에러창이 뜹니다.
    이러한 에러창이뜬ㄴ 이유는무엇이고? 해결방안은 없는것인가요?
    참고로 저는 평가판을 다운받아 이용하고 있습니다.

    Reply
    • Favicon of http://cyram.tistory.com BlogIcon (주)사이람 at 2015.12.18 10:08 신고 [edit/del]

      안녕하세요, 샘플 파일을 열어보시면 저자 정보는 2번째 열에 입력되어 있습니다. 그러므로 'Select Target Column'에 1을 입력해야만 2번째 열에 있는 저자 정보를 네트워크 데이터로 추출할 수 있는데 혹시 이 부분을 0으로 입력하진 않으셨는지 확인해 보시기 바랍니다^^

  9. 서동환 at 2016.04.06 14:02 신고 [edit/del]

    Error in FaceBookUseCrawler_NS.py at line number 140,
    importer.runImport :
    java.lang.ArrayIndexOutOfBoundsException

    평가판으로 이용했는데, 위 처럼 오류뜨네요.
    결과데이터 입력 경로에 한글 없습니다.

    액세스토큰으로 집어넣은 계정의 친구는 220명쯤 됩니다.

    Reply
  10. 박윤정 at 2016.04.27 18:20 신고 [edit/del]

    평가판 다운받았는데요.
    error in facebookusecrawler_NS.py at line number 140.
    importer,runimport
    java.lang.arrayindexoutofboundsexception

    이렇게 자꾸 오류가 뜸니다. 친구가 100명이 안넘어가야 사용이 가능한가여?

    Reply

submit

티스토리 툴바