아쉽게도, 13년 1월 소개되었던 아래 페이스북 이용자 데이터 수집 플러그인은 현재 페이스북 API 변경으로 인해 실행되지 않습니다.
그러나! 18년 5월, 업그레이드 되어 NetMiner SNS Data Collector 로 돌아왔습니다 :)
NetMiner Data Collector 는 트위터, 페이스북, 유튜브 데이터를 수집하고, 네트워크 분석 툴인 NetMiner에서 분석할 수 있도록 구성하는 NetMiner 의 확장 프로그램입니다.
자세한 내용은 http://cyram.tistory.com/254 에서 확인하실 수 있습니다!
* * *
안녕하세요~ 넷마이너를 사랑해 주시는 여러분~
재미있는 넷마이너 플러그인이 배포되었다는 사실을 모두 알고 계시죠~~?
바로, 페이스북 이용자 데이터 수집 플러그인입니다!
KBS '차정인 기자의 T-time'에서도 그 활용법을 간단히 소개해 드릴 기회가 있었는데요,
여러분들의 이해를 좀더 돕고, 많이 활용되길 바라면서 오늘부터 총 4번에 걸쳐 플러그인 활용법을 예시와 함께 소개해 드리겠습니다!
1. 설치하기
먼저 넷마이너를 이미 이용하고 계신 분들은 넷마이너 웹사이트의 앱스토어 메뉴에서 플러그인을 다운로드 받으실 수 있습니다.
페이스북 이용자 데이터 수집 플러그인 (넷마이너 사용자용)
넷마이너가 아직 없으신 분들 ;)
넷마이너 평가판을 이용하여 플러그인을 사용해 보실 수 있습니다~
단, 평가판용 플러그인은 넷마이너 평가판 사용자들을 위해 별도로 제작된 플러그인으로, 최대 100명의 페이스북 친구들의 데이터만 수집된다는 사실을 유의해 주세요^^(넷마이너 홈페이지에 가입하셔야 합니다)
페이스북 이용자 데이터 수집 플러그인 (평가판용)
첨부되어 있는 두 개의 파일을 다운로드 받은 후, 먼저 facebookLib.zip 파일의 압축을 풀어줍니다.
(이 때, 파일을 다운 받으시는 폴더의 경로 상에 한글이 들어가지 않도록 주의 해주세요 :) 에러가 나는 분들이 계시네요~ )
그 후 넷마이너를 실행시켜 Tools > Plug-in Manger 에서 FaceBookUserCrawler_NS.nmx 파일을 플러그인으로 등록한 후 플러그인을 실행시킵니다.
Step1. 크로울러 라이브러리 경로 설정
플러그인을 실행하면 다음과 같은 화면이 나옵니다.
여기에서 Browse버튼을 누른 뒤 facebookLib.zip의 압축을 푼 디렉토리를 선택합니다.
Step2. Access Token 설정
본 플러그인이 페이스북 데이터를 수집하기 위해서는 데이터 접근을 허용하는 Access Token을 등록해야 합니다. 자신의 페이스북 계정의 AccessToken 값을 모른다면 ‘아니오’를 누릅니다.
‘아니오’를 누르면 아래와 같은 메시지 창이 뜹니다.
‘확인’을 누르면 잠시 뒤 웹브라우져 창이 뜨고 페이스북에 접속됩니다.
페이스북에 로그인하여 애플리케이션 접근을 허용하면 다음과 같이 AccessToken 값이 웹브라우저 상에 나타납니다.
플러그인을 실행할 때마다 AccessToken을 입력해야 하므로 별도 파일로 저장해두시면 편리합니다 :)
Step3. 크로울러 메인메뉴 설정
Step4. 데이터 수집 및 결과 summary
수집 시간은 데이터의 크기에 따라 약 1-2분 정도의 시간이 소요됩니다. 수집이 끝나면 아래와 같이 수집결과가 나타납니다.
수집 완료~!!
긁어왔으니 이제, 넷마이너에 펼쳐진 데이터가 무엇을 의미하는지 살펴 볼까요~?
기본적으로 수집되는 데이터의 구조는 다음과 같습니다.
Main Nodeset: 나와 내 친구들의 목록입니다.
My Friends Network: 나와 내 친구들 간의 친구관계 네트워크입니다. 내 친구들 간의 관계도 포함되어 있습니다.
Post Like Network: 내가 쓴 포스트에 대해 좋아요를 눌러 준 친구들과의 관계 네트워크입니다. 내가 쓴 포스트에 대해 좋아요를 누른 횟수의 합이 링크값으로 포함되어 있습니다.
Post Comment User Network: 내가 쓴 포스트에 댓글를 단 친구들과의 관계 네트워크입니다. 내가 쓴 포스트에 대해 댓글을 단 횟수의 합이 링크값으로 포함되어 있습니다.
CommentData: 내가 쓴 포스트에 달린 댓글 목록입니다. 해당 댓글이 작성된 시간, 댓글 내용, 댓글 좋아요 수 등이 노드 속성으로 포함되어 있습니다.
페이스북 친구관계의 다양한 모습을 함께 분석해 보겠습니다. 저(TRK)의 데이터를 예를 들어 설명해 드릴 테니 잘 따라 오세요~^^
2012년 9월 1일부터 11월 13일까지의 데이터를 크롤링 하였습니다~
오늘은 처음이니까-
가장 기본적인 것부터 살펴 보겠습니다 =)
내 친구들끼리도 서로 친구일까?
넷마이너 페이스북 플러그인을 실행하여 자신의 페이스북 데이터를 가져오자마자~~~
짜잔~
아래와 같은 네트워크 맵이 가장 먼저 보이셨죠?
이 네트워크 맵을 들여다 보면,
자신의 친구 관계뿐 아니라 친구들끼리 서로 친구인지 한 눈에 확인할 수 있습니다 =)
페이스북을 사용하다보면 친하고 잘 알고 지내는 사람들과도 친구를 맺지만,
오다 가다 만난 분들도 모두 친구가 되면서 친구 수가 엄청나게 늘어나게 됩니다~ 그쵸?
이 플러그인을 사용하시면서 여러분은 내 친구들뿐 아니라,
나와 친구인 사람들에 한하여 친구들끼리의 관계도 확인할 수 있습니다.
아래 그림처럼 말이예요~!
헙.. 너희들도 친구였구나~~~ 세상 참 좁네~~~
물론 이미 알고 있었던 관계일 수도 있지만,
이렇게 한눈에 볼 수 있도록 펼쳐놓아 주는 것이 소셜네트워크 분석 툴들이 가진 '시각화'의 한가지 장점이 될 수 있겠지요. 특히 넷마이너가 가진 장점이랄까요~ ;)
친구관계를 보시면서 충격 받으신 분들이 없기를 바라면서,
저는 다음 시간에 두번째 활용예시를 가지고 다시 포스팅을 이어가 보겠습니다~~~
쭉~ 함께 해주세요!!
넷마이너에 플러그인 설치하기 (0) | 2013.05.20 |
---|---|
[플러그인 활용하기] Co-occurrence Network 생성 플러그인 활용(1) (4) | 2013.05.16 |
[플러그인 활용하기] 페이스북 이용자 데이터 수집 플러그인 활용법 4탄 (0) | 2013.02.21 |
[플러그인 활용하기] 페이스북 이용자 데이터 수집 플러그인 활용법 3탄 (0) | 2013.02.05 |
[플러그인 활용하기]페이스북 이용자 데이터 수집 플러그인 활용법 2탄 (0) | 2013.01.21 |
[플러그인 활용하기]페이스북 이용자 데이터 수집 플러그인 활용법 1탄 (13) | 2013.01.11 |
댓글 영역
평가판용으로 플러그인을 받아 실행중인데, 토큰값을 불러오는데에서 계속 에러가 나네요..
페이스북을 로그 아웃하고 실행시키면, 로그인 하라는 페이지까지는 잘 뜨는데, 그 뒤로는 "페이지가 없다"고 나오네요..
혹시나 해서 F5를 눌러보니, 사이람 테스트 앱 연결 페이지가 뜨던데. 그걸 클릭하니, 내 정보 접속 허가 여부를 묻는게 잠깐 나오긴 했습니다만, 역시 페이지 없음이 뜹니다.
무슨 문제가 있는건가요?
"facebookLib_e.zip"은 c:/tmp/에 넣었습니다.(한글폴더는 아니고요..)
알려주세요-
그러다 보니 PostLike UserNetwork [0*1], PostLikeNetwork [0*1] 로 되어서 이 부분을 분석하기 어렵습니다.
아마 스크립트를 돌릴 때 Like에 대한 값을 못가져 오는 것이 아닌가 싶은데, 확인 부탁드립니다. 참고로 [revised] Facebook Data Crawling Box 9-4 일자 플로그인을 갖고 돌려 보았습니다.
1. 토큰 입력할때 특정 페이지의 아이디를 넣어서 받은후
그 페이지에 대한 자료를 받고자 했는데, 지원을 안하는건가요?
에러가 발생하면서 페이지가 아닌 제 계정의 자료만 수집하네요.
로그는 대략 아래와 같습니다. (현 개발자가 아니라서 그대로 붙여봅니다)
Traceback (most recent call last):
File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 603, in <module>
File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 522, in run1
IndexError: list index out of range
Traceback (most recent call last):
File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 603, in <module>
File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 530, in run1
File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 337, in getUserData
UnboundLocalError: local variable 'data' referenced before assignment
Exception in thread Thread-79:
Traceback (most recent call last):
File "threading.pyc", line 532, in __bootstrap_inner
File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 270, in run
KeyError: 'count'
Exception in thread Thread-81:
Traceback (most recent call last):
File "threading.pyc", line 532, in __bootstrap_inner
File "valVer_FaceBookUserDataCrawling_multiProcessing.py", line 284, in run
KeyError: 'count'
2. 토큰 생성할때
https://developers.facebook.com/tools/explorer/
유저, 프렌즈, 확장 퍼미션 체크항목이 많은데 넷마이너 돌리기 위해서는 어떤걸 체크해야 할지..
사용하신 플러그인은 페이스북 '페이지'계정은 지원하지 않습니다.
액세스 토큰은 가지고 계신 것이 없을 경우에 액세스 토큰 보유 여부를 묻는 대화창에서 '아니오'를 선택하시면 자동으로 웹상에 나타납니다.
또한 결과파일을 저장할 폴더를 지정해 주실 때에 파일경로 상에 한글이 들어가지 않도록 주의해 주세요~
현재 이 플러그인은 2014년 2월 12일에 업데이트 되어 새롭게 넷마이너 홈페이지에 올라와 있습니다.
http://www.netminer.com/bbs/board.php?bo_table=plugin_script&wr_id=52
이곳에서 다시 다운로드 받아 실행해 보세요.
다른 문의 사항이 있으시면 netminer@cyram.com 으로 메일 문의 주시기 바랍니다. 감사합니다.
Error in FaceBookUserCrawler_NS.py at line number 140,
importer.runImport :
java.lang.ArrayIndexOutOfBoundsException 이 발생하는 이유가 뭐죠?ㅠㅠ
Error in FaceBookUserCrawler_NS.py at line number 137,
importer. runImport :
java.lang.ArrayIndexOutOfBoundsException : 0
이라고 뜨는데 137번째 라인 소스좀 확인할 수 있을까요..
가능하면 137번째 라인을 포함하는 함수 전체를 보고싶습니다. 불가능하다면 137번째 라인만 보여주실 수 있을까요
이메일은 whgudfkr@hanyang.ac.kr 입니다.
이러한 에러창이뜬ㄴ 이유는무엇이고? 해결방안은 없는것인가요?
참고로 저는 평가판을 다운받아 이용하고 있습니다.
importer.runImport :
java.lang.ArrayIndexOutOfBoundsException
평가판으로 이용했는데, 위 처럼 오류뜨네요.
결과데이터 입력 경로에 한글 없습니다.
액세스토큰으로 집어넣은 계정의 친구는 220명쯤 됩니다.
error in facebookusecrawler_NS.py at line number 140.
importer,runimport
java.lang.arrayindexoutofboundsexception
이렇게 자꾸 오류가 뜸니다. 친구가 100명이 안넘어가야 사용이 가능한가여?