Media Log


소개서 다운로드



비정형 데이터가 무엇이며, 왜 중요한가?


데이터의 유형은 크게 정형 데이터와 비정형 데이터로 나뉩니다. 정형 데이터는 회계, 고객, 재고 데이터 등 데이터의 구조가 정형화되어 있어 각종 통계분석에 용이한 데이터를 말합니다. 반면, 비정형 데이터는 문서, 사진, 영상 등 데이터의 형태가 규격화 되어 있지 않은 데이터를 의미합니다. 


비정형 데이터는 스마트폰의 보급과 함께 SNS, 블로그 등을 통한 디지털 정보가 급격히 증가하면서 전체 데이터의 80~90%를 차지하고 있습니다. 

하지만 정형 데이터와 달리 비정형 데이터는 분석이 까다로워 그 동안 제대로 활용되지 못했습니다. 


 

출처: 빅데이터 경영을 바꾸다, 함유근, 채승병, 삼성경제연구소


텍스트 추출, 키워드 분석, LDA까지 

텍스트 네트워크 분석 컨설팅 서비스


사이람 <텍스트 네트워크 분석 컨설팅 서비스>는 이러한 ‘비정형 데이터’를 ‘제대로’ 활용하고자 하는 분을 위해 탄생했습니다.


비정형 데이터는 방대한 양만큼이나 무궁무진한 잠재력을 가지고 있습니다. 특히, SNS나 블로그에는 대중들의 의견, 취향이 고스란히 담겨있기 때문에 실질적인 여론 및 트렌드를 파악하는데 효과적입니다. 


본 컨설팅 서비스는 논문, 신문기사, 문서 등의 비정형 데이터에서 소셜 네트워크 분석 기법을 통해 핵심 키워드를 추출하고 세부 토픽을 분석하여 제공하는 서비스입니다.

복잡한 데이터, 많은 데이터를 단순하고 직관적인 데이터로 재구성하여 연구동향 파악, 여론분석에 효과적으로 활용할 수 있습니다. 


 



이런 분을 위한 서비스입니다!


▶ 우리조직에 쌓여있는 수많은 보고서에서 가치 있는 정보를 찾고 싶으신 분

▶ 특정 이슈와 관련해 트위터, 뉴스기사, 블로그에서 여론을 파악하고 싶으신 분

▶ 수 천개의 논문 데이터에서 연구 동향을 파악하고 싶으신 분



데이터 수집부터 키워드 추출, 분석 및 시각화까지!


 


1. 데이터 수집

데이터 수집이 필요한 경우, 트위터/ 뉴스기사/ 블로그에 한해 수집 서비스를 제공해 드리고 있습니다. 


2. 키워드 추출

비정형 텍스트 문서에서 형태소 분석을 통해 키워드를 추출합니다.

영문과 국문 모두 가능하며 필요에 따라 명사, 형용사, 동사 등을 선택적으로 추출할 수 있습니다.


3. 동시출현 키워드 추출

함께 등장한 키워드 관계를 추출합니다. 

추출 단위는 문장, 문단 등 고객의 필요에 따라 선택할 수 있으며 동시출현 빈도 또는 키워드 간 유사성 값을 모두 측정할 수 있습니다. 


4. 핵심 키워드 분석

데이터에서 핵심이 되는 키워드를 분석합니다. 핵심 키워드 분석에는 두 가지 방법이 있으며, 목적에 따라 선택할 수 있습니다.

 빈도 기반 핵심 키워드: 여러 문서에 자주 등장한 키워드를 분석합니다. 빈도를 기준으로 삼기 때문에 일반적인 키워드가 핵심 키워드로 추출됩니다. 

 중심성 기반 핵심 키워드: 중심성이 높은 키워드를 분석합니다. 중심성이 높을수록 주변 키워드를 서로 연결해주는 핵심 키워드로서 의미를 갖게 됩니다. 


 



5. 키워드 지도 시각화(키워드 맵)

데이터의 내용을 직관적으로 이해할 수 있도록 키워드 지도와 워드클라우드로 시각화하여 제공합니다. 

① 키워드 지도: 자주 등장한 키워드 간의 연결관계를 표현합니다.

② 워드 클라우드: 키워드 간의 크기를 빈도에 비례하여 다양한 이미지로 표현합니다. 



 

6. 토픽 분석(머신러닝, LDA)

여러 데이터에 내포되어 있는 공통 토픽을 분석합니다.

① 네트워크 기반 토픽 분석: 키워드 연결관계에 기반해 자주 함께 등장한 키워드 그룹을 토픽으로 추출합니다. 문서의 전체적인 개요를 파악하는데 효과적인 분석입니다.

② 머신러닝 기반 토픽 분석: 키워드가 문서에 등장한 패턴을 분석하여 유사한 패턴을 가진 키워드들을 토픽으로 추출합니다. 문서별로 핵심 토픽을 파악하는데 효과적인 분석입니다.

 


이와 같은 텍스트 네트워크 분석을 통해 나에게 필요한 ‘정보’를 찾을 수 있습니다. 


데이터는 답을 알고 있습니다.

데이터 속에서 답을 찾고 싶으신 분들은 아래 내용을 메일로 보내주시기 바랍니다.


▶ 소속기관/이름/연락처

 분석하고자 하는 주제

 분석하고자 하는 데이터



문의 및 서비스 신청

mkt@cyram.com

02-886-6077 (송슬기 팀장)







저작자 표시 비영리 변경 금지
신고

submit

티스토리 툴바