SAS^®Text Miner를 이용한 텍스트 마이닝

주요 특징

광범위한 데이터 액세스 능력

• 다양한 텍스트 데이터 형식(PDF, 확장 ASCII 텍스트, HTML, Microsoft Word)을 지원합니다.
• 웹 크로울링(Web Crawling) 기능.
• 마이닝 작업을 위해 텍스트 데이터를 SAS 데이터 세트로 추출, 변환, 로딩합니다.

다양한 언어 지원

• 전체 지원 언어: 덴마크어, 네덜란드어, 영어, 핀란드어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 노르웨이어(Bokmal), 포르투갈어, 스페인어, 스웨덴어, 중국어 번체/간체.
• Latin-1, 2 Byte 문자 및 UTF-8 인코딩 지원.
• 유럽어(Latin-1 인코딩): 덴마크어, 네덜란드어, 영어, 핀란드어, 프랑스어, 독일어, 이탈리아어, 노르웨이어(Bokmal), 포르투갈어, 스페인어, 스웨덴어.
• 동아시아 언어(2 Byte 문자 지원): 일본어, 한국어, 중국어 간체/번체.
• Unicode UTF-8 인코딩 지원.

자체 문서화가 가능한 인터페이스

• 사용자 친화적 인터페이스가 비주얼 다이어그램으로 수동 코딩 작업의 필요성을 일소시켜 줍니다.
• 프로세스 플로 다이어그램에 대한 수정, 저장, 공유가 가능합니다.
• 유연한 리포팅 기능이 지원되므로 사용자는 결과물을 간결한 HTML 형식으로 내보낼 수 있습니다.

종합적인 텍스트 전처리 능력

• 문서 더미에서 숨겨져 있는 중요 정보를 찾아내어 추출합니다.
• 각 언어별로 기본 또는 사용자정의 불용어 리스트가 제공되므로 사용자는 정보 차원에서 유용하지 않은 용어들을 제거할 수 있습니다.
• 자동 철자 교정 기능.
• Stemming 기능을 이용한 어근 파악.
• 문장 컨텍스트 기반의 품사 태깅.
• 구(句) 단위 개념(예: "competitive intelligence") 파악을 위한 명사구 추출 기능.
• 사용자정의 기능을 지원하는 복합어 토큰(예: "point and click").
• 기본 동의어 목록(사용자정의 기능 지원)
• 합성어를 개별 하위 용어로 분리.

광범위한 특성 추출 능력

• 광범위한 사용자정의 데이터 사전 - 인명, 제품, 조직, URL, 주소 등 항목별로 특정 정보를 추출할 수 있게 해줍니다.
• 추출한 항목을 통일하여 행렬 테이블에 삽입할 수 있습니다.
• 영어, 프랑스어, 독일어, 스페인어 언어로 엔티티 추출이 가능합니다.

차원 축소(Dimension Reduction) 기법

• 텍스트 데이터를 Information-Rich(정보가 풍부한) 행렬로 전처리할 수 있으며, 이를 강력한 차원 축소 기법 애플리케이션에 활용할 수 있습니다.
• 롤업 용어가 자동으로 문서에서 n 최고 가중치 용어를 식별해줍니다.
• SVD(Singular value decomposition)가 각 문서를 n-차원 부분공간으로 변환하여 줍니다.

텍스트 클러스터링 알고리즘

• 각 콘텐트를 기반으로 하는 그룹 문서.
• EM(expectation-maximization) 클러스터링 - 공간 클러스터링 기법을 이용해 문서를 그룹화합니다.
• 계층적 클러스터링 - Ward의 집괴법을 이용해 문서를 분류학적으로 자동 그룹화할 수 있습니다. 이 때, 계층적 클러스터로 그룹화된 문서들은 하나의 말단 군집에 속하게 됩니다(그 상위 클러스터와 마찬가지로).
• K-means 또는 SOM/Kohonen 클러스터링을 이용해 클러스터 문서를 Process Flow Diagram으로 다운스트림할 수 있습니다.
• 프로파일 클러스터가 원본 문서의 추가 구조화 데이터(연령, 구매 성향 등)를 이용합니다.