- 전체
- Python 일반
- Python 수학
- Python 그래픽
- Python 자료구조
- Python 인공지능
- Python 인터넷
- Python SAGE
- wxPython
- TkInter
- iPython
- wxPython
- pyQT
- Jython
- django
- flask
- blender python scripting
- python for minecraft
- Python 데이터 분석
- Python RPA
- cython
- PyCharm
- pySide
- kivy (python)
Python 자료구조 텍스트 마이닝 2편. 텍스트 파일
2018.02.18 23:32
텍스트 마이닝 2편. 텍스트 파일
텍스트 마이닝은 텍스트를 분석하는 것입니다.
정확히 말하면 '텍스트 파일'을 읽고 분석해야 하는 것이죠.
텍스트 파일의 유형
텍스트 파일은 그 구조적 형태와 속성에 따라 몇 가지 유형으로 나눌 수 있습니다.
1. 비정형 텍스트 파일
비정형(unstructured) 텍스트는 SNS, News 등과 같이 별다른 구조적 특징이 보이지 않는 텍스트 파일 유형 입니다. 형식이 불분명 하다는 말입니다. 물론 기사 제목, 날짜, 기자명 등이 구분되기도 하고 단락의 구분이 있기도 하지만 비정형 텍스트 파일에서는 이들의 구분이 명시적으로 이루어지지 않습니다. 이런 텍스트를 자유 형식(free-form)텍스트라 부르기도 합니다. 우리가 흔히 접하는 텍스트 정보는 대부분 비정형 텍스트 파일 형태 입니다.
2. 반정형 텍스트 파일
반정형(semi-structure)텍스트 파일은 이름에서 보듯이 비정형 보다는 조금 더 정형화된 파일 입니다.
비정형 텍스트 파일에는 다양한 메타정보, 인쇄 화면 렌더링을 위한 조판 정보, 텍스트 구조적 정보를 표시하기 위해 구분자가 도입되어 있습니다. 텍스트 에 주석, 혹은 표식을 부가한 유형의 텍스트 파일입니다. 주석의 구조를 잘 파악하면 구조에 대한 파악이 비정형 텍스트 파일 보다는 쉽게 가능합니다. HTML(Hyper Text Markup Language, XML(eXtensible MarkupLanguage)등이 널리 쓰입니다. 최근에는 텍스트 마크업보다 복잡한 데이터를 텍스트 형식으로 표현이 가능한 는 YAML,JSON 등의 형식이 주목을 끌고 있습니다.
3. 정형 텍스트 파일
정형(structured) 텍스트 파일은 엑셀을 떠올려 보시면 쉽습니다. 가로와 세로로 짜여진 표 형식의 텍스트 파일을 가리킵니다. 이러한 유형의 텍스트 파일은 항목 구분자로 쉼표 혹은 탭 문자를 사용하는 것이 일반적입니다. 특히 쉼표로 항목이 구분된 파일을 CSV 라고 부르며 스프레드시트 데이터를 텍스트 파일로 변환할 때에 널리 사용됩니다. 보통은 쉼표 대신에 탭 문자를 구분자로 사용하는 경우가 많습니다. 정형 텍스트 파일은 스프레드시트, 혹은 구조적 데이터의 저장과 처리에 널리 사용되는 관계형 데이터베이스의 자료를 텍스트 파일로 변환할 때에 널리 사용되기 때문에 데이터 베이스에서 사용하는 용어가 많이 사용 됩니다. 예를들어 쉼표 혹은 탭 문자로 구분되어 가로로 나열되는 항목들은 열, 컬럼, 혹은 필드라고 부른다는 것처럼 말이죠.
텍스트 파일 처리를 위한 환경의 구성
텍스트 처리를 위해서는 전통적인 사용자 인터페이스인 문자 사용자 인터페이스, 즉 터미널 환경이 효율적입니다. 터미널 환경에 대한 지원은 윈도우 보다는 리눅스가 낫습니다. 리눅스는 유닉스에 뿌리를 두고 있기에 문자 사용자 인터페이스를 매우 훌륭히 지원합니다. 그렇다고 리눅스나 오엑스텐을 쓰는 것은 현실적으로 불가능합니다. 고작 텍스트 분석만을 위해서 잘 쓰는 윈도우를 밀어버리고 리눅스로 바꾸기가 좀 그렇죠. 다행히도 윈도우이 빈약한 터미널 환경을 극복하기 위한 고민은 많은 사람들이 하고 있기에 몇 가지 해결책이 제시되어 있습니다.
GitforWindows는 앞서 언급한 윈도우의 미약한 터미널 환경을 보완해 주는 패키지 입니다.
https://git-for-windows.github.io 에서 설치 하세요.
설치 과정중에 표시되는 몇 가지 선택 사항을 지정하여야 합니다. 다음과 같이 선택한 다음 실행하세요.
“Use a TrueType font in all console windows”를 선택하여 다양한 터미널 글꼴을 사용할 수 있도록 해야 한글 사용이 좀 더 쉽습니다.
"어느 작업 디렉토리에서나 유닉스 도구를 사용할 수 있도록 한다." 라는 설정입니다. 경고문은 크게 신경쓰지 않아도 됩니다.
이 설정은 git을 이용한 버전 관리에서 원본 파일의 줄바꿈 문자를 그대로 유지하도록 하는 것입니다.
자세한 내용은 이해하지 않아도 괜찮습니다. 실습하면서 이해하게 되거든요
MinTTY는 윈도우의 표준 명령행 프로그램인 CommandPrompt를 대체하는 터미널 프로그램이다. 이것으로 GitforWindows의 설치가 끝났습니다.
터미널 프로그램인 MinTTY의 설정
마우스 오른쪽 버튼을 누르면 Git Bash Here를 선택할 수 있습니다.
Option에 들어가서 설정을 합니다.
“Text”를 선택하고 글꼴의 크기를 14 포인트로 “Locale”은 “ko_KR”로 “Characterset”은 “UTF–8”로 지정합니다.
그럼 이걸로 설정을 마칩니다.
다음시간에...
[출처] 텍스트 마이닝 2편. 텍스트 파일|작성자 엉드루
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
댓글 0
| 번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
|---|---|---|---|---|
| 2 | (Python) Jupyter Notebook 내에서만 환경 변수 설정 방법 | 졸리운_곰 | 2023.07.06 | 646 |
| 1 |
주피터 노트북(Jupyter Notebook) 시작 폴더 변경
| 졸리운_곰 | 2020.05.09 | 2512 |

