[기계학습] machine learning sklearn 내부의 pickle lib 를 통해 모델을 저장하고 다시 로드하여 재사용할 수 있다.

2018.05.30 18:06

sklearn 내부의 pickle lib 를 통해 모델을 저장하고 다시 로드하여 재사용할 수 있다.

from sklearn import svm
from sklearn import datasets
clf = svm.SVC()
iris = datasets.load_iris()
X, y = iris.data, iris.target
clf.fit(X, y)  





import pickle
s = pickle.dumps(clf)
clf2 = pickle.loads(s)
clf2.predict(X[0:1])

y[0]

아래 api를 통해 file 저장도 가능한 듯 하다.

자세한 내용은 pickle 홈페이지에 있다.

https://docs.python.org/2/library/pickle.html

pickle.dump(obj, file[, protocol])

Write a pickled representation of obj to the open file object file. This is equivalent to Pickler(file, protocol).dump(obj).

If the protocol parameter is omitted, protocol 0 is used. If protocol is specified as a negative value or HIGHEST_PROTOCOL, the highest protocol version will be used.

Changed in version 2.3: Introduced the protocol parameter.

file must have a write() method that accepts a single string argument. It can thus be a file object opened for writing, a StringIO object, or any other custom object that meets this interface.

pickle.load(file)

Read a string from the open file object file and interpret it as a pickle data stream, reconstructing and returning the original object hierarchy. This is equivalent to Unpickler(file).load().

file must have two methods, a read() method that takes an integer argument, and a readline() method that requires no arguments. Both methods should return a string. Thus file can be a file object opened for reading, a StringIO object, or any other custom object that meets this interface.

This function automatically determines whether the data stream was written in binary mode or not.

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

pickle.dumps(obj[, protocol])¶

파일 저장은 아래와 같이 joblib 를 통해 저장할 수 있다.

In the specific case of the scikit, it may be more interesting to use joblib’s replacement of pickle (joblib.dump & joblib.load), which is more efficient on big data, but can only pickle to the disk and not to a string:

>>>

from sklearn.externals import joblib
joblib.dump(clf, 'filename.pkl') 

Later you can load back the pickled model (possibly in another Python process) with:

>>>clf = joblib.load('filename.pkl') 
 
자세한 내용은 아래의 scikit learn 홈페이지에서 확인 할 수 있다. 
http://scikit-learn.org/stable/tutorial/basic/tutorial.html#machine-learning-the-problem-setting

출처: http://fifthstory.tistory.com/entry/sklearn-model-백업-재사용 [다섯번째 이야기]

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.

이 게시물을

번호	제목	글쓴이	날짜	조회 수
공지	오라클 기본 샘플 데이터베이스	졸리운_곰	2014.01.02	86702
공지	[SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE	가을의 곰을...	2013.02.10	79041
공지	[G_SQL] Sample Database	가을의 곰을...	2012.05.20	95806
26	감석분석 작업 로그 : 감성분석(Sentiment Analysis) - 깔끔한 텍스트 방식(tidytext) : xwMOOC 자연어 처리	졸리운_곰	2019.12.24	1244
25	'애자일과 데이터 관리의 결합'··· '데이터옵스'의 정의와 주요 기술	졸리운_곰	2019.11.17	1684
24	데브옵스와 분석의 결합··· ‘데이터옵스’를 아시나요?	졸리운_곰	2019.11.17	1237
23	데이터옵스(DATAOPS) 란 무엇일까?	졸리운_곰	2019.11.17	1636
22	데이터옵스는 단순히 데이터에 대한 데브옵스가 아님니다. DataOps is NOT Just DevOps for Data	졸리운_곰	2019.11.17	1637
21	R에서 파이썬까지…데이터과학 학습 사이트 8곳	졸리운_곰	2019.04.21	1758
20	[통계] prediction VS forecast	졸리운_곰	2019.04.03	1581
19	forecast 와 prediction의 차이를 아시나요?	졸리운_곰	2019.04.03	896
18	10분만에 끝내는 데이터분석	졸리운_곰	2019.04.03	1867
17	처음으로 케글 데이터분석에 도전하기 : Competing on kaggle.com for the First Time	졸리운_곰	2019.01.27	4408
16	데이터 과학자가 갖춰야 할 5가지 스킬셋	졸리운_곰	2018.11.11	1377
15	데이터 사이언스 괜찮은 강의들 리스트 1	졸리운_곰	2018.11.11	2467
14	데이터 사이언스 학습 안내	졸리운_곰	2018.11.11	1669
13	Prophet: Automatic Forecasting Procedure 자동 예측 프로시져 프로그램 /데이터분석 / 데이터 과학	졸리운_곰	2018.09.04	1313
12	데이터 분석 어디에 집중할 것인가? 가장 먼저 실험에 집중하라	졸리운_곰	2018.02.06	1402
11	빅데이터 융합기획전문가 1기 교육 표창장	졸리운_곰	2018.01.03	1314
10	빅 데이터 기획에 대한 이해	졸리운_곰	2017.12.09	2021
9	분야별 빅데이터 애널리틱스 적용 사례 및 성공의 비결	졸리운_곰	2017.12.08	2153
8	하둡 에코시스템을 활용한 Hybrid DW 구축 사례	졸리운_곰	2017.12.08	2004
7	gmail 수신 메일로 워드클라우드 생성 : Creating a gmail wordcloud	졸리운_곰	2017.11.20	1893

첫 페이지 1 2 3 끝 페이지

쓰기

태그

[기계학습] machine learning sklearn 내부의 pickle lib 를 통해 모델을 저장하고 다시 로드하여 재사용할 수 있다.

sklearn 내부의 pickle lib 를 통해 모델을 저장하고 다시 로드하여 재사용할 수 있다.

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다. 어린이용이며, 설치가 필요없는 브라우저 게임입니다. https://s1004games.com

댓글 0

로그인

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com