Facebook加入
LINE加入
2021/12/25
本周內（截止至7月23日晚24點）
本公眾號本周發布的所有文章，留言獲贊最多者
AI研習社送西瓜書（《機器學習》周志華）一本AI 研習社按：本文原作者楊熹，本文原載於個人博客。
之前寫過一篇《一個框架解決幾乎所有機器學習問題》但是沒有具體的例子和代碼，今天看到一個不錯的 kaggle 上的 code Exploratory Tutorial - Titanic 來解析一下，源碼可以直接點這個鏈接。
在這篇文章中可以學到一個完整的運用機器學習解決分析問題的過程，它包括了解決問題的一般流程，描述性統計的常用方法，數據清洗的常用方法，如何由給定的普通變數啟髮式思考其他影響因素，sklearn 建立模型的一般流程，以及很火的 ensemble learning 怎麼用。
下面進入正題：
在 Titanic: Machine Learning from Disaster 這個問題中，要解決的是根據所提供的 age，sex 等因素的數據，判斷哪些乘客更有可能生存下來，所以這是一個分類問題。
在解決機器學習問題時，一般包括以下流程：
Data Exploration
Data Cleaning
Feature Engineering
Model Building
Ensemble Learning
Predict
1. Data Exploration
這部分先導入常用的 Numpy，Pandas，Matplotlib 等包，導入訓練集和測試集：
import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inlinetrain = pd.read_csv('../input/train.csv') test = pd.read_csv('../input/test.csv')
之後，可以用下面的命令先觀察一下數據表的結構：
train.tail test.head train.describe各個變數在測試集和訓練集的分佈差不多一致。然後看一下各個變數對分類標籤的影響：
例如，性別的影響，通過可視化可以發現，生還的乘客中女性多於男性.
或者 Pclass 的影響。2. Data Cleaning
這個部分，可以統計一下各個變數的缺失值情況：
train.isnull.sum #test.isnull.sum PassengerId 0 Survived 0 Pclass 0 Name 0 Sex 0 Age 177 SibSp 0 Parch 0 Ticket 0 Fare 0 Cabin 687 Embarked 2 dtype: int64然後對缺失部分進行處理，如果是連續變數，可以採用預測模型，例如 Age，如果是離散的變數，可以找到類似的數據群體，然後取最多的，或者最多群體的平均值。
eg，Embarked 這兩個缺失值，可以看 Pclass 1 and Fare 80 時，最多的情況是 Embarked＝C。
3. Feature Engineering
之前有過一篇特徵工程怎麼做，只是介紹了一些概念，這個例子就是比較具有啟發性，看看怎麼通過給定的幾個變數，去拓展成更有影響力的 feature，如何結合實際情況聯想新的因素，並轉化成數字的形式表達出來。
下面是數據中的原始變數，看看由它們可以聯想到什麼因素。
pclass Passenger Class (1 = 1st; 2 = 2nd; 3 = 3rd) name Name sex Sex age Age sibsp Number of Siblings/Spouses Aboard parch Number of Parents/Children Aboard ticket Ticket Number fare Passenger Fare cabin Cabin embarked Port of Embarkation (C = Cherbourg; Q = Queenstown; S = Southampton)除了性別，年齡等明顯的因素，社會地位等也可能影響著誰會優先乘坐救生艇，或被救助而生存下來。例如，
Name 里可以抓取到這樣的字眼，來反映出乘客的職場地位： [『Capt』, 『Col』, 『Major』, 『Dr』, 『Officer』, 『Rev』]。
Cabin 里的 [a-zA-Z] 也許可以反映出社會地位。
Cabin 里的 [0-9] 可能代表船艙的地理位置。
SibSp 可以算出乘客中同一家庭成員人數的大小。
在這個環節中，還有必要把類別數據變換成 dummy variable 的形式，也就是變換成向量格式，屬於第幾類就在第幾個位置上為 1，其餘位置為 0.
連續數據做一下歸一化，即把大範圍變化的數據範圍縮小至 0～1 或者 －1～1 之間。
然後把不相關的變數 drop 掉。
4. Model Building
首先就是把數據分為訓練集和測試集，用到 train_test_split，
from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)因為後面會用到很多模型，所以可以把 cross validation 和 fit 的部分寫入一個函數，這樣每次把分類器投入到函數中訓練，最後返回訓練好的模型即可。
from sklearn.model_selection import GridSearchCV from sklearn.metrics import make_scorer from sklearn.metrics import accuracy_score scoring = make_scorer(accuracy_score, greater_is_better=True) defget_model(estimator, parameters, X_train, y_train, scoring): model = GridSearchCV(estimator, param_grid=parameters, scoring=scoring) model.fit(X_train, y_train) return model.best_estimator_以一個 KNN 為例，來看一下建立 訓練 並用模型預測的過程，
從 sklearn 導入分類器模型后，定義一個 KNN，
定義合適的參數集 parameters，
然後用 get_model 去訓練 KNN 模型，
接下來用訓練好的模型去預測測試集的數據，並得到 accuracy_score，
然後畫出 learning_curve。
採用上面的方式，嘗試多種模型，並列印出它們的 accuracy_score：
KNN， 0.816143497758 Random Forest， 0.829596412556 只選擇比較重要的幾個特徵后的 Random Forest， 0.834080717489 Logistic Regression， 0.811659192825 SVC， 0.838565022422 XGBoost， 0.8206278026911234561234565. Ensemble
接下來把前面訓練好的幾個分類器用 VotingClassifier 集成起來再 fit 訓練一下，列印 accuracy_score 並畫出 learning_curve。
from sklearn.ensemble import VotingClassifier clf_vc = VotingClassifier(estimators=[('xgb1', clf_xgb1), ('lg1', clf_lg1), ('svc', clf_svc), ('rfc1', clf_rfc1),('rfc2', clf_rfc2), ('knn', clf_knn)], voting='hard', weights=[4,1,1,1,1,2]) clf_vc = clf_vc.fit(X_train, y_train) print (accuracy_score(y_test, clf_vc.predict(X_test))) plot_learning_curve(clf_vc, 'Ensemble', X, y, cv=4); ensemble, 0.8251121076236. Prediction
用最後訓練好的 model 去預測給出的測試集文件，並把數據按照指定格式做好，存進 csv 提交即可。
defsubmission(model, fname, X): ans = pd.DataFrame(columns=['PassengerId', 'Survived']) ans.PassengerId = PassengerId ans.Survived = pd.Series(model.predict(X), index=ans.index) ans.to_csv(fname, index=False)福利
關注 AI 研習社（okweiwu）
回復「1」立即領取
【超過 1000G 神經網路／AI／大數據、教程、論文！】
推薦閱讀
《一個框架解決幾乎所有機器學習問題》
立即閱讀
話題討論
熱門推薦
留言回覆
