Zi 字媒體

最近來自卡耐基梅隆資料庫小組的最新研究成果，他們正用最新的深度學習技術，完成資料庫的調優工作。如果這項技術在未來進一步普及，那麼，很無奈，這個行業不得不接受AI對於人員結構的改造。DBA迎來新的革命卡內基·梅隆大學資料庫小組採用機器學習實現了資料庫的自動化管理，其在線版的自動化管理服務 OtterTune 稍後即會上線。OtterTune 所要解決的是資料庫管理中最為繁雜的問題：諸如緩存大小分配、寫入頻率管理等因素在內的數百項參數的動態設置。過去，這項工作只能由經驗豐富的資料庫專家手動來完成。這其中採用了怎樣的原理呢？OtterTune 到底用了什麼原理？採用機器學習后，OtterTune 把資料庫管理系統（DBMS）的工作流程變成這樣：一開始，OtterTune 需要被告知明確的優化目標，如延遲、吞吐量等；其客戶端 Controller 會自動關聯目標 DBMS 及其亞馬遜 EC2 副本的類型與當前設置。而後，Controller 便開啟第一個觀察周期，觀察 DBMS 並記錄目標項。觀察結束時，Controller 會搜集好 DBMS 的內部參數，並將它和目標項發送給 Tuning Manager。收到參數后，Tuning Manager 便把它們存儲入庫。OtterTune 用這些參數計算出 DBMS 的目標配置，並將其發回至 Controller，Controller 部署並運行新的配置，以提升資料庫性能。管理人員可隨時啟用或終止 OtterTune 服務。簡而言之：首先，需要設置一些優化目標，連接到資料庫系統，使用初始化的設置去運行；然後控制器開啟第一次觀察周期，記錄下當前設置模式下的所有系統性能度量，並返回這些結果給調優器；調優器記錄這些結果，並根據這些度量信息和系統信息計算出新的資料庫配置；最後調優器把調優結果配置傳回控制器，同時可以有效評估系統提升的期望值；用戶根據評估值決定是否使用新的配置。其中最核心的步驟就是：計算出新的資料庫管理系統DBMS 的目標配置，即這裡面用到的主要是機器學習。下面詳細解釋一下機器學習在裡面的作用。機器學習的作用機器學習模塊分為三部分：獲取 Controller 觀察到的工作負載參數（Workload Characterization 組件），識別並學習這些參數（Knob Identification 組件），自動管理資料庫（Automatic Tuner 組件）。下面一一來說：Workload Characterization:OtterTune 使用 DBMS 的內部運行參數來提取資料庫的工作負載特徵。機器學習模塊使用聚類方法來衡量這些參數的相關性，儘可能地裁剪參數量，以降低計算的複雜程度。Knob Identification:識別並學習資料庫參數，OtterTune 所用的特徵選取方法是 Lasso，以找出它們的重要程度。OtterTune 據此來計算 DBMS 的目標配置，它使用一種增量方法來找出資料庫的最佳配置。Automatic Tuner:而後的工作則交由 Automatic Tuner 組件。首先，它用 Workload Characterization 組件的性能數據來確定 DBMS 的目標負載；而後，它會選擇一組不同的配置進行測試。OtterTune 的目標總是優化下一組配置，儘可能地搜集數據來提升性能，而非緊盯住目標配置不放。結果對比OtterTune 在論文中測試了 MySQL 和 Postgres 這兩個資料庫的延遲和吞吐量，結果如下：從圖中可以看出，相比於 MYSQL 管理腳本，OtterTune 的延遲要低 60%，吞吐量則能提升 35%。 相比於 Postgres 的默認配置，OtterTune 與其他方法在延遲方面的提升大體相近；但吞吐量方面，OtterTune 比 DBA 的選擇要好 12%。總體來看，OtterTune可以在延遲和吞吐等性能指標上大幅領先傳統的自動化配置腳本，並接近專業DBA的水平。AI如何擊中了這個行業的痛點？為什麼這個行業需要AI來改造？DBA的日常工作到底有哪些痛點？讓我們把目光拉近，看看這個行業到底有什麼問題。目前的資料庫，主要採用專業的資料庫管理員（以下稱DBA）來設計數據系統的架構，調優等。但是，由於業務系統極其複雜，且隨著業務的快速迭代，需要資料庫系統能跟上業務的節奏，快速響應，快速更新，這就導致調優任務也隨之變得極其複雜。DBA需要靈活掌握各項影響系統性能的控制因素，也必須對數據底層，甚至體系結構都有深入了解，才能很好地完成調優任務。因此，真正滿足優秀的DBA就非常少了，而且價格昂貴。隨著大數據行業的井噴式發展，這種人才一直都是嚴重供不應求。不過，這部分原本可以享受高薪的人群，好日子貌似要走到頭了。因為，普通DBA也能藉助AI搶飯碗了。卡耐基梅隆的資料庫小組整出來的這個新研究，就是要通過使用AI技術，簡化了DBA對於資料庫系統的調優過程，即便是普通的DBA，也能達到、甚至超過專業DBA調優系統的能力。所以，一旦AI在此領域真正開始發揮作用，人力成本將大幅降低，工作又能快速響應，公司再也不會因為專業DBA短缺而影響業務發展了，這將是公司老闆拍手稱快的大好事。本文轉載自：http://www.linuxprobe.com/cmu-ai-dba.html