DBA面臨AI的挑戰

2017/08/13

最近來自卡耐基梅隆資料庫小組的最新研究成果,他們正用最新的深度學習技術,完成資料庫的調優工作。

如果這項技術在未來進一步普及,那麼,很無奈,這個行業不得不接受AI對於人員結構的改造。

DBA迎來新的革命

卡內基·梅隆大學資料庫小組採用機器學習實現了資料庫的自動化管理,其在線版的自動化管理服務 OtterTune 稍後即會上線。

OtterTune 所要解決的是資料庫管理中最為繁雜的問題:諸如緩存大小分配、寫入頻率管理等因素在內的數百項參數的動態設置。過去,這項工作只能由經驗豐富的資料庫專家手動來完成。

這其中採用了怎樣的原理呢?

OtterTune 到底用了什麼原理?

採用機器學習后,OtterTune 把資料庫管理系統(DBMS)的工作流程變成這樣:

一開始,OtterTune 需要被告知明確的優化目標,如延遲、吞吐量等;其客戶端 Controller 會自動關聯目標 DBMS 及其亞馬遜 EC2 副本的類型與當前設置。

而後,Controller 便開啟第一個觀察周期,觀察 DBMS 並記錄目標項。觀察結束時,Controller 會搜集好 DBMS 的內部參數,並將它和目標項發送給 Tuning Manager。

收到參數后,Tuning Manager 便把它們存儲入庫。OtterTune 用這些參數計算出 DBMS 的目標配置,並將其發回至 Controller,Controller 部署並運行新的配置,以提升資料庫性能。

管理人員可隨時啟用或終止 OtterTune 服務。

簡而言之:首先,需要設置一些優化目標,連接到資料庫系統,使用初始化的設置去運行;然後控制器開啟第一次觀察周期,記錄下當前設置模式下的所有系統性能度量,並返回這些結果給調優器;調優器記錄這些結果,並根據這些度量信息和系統信息計算出新的資料庫配置;最後調優器把調優結果配置傳回控制器,同時可以有效評估系統提升的期望值;用戶根據評估值決定是否使用新的配置。其中最核心的步驟就是:計算出新的資料庫管理系統DBMS 的目標配置,即這裡面用到的主要是機器學習。下面詳細解釋一下機器學習在裡面的作用。

機器學習的作用

機器學習模塊分為三部分:獲取 Controller 觀察到的工作負載參數(Workload Characterization 組件),識別並學習這些參數(Knob Identification 組件),自動管理資料庫(Automatic Tuner 組件)。

下面一一來說:

Workload Characterization:OtterTune 使用 DBMS 的內部運行參數來提取資料庫的工作負載特徵。機器學習模塊使用聚類方法來衡量這些參數的相關性,儘可能地裁剪參數量,以降低計算的複雜程度。

Knob Identification:識別並學習資料庫參數,OtterTune 所用的特徵選取方法是 Lasso,以找出它們的重要程度。OtterTune 據此來計算 DBMS 的目標配置,它使用一種增量方法來找出資料庫的最佳配置。

Automatic Tuner:而後的工作則交由 Automatic Tuner 組件。首先,它用 Workload Characterization 組件的性能數據來確定 DBMS 的目標負載;而後,它會選擇一組不同的配置進行測試。

OtterTune 的目標總是優化下一組配置,儘可能地搜集數據來提升性能,而非緊盯住目標配置不放。

結果對比

OtterTune 在論文中測試了 MySQL 和 Postgres 這兩個資料庫的延遲和吞吐量,結果如下:

從圖中可以看出,相比於 MYSQL 管理腳本,OtterTune 的延遲要低 60%,吞吐量則能提升 35%。

相比於 Postgres 的默認配置,OtterTune 與其他方法在延遲方面的提升大體相近;但吞吐量方面,OtterTune 比 DBA 的選擇要好 12%。

總體來看,OtterTune可以在延遲和吞吐等性能指標上大幅領先傳統的自動化配置腳本,並接近專業DBA的水平。

AI如何擊中了這個行業的痛點?

為什麼這個行業需要AI來改造?DBA的日常工作到底有哪些痛點?

讓我們把目光拉近,看看這個行業到底有什麼問題。

目前的資料庫,主要採用專業的資料庫管理員(以下稱DBA)來設計數據系統的架構,調優等。但是,由於業務系統極其複雜,且隨著業務的快速迭代,需要資料庫系統能跟上業務的節奏,快速響應,快速更新,這就導致調優任務也隨之變得極其複雜。DBA需要靈活掌握各項影響系統性能的控制因素,也必須對數據底層,甚至體系結構都有深入了解,才能很好地完成調優任務。因此,真正滿足優秀的DBA就非常少了,而且價格昂貴。隨著大數據行業的井噴式發展,這種人才一直都是嚴重供不應求。不過,這部分原本可以享受高薪的人群,好日子貌似要走到頭了。因為,普通DBA也能藉助AI搶飯碗了。

卡耐基梅隆的資料庫小組整出來的這個新研究,就是要通過使用AI技術,簡化了DBA對於資料庫系統的調優過程,即便是普通的DBA,也能達到、甚至超過專業DBA調優系統的能力。

所以,一旦AI在此領域真正開始發揮作用,人力成本將大幅降低,工作又能快速響應,公司再也不會因為專業DBA短缺而影響業務發展了,這將是公司老闆拍手稱快的大好事。

本文轉載自:http://www.linuxprobe.com/cmu-ai-dba.html

本文由 一點資訊 提供 原文連結

立即按讚,感謝大大無私地分享
寫了5860122篇文章,獲得9432
Line

熱門推薦

精彩推薦

電動牙刷推薦,Soodo,音波震動牙刷,全機防水,316不鏽鋼,牙齦護理 要來談談跟牙齒有密切關係的東東了!要有一口潔白牙齒,清潔不可馬虎 今天來的嘉賓算第一次在貝貝家裡出現~洗滴~就是電動牙刷(*¯︶¯*) 這次來的可...
記者翁正杉/宜蘭報導 民進黨2018五合一選舉中,就羅東鎮長提名人一直難產,近日來黨內高層一直徵詢幾位同志參選,其中有探詢三星鄉長黃錫墉、縣議會秘書長陳茂琳及近日的縣議員黃素琴等,如以地緣關係及基層服務...
說到「長壽」,古今中外人士無不苦心追求。據世界衛生組織發布的《2016世界衛生統計》報告指出,全球人均壽命71.4歲,而德國人均壽命竟有81歲,超越全球人均壽命10歲。值得探討的是,130年前德國人的人均壽命,男...
如何進行聲沙食療? 聲音嘶啞是由於長時間的說話,喊叫或唱歌的習慣。它指的是聲音的音高或音量發生變化的情況。基本上,聲音嘶啞意味著你的聲音出現異常,使你無法產生平滑的正常人聲。你可能會用低聲或低沉的聲...
新聞中心/整理 宜蘭環保局首開北部地區先例,與國內電動車運輸業路得寶租賃公司合作,正式引進3輛純電動小客車作為公務車之用,繼嘉義縣、金門縣後,成為全國第三個、北部第一個正式啟用電動公務車的地方政府。 ...
什麼是深靜脈血栓形成? 深靜脈血栓形成是指深部靜脈中形成血塊。這個問題常見於小腿和大腿。       【深靜脈血栓形成的症狀有哪些?】 雖然深靜脈血栓形成並沒有表現出許多明確的症狀,但這是一個危險的問題。通...
想要當個小說家,首先要先懂得什麼呢?是文筆要很好?是懂得把寫作書故事架構,牢牢的記在腦海?還是從解剖暢銷書的故事結構來構築自己的小說結構?還是光憑自己的直覺,想寫什麼小說就寫什麼小說?如果你是想要...
在上一篇「腸道健康,自律神經就健康」中,公布幫讀者爭取到「鷹記維他倍效益生菌」獨家85折優惠,很多讀者會問我「市面上益生菌品牌眾多,如何選擇益生菌?為什麼要選擇這家益生菌」?今天就認認真真地回答一下...
時間過得好快,按照慣例,要來發表一下「芳喵隨筆」三週年感言,每年一次的回顧,總能讓我感受到成就感和滿滿的幸福。上面的圖片中收錄了過去一年中一小部分讓我感動的讀者訊息,其實還有非常多,但是擠不進來,...
什麼導致焦慮症? 有成百上千的元素可能導致焦慮症。由於你每天都沒有足夠的睡眠,你可能會患上這種疾病。或者問題可能來自您的日常飲食。不吸收必需的營養素。那些患有甲狀腺疾病的人也可能在大多數時間處理焦慮...
則回覆