谷歌發布全球首個產品級移動端分布式機器學習系統，移動端算力被充分調動。今年2月谷歌宣布實現了全球首個產品級的超大規模移動端分布式機器學習系統，目前已經能夠在數千萬部手機上運行。谷歌基于TensorFlow構建了全球首個產品級可擴展的大規模移動端聯合學習系統，目前已在數千萬臺手機上運行。這些手機能協同學習一個共享模型，所有的訓練數據都留在設備端，確保了個人數據安全，手機端智能應用也能更快更低能耗更新。研究人員表示，該系統有望在幾十億部手機上運行。聯合學習能產生更智能的模型，更低的延時和更少的功耗，同時確保用戶的隱私。Google開放的聯合學習算法，使得移動端分布式機器學習成為現實；AI算法分布在大規模的移動端，協同輸出一個學習模型，而不必上次用戶本地數據。Google的研究團隊克服許多算法和研究挑戰，使聯邦學習成為可能。諸如隨機梯度下降（SGD）之類的優化算法（通常在許多機器學習系統中使用）在大型數據集上運行。在移動端特定環境中，數據以高度異構的方式分布在數百萬個移動和蜂窩設備上，這些設備具有明顯更高延遲，更低吞吐量的連接，并且只能間歇性地用于訓練。這一切都依賴于聯合學習（FL）方法，聯合學習是一種分布式機器學習方法，可以對保存在移動電話等設備上的大量分散數據進行訓練，是“將代碼引入數據，而不是將數據引入代碼”的更加通用化的一個實現，并解決了關于隱私、所有權和數據位置等基本問題。
根據谷歌官博介紹，用戶的設備會下載一個當前模型，這個模型會從手機數據中學習不斷得到改善，然后將變化總結為一個小的關鍵更新。只有這個關鍵更新會以加密的方式被傳到云端，之后這一更新會在云端迅速被其他用戶對共享模型提交的更新平均化（averaged）。簡單說，所有的訓練數據都留在用戶的設備上，而且上傳到云端的個別更新也不會存儲到云端。谷歌研究人員表示，新方法將機器學習與云端存儲數據的需求脫鉤，讓模型更聰明、延遲更低、更節能，而且保護用戶隱私不受威脅。這一方法還有一個間接好處：除了實現共享模型的更新，用戶還能立刻使用改善后的模型，根據個人使用手機方式的不同，得到的體驗也會不同。
聯合學習（FL，Federated Learning）系統已經在非常流行的谷歌鍵盤Android上的Gboard中進行測試。每當Gboard顯示建議的查詢時，移動設備本地存儲有關當前上下文的信息以及您是否使用了該建議。聯合學習處理設備上的歷史記錄，以建議改進Gboard的查詢建議模型的下一次迭代。諸多移動設備的學習模型將通過一種聯合學習算法聚合成為一個更簡潔的模型，最后只需要將這個模型上傳至云端即可。
要將這樣的系統部署到數百萬運行Gboard的異構電話，需要相當先進的技術堆棧。 設備上培訓使用TensorFlow的最小化版本。上傳速度通常比下載速度慢得多，研究人員還開發了一種新方法，通過使用隨機旋轉和量化壓縮更新，將上傳通信成本降低到100倍。
復雜的
人工智能算法訓練與計算經常涉及上億的參數，這些參數的計算需要大量的計算能力，目前在深度學習領域，GPU計算已經成為主流。使用GPU運算的優勢如下：目前，主流的GPU具有強大的計算能力和內存帶寬，同時GPU的thousands of cores的并行計算能力也是一大優勢。只要數據足夠小，就適合在一臺GPU性能優于其它架構的機器上運行，因為它不具備處理網絡開銷問題的功能，可以充分利用GPU的優勢為數學運算。由于所有的數據集足夠小，可以適應內存，網絡成為了分布式實現的瓶頸，而移動端本地GPU沒有這樣的瓶頸，得到了兩全其美。
可以預期，未來的IT基礎設施將向“兩端走”，一方面是超大規模IDC，用作集中式數據處理、搜索和機器學習，而移動設備和
物聯網智能設備未來將越來越依賴GPU的運算能力，硬件中的GPU算力將會得到進一步提升。
版權申明：本內容來自于互聯網，屬第三方匯集推薦平臺。本文的版權歸原作者所有，文章言論不代表鏈門戶的觀點，鏈門戶不承擔任何法律責任。如有侵權請聯系QQ：3341927519進行反饋。
