亚洲五月综合,成人免费在线视频观看,在线免费av网站

每日快訊!大數據工程師：讓數據“活”起來

2023-04-08 10:24:17 來源：經濟日報

將大量、多樣的數據信息匯聚、打通、管理、使用；用26個英文字母和一些標點符號寫出一行行代碼，變成大眾應用的各類應用軟件和系統……這便是中電萬維信息技術有限責任公司生態環境平臺部大數據工程師張杰的日常工作內容。

讓數據“活”起來服務大眾，是大數據工程師的工作。在外人眼里，每天和數據打交道的他們很神秘，而在他們自己眼中，這項工作既枯燥又有趣，也很有成就感。

(資料圖)

搭建管理平臺

信息時代數據無處不在，怎樣使其得到高效利用，從而服務于社會，是大數據工程師們肩負的責任，也是他們面臨的挑戰。

“甘肅省全省生態環境的總數據量有30多億條，目前數據共享有4個數據項，數據量可以達到3200多萬條……”張杰指著電腦顯示屏上甘肅省生態環境監測大數據管理平臺的生態環境宏觀決策分析界面說。

2017年，張杰從甘肅農業大學計算機科學與技術專業畢業后，就一直從事大數據相關工作。從最初接觸這個行業到成為業務骨干，他一邊磨練技術，一邊見證著大數據行業的飛速發展。

“以前單體項目的數據匯總非常麻煩，而且有些數據沒經過層層審核，準確度不高。”張杰說，以前數據處理要通過線上和線下的不同方式，與涉及各項數據的不同部門一一對接。如果對接到的數據是線下表格或文檔等非結構化數據，還需要付出大量時間和精力進行整理和解析，工作十分繁瑣。

2018年，公司接觸到大數據相關數據庫和處理工具，便開始對文檔、音頻、視頻等信息進行智能整理。張杰說，“2018年之前，我們還從堆積如山的文檔資料中尋找想要的核心信息，有了大數據處理手段，一切變得輕松起來”。

2019年，張杰和同事們開始參與單體應用項目，用大數據解決單一的業務問題。此后，逐漸搭建起了大數據管理平臺，將各個業務系統封閉的數據進行統一匯聚、治理、分析、服務，形成協同應用，并完成了甘肅生態環境監測大數據平臺的驗收交付。

打通數據“孤島”

大數據，顧名思義就是大量的數據、海量的資料，包括常規數據和圖表等多種形式。如何以“聚、通、管、用”等方式打通數據“孤島”，實現更廣泛的應用，是大數據工程師主要思考的問題。

“比如大氣、土壤和水3個數據，都有各自的監測指標，不能單憑一個指標就判定一個區域的環境質量，要把幾項數據打通，找到他們的共同性、關聯性，然后通過綜合評判，才能知道整體的生態環境怎么樣。”張杰告訴記者，在大數據處理中，第一步就是要把大量數據收集、匯聚起來，第二步就是要打通各類數據之間的壁壘，為后期的管理和運用打下基礎。

“通俗來講，就是要通過頂層規劃設計，建立起數據臺賬。相當于目錄和標簽，在使用過程中結合實際業務需求，可以隨時進行檢索。”張杰說。

“一個單一的數據只包含單一信息，但把這個數據最大化地使用起來，用完后把結果返回，作為一個新的數據存儲，如此循環，整個數據就能包含更多信息，就‘活’了起來。”張杰說。

增強學習能力

有時會感到枯燥，有時會有挫敗感，有時又很有成就感，這就是大數據工程師的真實寫照。

“一個看似簡單的微信公眾號頁面，后臺要通過成千上萬的代碼來實現。這些業外人士看不懂的代碼，就是我們對外交流的語言。”張杰說，大數據工程師的工作就在幕后。

“自己悶頭敲了半天代碼，突然出來結果，那個時候特別有成就感；如果長時間沒有結果，也難免產生挫敗感。”張杰說。

張杰清楚地記得，參加工作之初，要寫個三級聯動小程序，他一周都沒寫出來，感到苦惱。后來，在師傅幫助下，他才寫出來小程序。但完成后，他又刪除了這個程序，從頭開始反復寫、反復琢磨，直到慢慢上手，有了一些心得。通過工作經驗的積累，他如今正基于現有的平臺不斷嘗試，進行新的研發建設工作，也逐漸找到了這項工作的意義。

“大數據技術發展得很快，一個新概念出現了，還沒來得及弄太明白，市面上就已經出現相應應用產品。這對我們大數據工程師來說，總是充滿挑戰。”張杰說，大數據技術發展日新月異，為了不讓自己掉隊，他會積極參加公司定期組織的學習、培訓，還會通過自學、企業外聘專業老師授課培訓等多種形式學習新技術、新業務。“如果不學習就跟不上了，所以一刻都不能放松。”張杰說，他會緊跟大數據技術發展的步伐，不斷充實自己。（經濟日報記者趙梅）

標簽：