大数据工程师:让数据“活”起来

来源:经济日报时间:2023-04-08 12:01:31

将大量、多样的数据信息汇聚、打通、管理、使用;用26个英文字母和一些标点符号写出一行行代码,变成大众应用的各类应用软件和系统……这便是中电万维信息技术有限责任公司生态环境平台部大数据工程师张杰的日常工作内容。

让数据“活”起来服务大众,是大数据工程师的工作。在外人眼里,每天和数据打交道的他们很神秘,而在他们自己眼中,这项工作既枯燥又有趣,也很有成就感。


(资料图片仅供参考)

搭建管理平台

信息时代数据无处不在,怎样使其得到高效利用,从而服务于社会,是大数据工程师们肩负的责任,也是他们面临的挑战。

“甘肃省全省生态环境的总数据量有30多亿条,目前数据共享有4个数据项,数据量可以达到3200多万条……”张杰指着电脑显示屏上甘肃省生态环境监测大数据管理平台的生态环境宏观决策分析界面说。

2017年,张杰从甘肃农业大学计算机科学与技术专业毕业后,就一直从事大数据相关工作。从最初接触这个行业到成为业务骨干,他一边磨练技术,一边见证着大数据行业的飞速发展。

“以前单体项目的数据汇总非常麻烦,而且有些数据没经过层层审核,准确度不高。”张杰说,以前数据处理要通过线上和线下的不同方式,与涉及各项数据的不同部门一一对接。如果对接到的数据是线下表格或文档等非结构化数据,还需要付出大量时间和精力进行整理和解析,工作十分繁琐。

2018年,公司接触到大数据相关数据库和处理工具,便开始对文档、音频、视频等信息进行智能整理。张杰说,“2018年之前,我们还从堆积如山的文档资料中寻找想要的核心信息,有了大数据处理手段,一切变得轻松起来”。

2019年,张杰和同事们开始参与单体应用项目,用大数据解决单一的业务问题。此后,逐渐搭建起了大数据管理平台,将各个业务系统封闭的数据进行统一汇聚、治理、分析、服务,形成协同应用,并完成了甘肃生态环境监测大数据平台的验收交付。

打通数据“孤岛”

大数据,顾名思义就是大量的数据、海量的资料,包括常规数据和图表等多种形式。如何以“聚、通、管、用”等方式打通数据“孤岛”,实现更广泛的应用,是大数据工程师主要思考的问题。

“比如大气、土壤和水3个数据,都有各自的监测指标,不能单凭一个指标就判定一个区域的环境质量,要把几项数据打通,找到他们的共同性、关联性,然后通过综合评判,才能知道整体的生态环境怎么样。”张杰告诉记者,在大数据处理中,第一步就是要把大量数据收集、汇聚起来,第二步就是要打通各类数据之间的壁垒,为后期的管理和运用打下基础。

“通俗来讲,就是要通过顶层规划设计,建立起数据台账。相当于目录和标签,在使用过程中结合实际业务需求,可以随时进行检索。”张杰说。

“一个单一的数据只包含单一信息,但把这个数据最大化地使用起来,用完后把结果返回,作为一个新的数据存储,如此循环,整个数据就能包含更多信息,就‘活’了起来。”张杰说。

增强学习能力

有时会感到枯燥,有时会有挫败感,有时又很有成就感,这就是大数据工程师的真实写照。

“一个看似简单的微信公众号页面,后台要通过成千上万的代码来实现。这些业外人士看不懂的代码,就是我们对外交流的语言。”张杰说,大数据工程师的工作就在幕后。

“自己闷头敲了半天代码,突然出来结果,那个时候特别有成就感;如果长时间没有结果,也难免产生挫败感。”张杰说。

张杰清楚地记得,参加工作之初,要写个三级联动小程序,他一周都没写出来,感到苦恼。后来,在师傅帮助下,他才写出来小程序。但完成后,他又删除了这个程序,从头开始反复写、反复琢磨,直到慢慢上手,有了一些心得。通过工作经验的积累,他如今正基于现有的平台不断尝试,进行新的研发建设工作,也逐渐找到了这项工作的意义。

“大数据技术发展得很快,一个新概念出现了,还没来得及弄太明白,市面上就已经出现相应应用产品。这对我们大数据工程师来说,总是充满挑战。”张杰说,大数据技术发展日新月异,为了不让自己掉队,他会积极参加公司定期组织的学习、培训,还会通过自学、企业外聘专业老师授课培训等多种形式学习新技术、新业务。“如果不学习就跟不上了,所以一刻都不能放松。”张杰说,他会紧跟大数据技术发展的步伐,不断充实自己。 (记者 赵梅)

关键词:

相关阅读

推荐阅读

银鹏控股公司:业务交流促提升互学互鉴共进步|世

3月2日,银鹏控股公司董事长刘懿婷带队前往中粮集团期货公司进行业务学习和交流。中粮期货公司从业多年、具有丰富实战经验的风险管理专家现场更多

2023-03-07 17:52:41

我国首个万吨级钠离子电池材料项目在山西综改区开

山西晚报讯(记者温丽芳通讯员张晓茹)日前,总投资约11亿元的山西华钠铜能(碳能)科技有限责任公司万吨级钠离子电池正(负)极材料项目在山更多

2023-03-07 11:51:14

建行阳江市分行:践行金融惠民理念-全球关注

2月24日,随着客户办妥抵押登记手续并成功放款,标志着阳江市建行“带押过户”业务取得历史性突破。根据中国人民银行发布《关于鼓励推广二手房更多

2023-03-07 11:53:21

焦点简讯:证监会同意三超新材向特定对象发行股票

中证网讯(记者昝秀丽)证监会网站3月6日消息,证监会发布关于同意南京三超新材料股份有限公司向特定对象发行股票注册的批复。【来源:中国证更多

2023-03-07 09:57:39

美股航空股6日全线走低

中证网讯(记者赵中昊)当地时间周一(3月6日),美股航空股全线走低。据wind数据,截至收盘,波音跌1 49%,美国航空跌1 47%,达美航空跌1%,更多

2023-03-07 09:43:44

世界热资讯!晋钢控股集团荣登2022山西省品牌十强

近日,“品牌强国(龙城)论坛”在太原举行,发布“2022中国上市公司品牌500强”以及“2022山西省品牌100强”。晋钢控股集团以218 9亿元的品牌更多

2023-03-06 17:38:52

手绘报告:2023预期目标

【来源:中国政府网】声明:转载此文是出于传递更多信息之目的,若有来源标注错误或侵犯了您的合法权益,请作者持权属证明发至邮箱newmedia@xx更多

2023-03-06 16:46:31

惠州首笔数字人民币缴纳税费业务成功落地

3月1日,TCL科技集团财务有限公司拿到了全市第一张使用数字人民币账户缴纳税款和非税收入的完税凭证,标志着惠州市首笔数字人民币缴纳税费业务更多

2023-03-06 11:50:50
    2022年三季报披露后,北京商报记者根据企业公告选取了30家上市房...
    首套房公积金利率下调原来贷款也下调吗首套房公积金利率下调原来...
    政府回购商品房意味着什么政府收购商品房的首要目的是稳定市场。...
    把自己房子卖了再买算首套房吗买过一套房卖了再买算首套房。简单...
    买房交首付注意事项有哪些1、核实开发商五证。在交首付时,需要先...
    房屋契税征收比例契税税率的缴纳一般分为以下几种情况:1、面积小...

Copyright   2015-2022 当代财经网  www.ddcjw.cn 版权所有  备案号:京ICP备2021034106号-19  联系邮箱:55 16 53 8 @qq.com