新闻资讯

大数据工程技术人员：打造便捷生活

大数据工程技术人员是人社部发布的13个新职业之一。据计算机专业论坛统计，目前全国大数据人才仅为46万，未来3-5年内，大数据人才缺口150万。各企业纷纷以高薪聘请大数据人才，国内大数据工程技术人员平均年薪30-50万元。

虽然是新职业，但人们的生活早已与大数据工程息息相关：用手机软件查询水电燃气用量、网购、一站式政务服务……我们享受到的便捷生活背后总少不了大数据工程技术人员。

建立大数据

“让数据多跑路，让你我少跑腿”

刘岩

今年48岁的刘岩算是IT行业里年龄比较大的，当年从广州暨南大学计算机专业毕业 ，20多年来一直在互联网行业摸爬滚打。从最开始的软件开发到现在的大数据采集、分析，刘岩说，如果将IT行业比喻成大海，大数据就是大海中最前端的潮头，大数据工程技术人员就是大海中最前沿的弄潮儿。

“最早期的大数据需求是从上世纪90年代开始的。”刘岩说，当时国家推行政务信息化，要求政府将各类信息登记和存储。比如，民政部门要把本地的婚姻情况录入婚姻登记系统，公安部门把本地市民信息录入公民信息系统。最开始这些系统都是孤立的，只针对内部人员使用。随着信息化不断发展，各系统之间信息交互需求增加，各个独立数据系统进入海量大数据融合阶段，政府间的信息互容互通，一直发展到如今“一个窗口办齐所有业务”的高度融合，真正实现“让数据多跑路，让百姓少跑腿”的设计初衷。

现在，刘岩作为哈尔滨国裕数据技术服务有限公司大数据平台规划管理高级工程师，负责建设智慧城市大数据资源管理中心项目。“一个智慧城市建设，包括许多子系统，我们的工作就是将这些子系统数据进行数据化采集。举个例子，一个城市包含许多委办局，有的委办局信息化做得比较好，那么我们就在大数据信息系统中采集、清洗、分析并加以利用、管理和维护。”刘岩说，所谓“清洗”，就是说并不是所有信息都是规范的、数字化的，有时候有的信息只记载某段时间的数据，有的信息前后记录标准不一，这时就需要大数据工程技术人员将这些非结构化或半结构化数据处理成结构化数据，统一录入系统，对于那些残缺不全的数据还要想办法弥补上。

还有的时候，一些单位从没有进行过信息化数据处理，许多数据都是手工记录的，甚至根本就没有，这就需要相关工作人员查找资料，尽量找回资料。“这个过程其实是最耗费时间的，许多时候我们要一个单位一个单位去沟通，将那些常年放置在文件柜里落满尘埃的数据翻出来，让这些数据发挥价值。”刘岩说。

如何发挥数据的价值呢？“我们将一个城市的相关数据整理后录入大数据系统，根据我们设定的程序，系统会对海量数据进行再次挖掘和分析，从而得出横向和纵向的分析数据，进而对未来进行预测。”比如，某一个城市路口的视频监控，既可以抓拍车辆、行人违章情况，也可以对车流量、信号灯等情况进行监控，通过一段时间的数据比较和分析，优化出最合理的车流导向和信号灯分配，此外还能运用视频监控抓获违法犯罪人员。

目前，应用大数据对城市进行智慧管理几乎已遍布全国各大中城市，并正在向中小城镇渗透中。让更多人办事更便捷、轻松，就是大数据应用的最大成果。2015年，刘岩在大庆建设智慧城市并建设了一个专门服务百姓的“百湖汇”APP软件，大庆市民用这个软件查询水电气等，实现一站式缴费。

“不久的将来，随着大数据进一步发展，城市的大数据系统将更加开放，更加以人为本。”刘岩说，也许到那时，老百姓可以到家门口的派出所办工商执照，甚至不用出门，在家里通过网络就可办理户口迁移手续。

管理大数据

各种数据被托管到数据中心

邵天富

老家在广州的邵天富来哈尔滨工作刚刚三个月，尽管常常思念远在万里之遥的新婚妻子，但当邵天富全神贯注于大数据运营的时候，似乎把整个世界都抛在了脑后。今年33岁的邵天富正好赶上了中国互联网跨越式发展的黄金期，当年他从广东工业大学机电一体化专业毕业，就一头扎入大数据管理“蓝海”，如今已成为一个技术全面、经验丰富的大数据工程技术人员。用他们自己的话说，只要地球不爆炸，大数据永远不停歇。

每天早上8点半，邵天富准时出现在位于平房哈南十五路的哈尔滨云谷名气通数据服务有限公司数据中心操控平台中心，同时听取夜班技术人员对各种技术参数的监控情况汇报。“昨天晚上各项数据都在正常范围内，8号机电池近期需要更换。”主管机房动力的李旭说完，随手把数据监控报告递给邵天富。

如今，小到APP，大到腾讯、阿里这样的互联网企业，都在寻求第三方专业的数据服务。“其实大部分人看到的只是手机或电脑上小小的APP，但它后台所用到的服务器多达上万台，这背后有无数数据工作人员在默默工作着。”带着浓重广东腔的邵天富说，他们其实就像是给客户提供一个网络大房子，让这些客户在房子里进行各种政务、商业活动，而他们就是房子的管家，对房子提供保洁、维护、维修等专业性工作。“可以这么说，凡是涉及到网站、电脑等互联网服务的政府机关、企事业单位、商业用户，都需要稳定持续的互联网大数据托管服务。”

作为中立的第三方数据中心，它要保证为客户提供7×24×365的全天候网络数据服务。“我们的数据中心每一秒都必须有人值守。”邵天富说，从设备维护、参数记录及分析、数据监控预警，到看视频监控，是否有可疑人员进入，分析是否有异常情况。根据数据监控，在还没有发生事故之前，核查有可能出现问题的点并作设备保养，即设备换电池、加润滑油等。

实际上，许多从事大数据管理的技术人员都是从相关专业转型而来，他们既要懂计算机、互联网，也要懂电气、暖通甚至消防等方面知识。每个班组要有两名相关专业工作人员值班，因此一个班至少有6-8人在岗工作，每天三班至少有18-24人在岗。

邵天富说，哈尔滨某高校曾经想做一个数据管理，计划使用50个机柜，如果自己做，要获得用电、网络、消防等方面的使用许可，一个数据中心需要20个专业人员7×24的服务。如果采用专业托管服务至少节省1/3的费用。

专业化大数据托管服务最早是从2008年至2009年开始的，在这之前，各个公司都是自己组建机房。随着各大公司与互联网结合得越来越紧密，自有机房已经满足不了发展的需要。到2010年，许多原来做别的领域的公司都开始做大数据服务了。这时邵天富意识到，大数据的春天来了。尽管大量的数据公司涌入，仍然无法满足高速增长的市场需求。

大爆发时代

站在全球视角下，中国大数据中心的拥有量还不到美国的1/3，这与中国互联网的高速发展远远不匹配，因此中国大数据行业必然迎来大爆发时代。5G和无人驾驶时代来临，更是大数据行业的重大利好，届时网络会更快，使用人群会更多，这就要求服务器和机房更大、更专业，满足更多需求。“以视频网站为例，看视频的人越来越多，过去公司托管50、100个机柜，现在已满足不了网络需求，很可能再租几千个机柜都不够用。”邵天富说，到那时，会有更多跟大数据相关的从业人员向这个行业靠拢、甚至转行过来。

从全国范围看，大数据业务量将越来越多，但目前大数据服务中心多集中在北京、上海等大城市。“因为大城市数据服务需求量大，而且从技术层面看，远距离数据传输还存在一定困难。”邵天富说，从未来发展看，远距离传输难题会在不久的将来被攻破。到那时，哈尔滨在大数据管理方面的优势会更加突出，会有越来越多的数据中心搬到哈尔滨来。