大数据项目的实施取决于团队的能力。 人员的选择是大数据项目中最重要的一环,这一点虽然明显,却常常被人忽视。没有人员的投入和解析,大数据分析就会失去意义,失去目标,失去价值。要想让大数据发挥作用,需要一个团队,即使这个团队只有两个成员,人员也是不可或缺的要素。
组建团队是一项异常复杂的工作,在此过程中,组织者可能要参与大量的会议,开展招聘工作,负责员工团队管理工作等等。团队成员需要在大数据方面有多项专长,这也是组建团队的标准。而确定这些专长各是什么,则是组建团队的第一步。

1.数据科学家
对于“数据科学家”这一新名词的概念,目前还没有被广泛接受,但客观上它已经可以被理解为如下定义:数据科学家一般会与BI顾问或其他专注于数据分析(特别是大量数据分析)的人员配合工作,以帮助企业获得竞争优势。数据科学家往往是大数据分析项目的实际领导者。
数据科学家这一头衔有时会受到诟病,因为这一头衔缺乏特性,并常被误以为是数据分析师的同义词。然而,有志于从大数据中获取有价值信息的大企业对数据科学家的接受度已经越来越高。大数据可以包括企业自身产生的或接触到的结构化、半结构化和非结构化数据。
数据科学家需要具备多项综合能力,包括分析能力,机器学习,数据挖掘,统计能力以及算法和代码编写方面的能力。而最重要的一项能力是将数据所蕴含的意义以便于人们理解的方式呈现出来。
2.团队挑战
搜寻并雇佣具备分析能力的人员是构建强大数据分析团队的第一步。组织团队则是第二步,慎重考虑IT团队与BI团队之间的关系,因为这将最终确定大数据分析专家拥有多大程度的自主权。
高度结构化,集权型的企业倾向于将分析团队放在IT部门或BIC(business intelligence competency)中心。然而,很多专家发现,去中心化的结构设置更有利于大数据分析项目的成功,因为这种结构给予团队成员在解读和审视数据方面更大的自主权。
为了实现效率最大化,大数据分析团队可以按照业务功能划分,并直接配备到不同的业务单元之中。例如,关注客户流失率和其他市场相关分析的分析团队可以放在市场部,而关注风险方面的数据分析团队则更适合放在财务部门。
理想状况下,将大数据团队放在能立刻实现数据结果价值的团队是最佳选择,因为这种设置可以促进发现,确定价值并且以更加可行方式交付结果。分析人员和部门领导可以在一个频道交流,确保充分协同,达到最佳效果。
这一切取决于企业的规模。中小型企业和大型企业在分析方面的需求不尽相同,而数据分析专家与其服务的部门之间的关系也会有所不同。
3.不同的团队,不同的目标
举一个比较有代表性的例子:工程公司要对大量非结构化数据进行技术分析。公司本身可能规模很小,但数据集确十分庞大。例如,工程公司要设计一座桥梁,那么其所接触的大数据中将包含多种要素,包括人口数据、交通流量、天气情况等等,这些数据都将对该区域的交通压力状况和趋势产生影响,从而决定桥梁的设计方向。而如果其他要素被加入进来(如市场因素,包括材料费用、该区域的经济增长预期等),则所需的数据科学家也会相应变化。该岗位人员可能不仅需要具备工程学背景,同时也需要对经济变化形势的敏锐观察力。其工作仅配合工程的第一负责人,而不需要对公司的其他部门负责。
这意味着,公司的市场和销售部门可能“受到冷落”。问题在于,这种分析对于这些部门究竟有多大意义?答案可能是完全无足轻重。如果是这样,那么市场分析、竞争分析、政府资助、基础设施使用年限和使用状况、人口密度等数据对目前的数据科学家可能都不适用,数据科学家可能需要其他的专项技能来阐释数据结果。
随着对分析的需求以及企业规模的增长,角色将发生改变,对应的流程和关系也将随之变化。大型企业为了使其所拥有的数据发挥更大的作用,投入也在逐步增加。因此,企业必须明确大数据分析团队所必须具备的核心技能,并围绕公司的核心竞争力构建相应的团队。幸运的是,识别这些核心竞争力相对容易,因为团队的任务可以被分解成三个主要的能力。
4.别忘了数据
数据分析团队有三项核心的基本能力: (1) 数据定位,(2) 数据规格化以及(3) 数据分析。
第一项能力,数据定位,要求人员具备从内外部来源寻找相关信息,并与IT部门数据管理团队合作,稳妥的获取这些信息。除此之外,还需要与外部企业,政府部门以及研究公司合作以获取所需的数据集,并对结构化和非结构化数据之间的差异了如指掌。
第二项能力,数据规格化,要求人员能够将数据去粗取精,过滤掉数据材料中的虚假数据,形成可供分析的原始数据。除分析能力外,这一过程还要求人员具备一定的技术能力,包括整合数据集,将数据集导入存储平台,构建数据规格化模型等能力。
第三项能力,数据分析,则是数据分析团队最重要的能力。对于大多数组织,数据科学家执掌整个数据分析过程,包括获取数据,设计算法,收集结果,并最终呈现相关信息。
这三项能力被认为是数据分析团队的基础能力。而每项基础能力又可以被分解成若干项子能力。不同的数据分析流程涉及的范围和要素不尽相同,这些子能力也会相应变化。
如同数据本身一样,数据分析团队的构成也并非一成不变,而是随着业务的需要而变化。
5.更多挑战
选择合适的人一直是组建数据分析团队最大的难点。此类人才需求旺盛,而对于数据分析和数据科学家的需求更是飞速增长。
要获得此类人才,组织需要更加聚焦数据科学,雇佣具备统计学模型搭建、文本数据挖掘以及情感分析等专业技能的人员。要想使大数据分析实现价值,必须有可靠的数据基础、统计学预测模型以及测试分析模型做支撑,这些都是大数据不可或缺的核心应用。
找到合适的大数据人才比安置一个传统的IT人员要复杂得多,要想获得优良的投资回报,人员所具备的技能也绝非仅仅从技术上考虑这么简单。有些组织试图从咨询公司中挖掘大数据人才,然而事实上,很多咨询公司本身也在苦苦追寻真正能够实现大数据价值的人才。
不过,尽管大数据的进程困难重重,总还是存在一线希望。对大数据业务来说,业务能力和技术能力同样重要,这决定了其需要复合型人才的特点。因此,大数据业务的潜在人才范围要比IT专家的潜在人才范围大得多。事实上,大数据人才并不一定都要从IT为中心的部门发掘,只要是对研究、分析以及结果呈现有需求的部门,都可以成为培养大数据人才的摇篮。
大数据业务的潜在人才库范围可以很广,只要是对于大数据有兴趣,能够看到大数据的价值,有一定的技术背景(如网站开发),甚至仅仅是对大数据有兴趣和天赋而自学相关知识以促进工作的人群,都可以说是大数据业务的潜在人才。这样的人懂得大数据的价值以及解读数据的方法。
不过,企业不能仅仅把对大数据的兴趣作为雇佣大数据分析人员的标准。企业应当建立一套测试机制,来确保人员具备这一新职位所需要的能力。如果想要立即为大数据团队创造价值,候选人需要具备以下五个方面的基本能力。
1) 数据挖掘(Data mining)
2) 数据可视化(Data visualization)
3) 数据分析(Data analysis)
4) 数据处理(Data manipulation)
5) 数据搜索(Data discovery)
这些能力被认为是成为数据科学家的标准。
6.团队 vs. 文化
可以说,找到并雇佣合适的具备分析能力的人才是建立优秀的数据分析团队的第一步。如果这一说法成立,那么接下来就是确定该团队与现有的IT和BI团队之间的关系,以及给予数据分析专家多大的自主权。
这一过程包括为技术专家(同时也是业务专家)建立一套新的文化。建立这种文化取决于多项因素,包括确保团队能够收到公司现行文化的熏陶,注重量化的结果等等。
企业若想从传统的IT中心文化,向具备先进数据分析和详实决策依据的企业内部文化转型,就要自上而下的来开展工作。在高管层面具备转型经验的企业,大多懂得为建立数据分析的企业文化、数据仓库、BI以及深度分析项目铺平道路。
在利用大数据分析的同时,文化的变革也是随之而来的一项重要工作。很多企业习惯于将企业运营建立在过往经验的基础上,甚至仅仅是“跟着感觉走”。而这种方式往往导致企业运营的刻板和僵化。
在连锁零售行业,这一点最为明显。连锁经营的零售店,不同区域之间要保持一致。而这恰恰与店面陈设灵活机动,适应区域特点以提升竞争力的需求背道而驰。建立起基于分析结果进行运营的文化,有助于改变这样的情形。例如,通过数据挖掘和预测性分析,自动生成针对不同门店的供货存储计划,从而更好的满足市场需求。关键是,要准确的将存在潜在需求的商品提供给相应的客户,就好比佛罗里达不会有人卖雪铲,阿拉斯加也没有人卖防晒油一样。
建立分析型企业文化的另一个潜在途径就是建立专门的数据分析团队。数据分析团队拥有自己的领导,可以制定数据分析战略以及项目计划,促进数据分析在公司内部的运用,对数据分析师进行分析工具和理念的相关培训,并在项目实施过程中与IT,BI,数据仓储等部门通力合作。
7.量化成就
成就要可以量化,而量化一个团队的成就是十分复杂的。因此,在制定目标,衡量方式以及工作的里程碑时,借助大数据的帮助就显得尤为重要。制定绩效标准因而也成为制定业务计划的重要组成部分。有了大数据的帮助,在量化不同的绩效成绩时,方法可以更具有针对性。
例如,某公司试图提高其仓库的使用效率,那么绩效指标可以是货架的空置率以及这些空置的货架所占的成本。通过对货物移动情况,销售预测等要素进行数据分析,可以将货物摆放在更合适的位置,以更好的满足客户的需求。只需将经过大数据分析团队进行重新规划前后的货架利用率进行简单对比,即可发现效率提升程度