登录以发表评论
IT知识文章:
什么是数据科学？它和已有的信息科学、统计学、机器学习等学科有什么不同？作为一门新兴的学科，数据科学依赖两个因素：一是数据的广泛性和多样性；二是数据研究的共性。现代社会的各行各业都充满了数据，这些数据的类型多种多样，不仅包括传统的结构化数据，也包括网页、文本、图像、视频、语音等非结构化数据。数据分析本质上都是在解反问题，而且通常是随机模型的反问题，因此对它们的研究有很多共性。例如，自然语言处理和生物大分子模型都用到隐马尔科夫过程和动态规划方法，其最根本的原因是它们处理的都是一维随机信号；再如，图像处理和统计学习中都用到的正则化方法，也是处理反问题的数学模型中最常用的一种。
数据科学主要包括两个方面：用数据的方法研究科学和用科学的方法研究数据。前者包括生物信息学、天体信息学、数字地球等领域；后者包括统计学、机器学习、数据挖掘、数据库等领域。这些学科都是数据科学的重要组成部分，只有把它们有机地整合在一起，才能形成整个数据科学的全貌。
如何用数据的方法研究科学
用数据的方法研究科学，最典型的例子是开普勒关于行星运动的三大定律。开普勒的三大定律是根据他的前任，一位叫第谷的天文学家留给他的观察数据总结出来的。表1列出的观测数据是行星绕太阳一周所需要的时间（以年为单位）和行星离太阳的平均距离（以地球与太阳的平均距离为单位）。从这组数据可以看出，行星绕太阳运行的周期的平方和行星离太阳的平均距离的立方成正比，这就是开普勒第三定律。
大数据
开普勒虽然总结出他的三大定律，但他并不理解其内涵。牛顿则不然，他用牛顿第二定律和万有引力定律把行星运动归结成一个纯粹的数学问题，即一个常微分方程组。如果忽略行星之间的相互作用，那么各行星和太阳之间就构成了一个两体问题，我们很容易求出相应的解，并由此推导出开普勒的三大定律。
牛顿运用的是寻求基本原理的方法，它远比开普勒的方法深刻。牛顿不仅知其然，而且知其所以然。所以牛顿开创的寻求基本原理的方法成为科学研究的首选模式，这种方法的发展在20世纪初期达到了顶峰，在它的指导下，物理学家们提出了量子力学。原则上讲，我们在日常生活中看到的自然现象都可以从量子力学出发得到解释。量子力学提供了研究化学、材料科学、工程科学、生命科学等几乎所有自然和工程学科的基本原理，这应该说是很成功的，但事情远非这么简单。狄拉克指出，如果以量子力学的基本原理为出发点去解决这些问题，那么其中的数学问题就太困难了。因此必须妥协，对基本原理作近似。
尽管牛顿模式很深刻，但对复杂的问题，开普勒模式往往更有效。例如，表2中形象地描述了一组人类基因组的单核苷酸多态性(Single Nucleotide Polymorphism,SNP)数据。研究人员在全世界挑选出1064个志愿者，并把他们的SNP数据数字化，即把每个位置上可能出现的10种碱基对用数字表示，对这组数据做主成分分析(PCA)——一种简单的数据分析方法，其原理是对数据的协方差矩阵做特征值分解，可以得到图1所示的结果。其中横轴和纵轴分别代表*和第二奇异值所对应的特征向量，这些向量一共有1064个分量，对应1064个志愿者。值得注意的是，这组点的颜色所代表的意义。由此可见，通过最常见的统计分析方法——主成分分析，可以从这组数据中展示出人类进化的过程。
数据分析的主要困难
我们研究的数据通常有几个特点：(1)数据量大。数据量大给计算带来挑战，需要一些随机方法或分布式计算来解决问题；(2)数据维数高。例如，前面提到的SNP数据是64万维的；(3)数据类型复杂。网页、报纸、图像、视频等多种类型的数据给数据融合带来困难；(4)噪音大。数据在生成、采集、传输和处理等流程中，均可能引入噪音，这些噪音的存在给数据清洗和分析带来挑战，需要有一定修正功能的模型（如图像中的正则化和机器学习中的去噪自编码器）来进行降噪处理。
其中，最核心的困难是数据维数高。它会导致维数灾难(curse of dimensionality),即模型的复杂度和计算量随着维数的增加而指数增长。那么，如何克服数据维数高带来的困难？通常有两类方法。一类是将数学模型限制在一个极小的特殊类里，如线性模型；另一类是利用数据可能有的特殊结构，如稀疏性、低维、低秩和光滑性等。这些特性可以通过对模型作适当的正则化实现，也可以通过降维方法实现。
总之，数据分析本质上是一个反问题。处理反问题的许多方法（如正则化）在数据分析中扮演了重要角色，这正是统计学与统计力学的不同之处。统计力学处理的是正问题，统计学处理的是反问题。
算法的重要性
与模型相辅相成的是算法以及这些算法在计算机上的实现。在数据量很大的情况下，算法的重要性尤为突出。从算法的角度来看，处理大数据主要有两条思路：
降低算法的复杂度，即计算量。通常要求算法的计算量是线性标度的，即计算量与数据量成线性关系。但很多关键的算法，尤其是优化方法，还达不到这个要求。对于特别大的数据集，如万维网上的数据或社交网络数据，我们希望能有次线性标度的算法，也就是说计算量远小于数据量。这就要求我们采用抽样的方法。其中最典型的例子是随机梯度下降法(Stochastic Gradient Descent,SGD)。
分布式计算。其基本思想是把一个大问题分解成很多小问题，然后分而治之。著名的MapReduce框架就是一个典型的例子。
现阶段，算法的研究分散在两个基本不相往来的领域——计算数学和计算机科学。计算数学研究的算法主要针对像函数这样的连续结构，其主要应用对象是微分方程等；计算机科学主要处理离散结构，如网络。而现实数据的特点介于两者之间，即数据本身是离散的，而数据背后有一个连续的模型。因此，要发展针对数据的算法，就必须把计算数学和计算机科学研究的算法有效地结合起来。
