量化投资数据挖掘

1.量化交易是科学还是伪科学

量化交易存在是科学合理的，但是在国内是不是真的存在量化交易就很难说了。

虽然量化投资现在是投资里的一个热门方向。作为在国外很成熟的投资方式，国内还处于起步初期的状态。量化投资更侧重数据挖掘，模型策略开发，计算机辅助，能克服人性的一些弱点，自动交易方式能解放人的盯盘时间，因此备受青睐。

但作为交易方式的一种，量化投资也不是万能的，股票或期货投资在长期来看都会遵守七亏二平一赚的规律，特别是国内这种政策市，根本谈不上什么科学分析。

2.量化分析三大层次

什么是量化投资？

最近十年来，量化投资成为了欧美资本市场发展的热点与焦点，一举成为了国际投资界兴起的一个新方法，发展势头迅猛，。量化投资和基本面分析、技术面分析并称为三大主流方法。由于量化投资交易策略的业绩稳定，其市场规模和份额不断扩大，得到国际上越来越多投资者的追捧。

过去20年收益率最高的基金，是文艺复兴科技公司的大奖章，其客户平均年收益率高达35%；而过去四年高盛旗下的量化基金规模翻了一倍，超过1000亿美金。由此可见，量化投资已经成为机构投资者的重要利器。

量化投资对于基金公司/资产管理公司而言，有着非常明显的价值：

首先是容易冲规模。一个有效的量化模型是可以在多个产品上进行快速复制，从而迅速做大规模。这个在巴克莱的指数增强系列产品上得到最明显的体现。截止2011年底，巴克莱量化基金，管理规模超过1.6万亿美金，超过富达基金，成为全球最大的资产管理公司。

其次是可以获得绝对收益。利用量化对冲方式，构建与市场涨跌无关的产品，赚取市场中性的策略，适合追求稳健收益的大机构客户，例如保险资金、银行理财等。这个产品的代表性公司就是目前全球最大的对冲基金BridgeWater，旗下的旗舰产品Pure Alpha过去五年共赚取超过350亿美金。

第三是杜绝了内幕消息和老鼠仓。量化投资只利用公开数据，通过数学模型的运算，挖掘出隐藏在公开数据后面的信息，从而战胜市场，从方法论上就杜绝了内幕消息的可能。在交易过程中利用复杂的IT系统进行程序化交易，使得老鼠仓也无法成为可能。在国内金融市场监管日趋规范的情况下，量化投资这种方法必然会成为投资研究的主要方法。

量化投资的理论基础

说到量化投资的理论基础，就要从市场有效性假说说起，技术分析、基本面分析和量化分析代表了有效市场的三个不同的层次。在无效市场，技术分析是充分有效的，这在中国资本市场最初的十年得到很好的体现；当市场进入弱有效市场后，可以依靠基本面分析获得超额收益，2000年到2010年这十年基本上属于这个时代；当市场进入半强有效市场后，也就是从2010年开始我们可以观察到大部分基本面分析的产品已经无法获得超额收益，此时国内市场已经进入半强有效市场。当然当市场进入强有效市场后，则无论哪种方法均无法战胜市场，那时候只能被动指数化投资。

传统的有效市场假说认为，在半强有效市场，只能依靠非公开信息（内幕消息或者私人消息）来获得超额收益。但是我们可以知道的是，除了非公开信息并不是只有内幕消息和私人消息，还有另外一个获得非公开信息的方法：就是利用数据挖掘的方法，从公开的数据中挖掘出非公开信息，也就是量化投资的方法。这也就是在美国等成熟市场（基本上进入半强式有效市场状态），量化投资为啥可以得到蓬勃发展的原因。

随着中国市场有效性的提高，中国开始进入半强式有效市场阶段，再加上监管层对内幕消息的监管越来越严厉，使得通过这种方法获得非公开信息的方式越来越难，因此量化投资就成为了一个最好的获得非公开信息的科学理论与技术。

很多人问：量化投资是不是仅仅是一个昙花一现的概念，还是一个可以长期有效的科学理论，我想通过上述对有效市场假说的分析，已经得到了明确的答案：量化投资是在半强式有效市场中的最佳分析理论，也几乎是唯一可行的分析理论。

美好前景

中国经济经过30年的高速发展，各行各业基本上已经定型，能够让年轻人成长的空间越来越小了。未来十年，量化投资与对冲基金这个领域是少有的几个，可以诞生个人英雄的行业，无论是出生贵贱，无论是学历高低，无论是有无经验，只要你勤奋、努力。脚踏实地的研究模型，研究市场，开发出适合市场稳健盈利的交易系统，实现财务自由，并非遥不可及的梦想。

曾经有研究助理抱怨：“我们做量化研究的，一年都没有啥机会出去调研，免费旅游的机会都木有啊”。

“你只要好好研究量化模型，找到持续稳定盈利的策略，自然就会有大量的资金来找你合作，实现财务自由不困难。到时候你会开着游艇出海，去拉斯维加斯享受，去非洲草原猎象，又何必在乎眼前的这点免费旅游呢？”他点头如捣蒜。

在中国目前的很多领域，赚钱已经变成一个非常困难的事情，但是在量化投资与对冲基金领域，是完全依靠自己的勤奋与努力。一个持续稳定赚取的模型，不是靠关系和背景就可以的，而是靠着自己的聪明才智和脚踏实地的工作。

3.量化投资的主要方法和前沿进展

量化投资是通过计算机对金融大数据进行量化分析的基础上产生交易决策机制。

设计金融数学和计算机的知识和技术，主要有人工智能、数据挖掘、小波分析、支持向量机、分形理论和随机过程这几种。1.人工智能人工智能（Artificial Intelligence,AI）是研究使用计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。

人工智能将涉及计算机科学、心理学、哲学和语言学等学科，可以说几乎是自然科学和社会科学的所有学科，其范围已远远超出了计算机科学的范畴，人工智能与思维科学的关系是实践和理论的关系，人工智能是处于思维科学的技术应用层次，是它的一个应用分支。从思维观点看，人工智能不仅限于逻辑思维，还要考虑形象思维、灵感思维才能促进人工智能的突破性发展，数学常被认为是多种学科的基础科学，因此人工智能学科也必须借用数学工具。

数学不仅在标准逻辑、模糊数学等范围发挥作用，进入人工智能学科后也能促进其得到更快的发展。金融投资是一项复杂的、综合了各种知识与技术的学科，对智能的要求非常高。

所以人工智能的很多技术可以用于量化投资分析中，包括专家系统、机器学习、神经网络、遗传算法等。2.数据挖掘数据挖掘（Data Mining）是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的，但又是潜在有用的信息和知识的过程。

与数据挖掘相近的同义词有数据融合、数据分析和决策支持等。在量化投资中，数据挖掘的主要技术包括关联分析、分类/预测、聚类分析等。

关联分析是研究两个或两个以上变量的取值之间存在某种规律性。例如，研究股票的某些因子发生变化后，对未来一段时间股价之间的关联关系。

关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。

一般用支持度和可信度两个阈值来度量关联规则的相关性，还不断引入兴趣度、相关性等参数，使得所挖掘的规则更符合需求。分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，并用这种描述来构造模型，一般用规则或决策树模式表示。

分类是利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。

预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性，通常用预测方差来度量。

聚类就是利用数据的相似性判断出数据的聚合程度，使得同一个类别中的数据尽可能相似，不同类别的数据尽可能相异。3.小波分析小波（Wavelet）这一术语，顾名思义，小波就是小的波形。

所谓“小”是指它具有衰减性；而称之为“波”则是指它的波动性，其振幅正负相间的震荡形式。与傅里叶变换相比，小波变换是时间（空间）频率的局部化分析，它通过伸缩平移运算对信号（函数）逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节，解决了傅里叶变换的困难问题，成为继傅里叶变换以来在科学方法上的重大突破，因此也有人把小波变换称为数学显微镜。

小波分析在量化投资中的主要作用是进行波形处理。任何投资品种的走势都可以看做是一种波形，其中包含了很多噪音信号。

利用小波分析，可以进行波形的去噪、重构、诊断、识别等，从而实现对未来走势的判断。4.支持向量机支持向量机（Support Vector Machine,SVM）方法是通过一个非线性映射，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题，简单地说，就是升维和线性化。

升维就是把样本向高维空间做映射，一般情况下这会增加计算的复杂性，甚至会引起维数灾难，因而人们很少问津。但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现线性划分（或回归）。

一般的升维都会带来计算的复杂化，SVM方法巧妙地解决了这个难题：应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复杂性，而且在某种程度上避免了维数灾难。这一切要归功于核函数的展开和计算理论。

正因为有这个优势，使得SVM特别适合于进行有关分类和预测问题的处理，这就使得它在量化投资中有了很大的用武之地。5.分形理论被誉为大自然的几何学的分形理论（Fractal），是现代数学的一个新分支，但其本质却是一种新的世界观和方法论。

它与动力系统的混沌理论交叉结合，相辅相成。它承认世界的局部可能在一定条件下，在某一方面（形态、结构、信息、功能、时间、能量等）表现出与整体的相似性，它承认空间维数的变化既可以是离散的也可以是连续的，因而极大地拓展了研究视野。

自相似原则和迭代生成原则是分形理论的重要原则。它表示分。

4.中国现在量化投资靠谱吗

我本身做美国股市的，对国内市场只能是比较了解。美国那边确实有华人在做中国国内市场的量化投资。这些人都比较低调，比如在经贸大厦租个办公室什么的，但是并不谈论自己在做什么。我也认识几位在广州做了四五年的朋友。

单纯的量化投资是可行的，都是看期望和概率，影响因子很多。主要在CTA用，当然模型会复杂些，工具也多些（比如说考察两个index的spread，跨区等等）。这种相对低频的量化投资可以移植到中国二级市场上。很多人误以为大量的内幕交易和市场操纵会阻碍量化投资，其实不然。量化投资最大的敌人是市场有效，最怕完全效率市场。只要交易所披露信息及时，而市场总有人在交易，有人性在，那么量化投资就是可以做的。另外，基于量化指标的回测统计方法在中国远没有得到广泛使用，大多数投资者采用跟风投资或K线图形的策略。也正因为很少有人用这种方法买卖股票，这种方法在中国显得真正非常高效，做到了高收益低风险。据我所知，国内京东金融在今年也开始做了，另外实盈机构、爱猫爪APP的量化策略也非常领先。

最后，我认为风靡英美的高频交易在中国目前还不大行，因为手续费太高。