大数据的终极应用,解决一切问题的万物算法

作者：dhew(上海)“重要的不是去评断善恶，而是要去认识天真的内面和严格的现实所形成的...

那天我酒喝多了，好奇的问在场的一位程序员哥们。你们是怎么坚持下来的。这个社会对程序员有那么多的误解，你们是怎么坚持下来的。

那个程序员哥们估计也喝多了。就跟我讲了一个所有程序员都知道的故事。

----

一开始，只是有人想要做一个天气预报软件。想做这件事的人是一个程序员，是谁不重要。重要的是他想做的事，他想做的不是那种从气象局抓一下预测结果，再配一些小清新照片就完事的手机应用。他想从零开始，即从气温，风向，风速，云图入手，推测出接下来24小时的天气变化

程序员们很像手工匠人，天生喜欢从无到有做点什么东西出来。这个程序员也不例外。他从气象学的基本理论开始构建了一个算法，我们姑且把它称为算法A吧。软件通过调试上线运行的那天，气象局预报下午有雨。而软件预报天晴。

对自己开发的软件坚信不移的程序员被雨淋了个透湿，于是回头来寻找bug。在反复审视自己的作品后，他把问题锁定在了算法上。并不是算法有问题，而是所依据的气象学本身的数学表达就不完备。但他没能力把这门科学再往前推进一步。他把源代码上传到github，并开了一个帖子，向其他程序员们求助，有人回复说，没办法了，上机器学习吧。

和大众想象的不一样，程序员们对机器学习抱持着一种爱恨交加的复杂感情。爱是因为它让全世界的程序员们都出了次风头，恨是因为它完全不符合程序员们习惯的思考方式。

机器学习的原理和小学生做数学题很相似。你给一个习题集，再提供一个标准答案。计算机做一道题，对一遍答案，如果错了，就重做。如此反复几百万遍，直至正确为止。通过这个反复纠错的过程，计算机会自然得出一个正确率 的解题思路，然后如快刀斩乱麻一样解决所有类似的问题。而你甚至不需要给计算机灌输一加一等于二之类的基本数学理论。更无从领悟这个 的解题思路到底是什么。机器学习就好像一个魔法师的帽子。程序员们只能把手伸进去掏出兔子，却无法解释这个帽子到底是连通了异次元还是怎么的。

引入机器学习后，算法的准确率大幅提升，气象局预测下雨时，算法预测为下冰雹。气象局预测天晴时，算法预测为高温警报。虽然看起来只是在气象局的结果上叠加了一个正态分布。但程序员知道这个算法已经踏上了正确的道路。训练三周后，算法在预测的即时性和准确度上就已经超过了气象局。程序员欣喜的将软件放到网上，为所有人免费提供未来24小时的天气预测，并在预测结果上加入了“更 ，更及时”的标题。意识到这会让自己丢了饭碗的气象学家们开始上电视，宣称这是气象学理论推动社会进步发展，而程序员只是适逢其会。

看完节目的程序员愤怒将算法的代码开源了。立刻就有同仇敌忾的程序员跟进并重写了代码，剔除了依据气象学理论加入的基本原则和预测方法，直接使用机器学习由零开始构筑新的算法。这一次，项目获得了一个正式的命名：天气算法。

一开始，天气算法给出的结果惨不忍睹。例如它曾预测在撒哈拉沙漠正中央出现彩虹，或在印度洋的正中央出现沙尘暴。但在两周的训练后，它就碾压了自己的前任。不但准确率更高，需要的计算单位还更少。气象学家们被狠狠地扇了一巴掌。比名誉扫地更可怕的是，他们丢了工作。

程序员们隔着屏幕互相拍手庆贺。

----

然后，粮食公司找了上来。

古希腊的哲学家曾预测当年风调雨顺，橄榄丰收，于是事先租下了所有的榨油机，并在橄榄收获季大赚了一笔。而当代的粮食公司在做的差不多是同样的事。只是规模和 注都大了许多。他们希望这个预测软件能够提供未来三个月的天气变化，让粮食公司得以决定在什么时间用什么价格下注

新手程序员乐观的认为这只是对现有软件的再应用。而老程序员则明白事情没那么简单。要预测24小时后的天气，只需要就特定区域的气象数据进行建模。但要预测3个月后的天气，就需要将全球气候变化都纳入模型中统一考量。此前所使用的算法是局部的。要预测长期变化，就必须换成一个整体化的思考方式。

为了说明这一点，一个擅长3D建模的程序员用粮食公司提供的天气数据做了一个全球的气候模型，带上VR头盔，就能看到一个巨大的地球，这里风起云涌，那里电闪雷鸣。冰岛的火山爆发让整个欧洲上空笼罩着一片的淡淡阴云并经久不散；上升的气温让冰山融化，冰架断裂，冰山一路向下飘移；低温洋流形成的恢弘暗影横跨整个太平洋；洋流的末端，飓风成型进而横扫整个美国东部。

部分构成整体，而整体涵盖部分。现在是未来的缩影，而未来是现在的延伸。

论坛沉默了整整两个星期，然后一名程序员上传了自己的算法。这个注定被载入史册的算法开端平淡无奇，这名程序员简单的将之命名为“气候算法”。声称他使用了粮食公司提供的白癜风进行了训练，气候算法已能预测未来三个月的天气数据。而立刻就有好事者发现，算法预测一周后的纽约市会下一场鳟鱼雨。

这一次，混沌物理学家们也加入了等着看笑话的行列。他们不相信算法可以解决这个困扰了他们近半个世纪的问题。而后他们目瞪口呆的看着鳟鱼从天而降，在曼哈顿的马路上活蹦乱跳。于是他们也丢了工作。

绝大多数人并不关心混沌物理学家有没有工作。因为绝大多数人一辈子也没见过一个混沌物理学家。但挥舞着天气算法的大棒，在全球的粮食市场兴风作浪的粮食公司，立刻受到了媒体的