这已经是一个漫长炎热的夏天，而且这种情况一直都很明显。幸运的是，这让人们在编码！必须如此，因为重大升级和发布的数量令人震惊。

首先，这十年中最主要的一个是Hadoop的3.1版本，已经作为Hortonworks Data Platform 3.0发布。这个现代化版本的Hadoop已经变成了一个云兽。您现在拥有dockerization，GPU支持，Tensorflow，超快速SQL，擦除编码，以便知道您的数据的三个副本太多，以及升级组件的清单。

对我而言，运行dockerized工作负载的能力使您的大数据平台与云计算相当，使得编写大数据应用程序变得更容易，更快速，更易于开发人员。如果是这样的话，那就太棒了。您还可以将Spark应用程序编写为Docker容器，以及TensorFlow等。我的朋友阿莫尔写的真棒，通过对如何使用断云旋转起来，并在运行了财政库一dockerized星火应用的步行路程。

我在运行Centos 7的OpenStack集群中安装了HDP 3.0，它很流畅。我正在运行它，并想报告它非常棒。大多数组件都有升级，包括Hive到3.1，HBase到2.0，Zeppelin到0.8.0，Spark到2.3.1，Ambari到2.7.0，以及Kafka到1.0.1。

说到云，每个人都是，Hortonworks已经将混合云作为企业的真正选择。这包括扩大与现有云供应商的关系，如常年的Hortonworks合作伙伴，微软。与谷歌的关系非常有趣，为公司提供了更多选择。

真正具有创新性的是Cloudbreak 2.7，它允许您在多个云上运行多种类型的工作负载，包括Spark，Hive和NiFi。

企业现在可以使用开源工具使用动态配置，自动扩展以及Kerberos的完全安全性来部署到公共和/或私有云。此升级真正带来了您今天所需的功能。我是否提到了蓝图，以便您可以轻松地重复并使用DevOps进行处理？Spark和Zeppelin，EDW Analytics和EDW ETL为数据科学提供了许多有用的蓝图。您现在可以启动临时群集，运行一些分析，将最终结果存储到S3，然后关闭以避免未使用的VM上的昂贵云成本。

说到云，Hortonworks已经为其DataPlane全球数据管理服务Data Steward Studio添加了另一个开源工具。

DSS允许您在混合环境中跨多种类型和数据层策划，发现和组织数据资产。您可以了解和审核数据资产安全性并管理数据资产的正确使用和沿袭。如果您的数据是内部部署或在一个或多个云中，则无关紧要。这太棒了。这确实将您的数据湖提升到数据最重要的位置。它也展示了你今年会注意到的东西，Hortonworks已经将界面提升到非常干净，功能，现代和以用户身份为中心。

你不觉得我有没有提到Apache NiFi的文章吗？好吧，它升级到1.7.1。随着子项目MiniFi和NiFi Registry的更新。我最近关于多个设备摄取的物联网文章突出了有用的功能。NiFi注册表的杀手锏正在利用Git作为流文件持久性引擎。

还有其他一些有趣的东西，包括有史以来最好的项目， 来自Hotels.com的Circus Train，用于在集群之间复制Apache Hive表。

TensorFlow再次升级到1.9，在我完成这一行之前它可能会在2.0。在这一点上很难避免Keras与它的紧密集成。现在，Apache MXNet也支持Keras。让我们不要忘记ONNX，它有更多有趣的模型可供使用。

加密货币正在经历的过山车式旅行常常蒙上阴影，区块链正在爆炸式增长。所有主要的云供应商现在都在使用区块链。

大家多多关注，你的关注是我最大的动力，会不定期有干货更新。

想要大数据，java，Python学习资料的，可以私信我，既可获得学习资料。希望可以帮到大家啦。