本文目录
- 什么是数据湖泊
- 数据湖和数据仓库的区别是什么
- 易华录所属板块易华录今日股价历史交易数据易华录股票为啥跌得这么惨
- 数据湖的历史数据保存
- 如何区别数据库、数据中台、数据湖
- 数据湖是什么东东 数据湖的四个最佳实践
- 如何搭建数据湖架构
- 数据中台特征
- 数据管理，数据治理，数据中心，数据中台，数据湖都是什么意思，有什么关系呢
什么是数据湖泊
数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。
数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。
数据湖和数据仓库的区别是什么
数据湖就是一个集中存储数据库，用于存储所有结构化和非结构化数据。数据湖可用其原生格式存储任何类型的数据，这是没有大小限制。
数据仓库是位于多个数据库上的大容量存储库。它的作用是存储大量的结构化数据，并能进行频繁和可重复的分析。
数据科学家
可能会用具有预测建模和统计分析等功能的高级分析工具。而数据仓库就是数据仓库非常适用于月度报告等操作用途，因为它具有高度结构化。在架构中数据湖通常，在存储数据之后定义架构。使用较少的初始工作并提供更大的灵活性。
在数据仓库中存储数据之前定义架构。这需要你清理和规范化数据，这意味着架构的灵活性要低不少。
其实数据仓库和数据湖是我们都需要的地方，数据仓库非常适用于业务实践中常见的可重复报告。当我们执行不太直接的分析时，数据湖就很有用。
易华录所属板块易华录今日股价历史交易数据易华录股票为啥跌得这么惨
5G网络已经渗透到我们的生活，大数据产业也随之蓬勃发展，融入到经济生活的方方面面，尤其是在金融、医疗健康、政务几个领域成绩十分突出，可以看到软件服务行业同样也是一个非常受大家欢迎的赛道。
接下来咱们一块来看一下软件服务行业的细分龙头--易华录。
在开始分析易华录前，我把整理好的软件服务行业龙头股名单分享给大家，点击就可以领取：
宝藏资料：软件服务行业龙头股一览表
一、从公司的角度来看
公司介绍：易华录成立于2001年，起初是为政府提供专业化智能交通管理，为交通领域提供解决方案。到2016年公司转向智慧城市业务，通过打造数据湖，为数字经济提供服务，成为数字经济基础设施综合服务商。
凭借着强大的业务能力，公司在疫情期间积极参加与疫情抗战工作，为交通部提供了疫情指挥平台，并且还为各个数据湖项目公司提供了疫情监控产品，有利于加快推动疫情的防控工作。
在简单介绍易华录之后，我们再来看看该公司有什么投资亮点？值不值得我们投资？
亮点一：技术优势
易华录城市数据湖所使用的是公司自主开发的以蓝光技术为核心的光磁一体储存云平台，具有冷热数据交换的优点，从而降低存储成本，还能使国家数据存储技术的短板得到解决。
公司数据湖眼下正采用蓝光储存技术，从长期来看存储成本和维护成本仅是电磁存储的10%。不光如此，蓝光储存还有低能耗、长期稳定的优势之处，对外界供电条件跟环境方面的要求也是比较低的。凭借这样的核心技术能够对公司竞争力起到提升作用。
亮点二：业务优势
在业务上，易华录目前投入运营的城市大数据产业园有23个，其中有30个数据项目已经开始实施，覆盖了20个省、直辖市，就交通、安防等5大行业，总共细分为37个领域。
此外，国内已有30多个节点由公司数据湖建立起来了，预计在每个节点上大致上线2000多个机架。通过在全国范围内大面积地布局，十分利于公司抢占更多的市场份额。
亮点三：产业链优势
在光存储领域方面，易华录产业链已经是十分完整的，具备全球最强的光驱制造实力，拥有前沿的光盘库存技术、光存储系统技术以及完善的蓝光存储产业链，目前可实现产品500G的量产，目前IT产品的研发工作井然有序。
公司所拥有的齐全的产业链不光能够满足市场各类用户的要求，还能依据市场需求情况适时调整生产，实现生产效率最大化。
由于篇幅受限，更多关于易华录的深度报告和风险提示，我整理在这篇研报当中，点击即可查看：【深度研报】易华录点评，建议收藏！
二、从行业来看
随着5G在近年来的快速发展，国内数字基建需求跟以前相比提升了很多。大数据成为5G新基建的重点环节，不管是在民生还是工业领域，都是必不可少的，因而，数据产业的发展将步入快速发展的阶段。
同时，国家也将数据看作是重要的战略资源和关键要素，而这所代表的意思就是大数据战略上升为国家战略，总而言之，与数据产业密切关联的企业的发展空间将会很大。
所以我觉得对于达到时代的发展的要求，易华录是可以做到的，发展的潜力还是很大的，未来发展值得看好。
但是文章具有一定的滞后性，如果想更准确地知道易华录未来行情，直接点击链接，有专业的投顾帮你诊股，看下易华录估值是高估还是低估：【免费】测一测易华录现在是高估还是低估？
应答时间：2021-11-25，最新业务变化以文中链接内展示的数据为准，请点击查看
数据湖的历史数据保存
详细如下：
据仓库作为一种技术出现，它将组织的关系数据库集合集中在一个伞下，允许作为一个整体查询和查看数据。
起初，数据仓库通常运行在来自 Teradata 和 Vertica 等供应商的昂贵的、基于本地设备的硬件上，后来在云中可用。从 90 年代末开始，数据仓库成为大公司最主要的数据架构。
如何区别数据库、数据中台、数据湖
数据湖、数据仓库和数据中台，他们并没有直接的关系，只是他们为业务产生价值的形式有不同的侧重。
一、区别：
数据湖作为一个集中的存储库，可以在其中存储任意规模的所有结构化和非结构化数据。在数据湖中，可以存储数据不需要对其进行结构化，就可以运行不同类型的分析。
数据仓库，也称为企业数据仓库，是一种数据存储系统，它将来自不同来源的结构化数据聚合起来，用于业务智能领域的比较和分析，数据仓库是包含多种数据的存储库，并且是高度建模的。
数据中台是一个承接技术，引领业务，构建规范定义的、全域可连接萃取的、智慧的数据处理平台，建设目标是为了高效满足前台数据分析和应用的需求。数据中台距离业务更近，能更快速的相应业务和应用开发的需求，可追溯，更精准。
二、关系：
数据湖、数据仓库更多地是面向不同对象的不同形态的数据资产。而数据中台更多强调的是服务于前台，实现逻辑、标签、算法、模型的复用沉淀。
数据中台像一个“数据工厂”，涵盖了数据湖、数据仓库等存储组件，随着数据中台的发展，未来很有可能数据湖和数据仓库的概念会被弱化。
三、小结：
数据空间持续增长，为了更好地发挥数据价值，未来数据技术趋于融合，同时也在不断创新。
数据湖是什么东东 数据湖的四个最佳实践
数据湖听起来很简单：
把数据或信息汇集到一个结合处理速度和存储空间的大数据系统――Hadoop集群或内存解决方案，那样业务部门就能访问数据，获取新的洞察力。
不过，与IT行业的许多技术一样，现实比梦想困难得多。
如何搭建数据湖架构
Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据
“我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数据湖架构。”
Garnto的团队一天中需要收集5000多万条美国零售交易数据，并分发到20个节点的集群中,这些节点运行在Cloudera的Hadoop分布式机架上，使用Pentaho的数据集成工具。从银行和信用卡公司收集到的数据，会被传入设计好的预测模型中，以确定个体持卡人所需的优惠券。Edo的业务伙伴每周通过电子邮件发出优惠券，这些优惠券会在产生对应消费时生效。
每日的数据构建时间缩减到大约四个小时，Garnto表示，根据正在运行模型的复杂性，Edo的数据分析师能“在几分钟或几小时内完成他们的工作。而以前，他们可能累的要死。
但数据湖上并不总是阳光灿烂，一帆风顺的。起初，Edo只有一个员工具有Hadoop MapReduce编程框架的经验。公司联合Chicago总部和Nashville分部，对其他员工进行Hadoop技术内部培训，但后来这使得他们不得放弃了熟悉的数据查询方式。“我们花了很多时间更新这一过程。”Garnto说。
创建一个保证原始数据一致性和生成标准化分析数据集的两步程序也需要花时间去解决。目前拥有包含450亿条记录(总共255TB的数据)的集群，已成为Edo业务操作的核心，对于这个集群，Garnto需要小心管理，谨慎添加新的Hadoop生态技术。否则，对公司某个部分的调整可能会影响整个系统对其他部分的工作处理。
数据湖使实时分析成为了可能
Webtrends公司是另一家数据湖的使用者，该公司收集并处理网站、手机、物联网上的活动数据。这家位于波特兰的公司于2014年7月部署了基于Hortonworks的Hadoop集群，目前正在试用阶段，计划在2015年初完全实现。它最初只支持了一个叫Explore的产品，让企业营销人员做客户数据的专项分析。Webtrends产品架构主管PeterCrossley表示，每个季度大约有500 TB的数据添加到60个节点的集群中，现在总共有1.28 PB。
随着时间的推移，Webtrends计划使用Hadoop平台代替自有的数据网络附加存储平面文件系统。Crossley表示，使用Apache Kafka消息队列和自动化脚本处理技术，互联网点击流数据可以涌入集群和并在20至40毫秒内做好分析准备工作。因此，报表和分析过程几乎可以在瞬间开始，这比老系统快得多。Hadoop集群还支持进阶分析，且能降低25%到50%的硬件成本。
Crossley表示，采用数据湖概念需要公司内部在管理和使用Webtrends为客户收集的信息时做到“思路上的转变”。之前，该公司主要使用数据存储构建通用报表。但是，一个数据湖与其说是一个真理，不如说是真理的来源，在其之上，您可以构建多个数据集以供不同的分析用途。
Webtrends也不得不认真考虑其数据湖的架构和数据治理过程，以防止Hadoop集群变成“数据沼泽”，正如Crossley所说。刚刚进入系统的原始数据结构十分松散(+微信关注网络世界)，但是应该有非常严格的规则来规定其应该是什么样子。此外，他的团队已经将集群分成三个不同的层次：一个用于原始数据，第二个用于日增量数据集，另一个用于存储需要被纳入的第三方信息。基于不同的数据集细节，每一层次都具有自己的数据分类和治理策略。
对你的数据保持控制
Razorsight公司CTO Suren Nathan还指出，建立和管理一个Hadoop 数据湖需要具备良好的纪律性和组织性。否则系统很快就会变成一个失控的垃圾场，就像一个由很多文件组成的SharePoint，没有人知道如何找到这些文件。
Razorsight为电信企业提供了一组基于云的分析服务，2014年第二季度开始使用运行在Hadoop集群上MapR技术。客户组、操作和网络数据通过自有工具被输入到系统中，通过Spark引擎的处理后，由Razorsight数据科学家进行分析;集群具有五个生产节点和120 TB的存储容量。
和Webtrends类似的，Razorsight数据湖被分割成三个分区。在Razorsight的案例中，一个数据湖能够存储不到六个月的数据，另一个包含旧的但仍然活跃的数据，第三则存储不再使用的但需要保留的信息。目前，在这两个活动区域中有超过20 TB的数据。为了保证系统工作平稳，Razorsight招聘了具备分布式系统的数据治理和开发经验的新员工，同时也培训现有员工使用Hadoop，Spark和相关技术的能力。
目前是迁移到新平台的阶段。每TB大约花费2000美元，Hadoop集群成本仅仅是公司之前所部署的IBMNetezza数据仓库系统的十分之一。但Nathan表示，Razorsight首先建立专门用于数据存储的集群，然后再进入处理和准备阶段。因为Netezza硬件和IBM SPSS分析软件之间存在的紧密联系，分析建模和数据可视化仍会存在于旧的系统中。建模将保持现状，但Nathan预计到今年年底，将可视化层和Razorsight分析结果数据转移到数据湖架构中。
转自网界网：
数据中台特征
数据中台是中台的核心平台之一，简单来说就是数据仓库，是将传统数据仓库扩展到企业级所有数据的更大领域，对这些数据进行数据采集、数据建模、数据服务，并提供给前端开展不同维度的数据应用。
“数据中台”重构了企业数据系统的架构，将其分为三个层级：
底层
底层是数据收集层，就是数据湖，来自ERP、SRM等各个信息化系统中的业务数据、财务数据、大数据，结构化和非结构化数据直接汇入这层数据湖中，实现统一、集中的数据收集。
核心层
中间的核心层是数据存储与计算层，核心是通过数据建模，形成服务化的数据应用。数据模型可以分为基础模型、融合模型和挖掘模型。基础模型一般是关系建模，主要实现数据的标准化；融合模型一般是维度建模，主要实现跨越数据的整合，整合的形式可以是汇总、关联、解析；挖掘模型是偏应用的模型，作为企业的知识沉淀在中台内，可在数据应用端调取进行复用。
上层
上层是业务应用层，聚焦于对数据的应用和展现，核心层的数据模型可以共享到这个层级中并实现复用，赋能企业业务发展。数据应用通过将数据融入企业具体的业务经营场景中，基于丰富的数据模型开展场景化应用，用数据解决具体的业务问题，具体应用包括产销协同分析、投资分析、产品定价、商品推荐、客户画像等，数据展现聚焦于以多样化的形式展现数据分析应用的结果，这些形式包括管理驾驶舱、即席分析、自助报告、数据大屏、移动APP等，系统可以根据不同用户在不同场景下的需求调整合适的展现方式。
数据管理，数据治理，数据中心，数据中台，数据湖都是什么意思，有什么关系呢
数据治理和数据管理
简单来说治理就是管理的管理。
管理你得遵循一定得标准规范体系，一定得流程，一定得组织角色分工，而这些内容就必须先通过数据治理定义清楚。管理只是根据数据治理规范体系去执行管理和监督得职责。
既管理执行得依据是治理规范体系。
如下图：
数据中台和数据湖
这个要解释清楚不太容易，因此我尽量做简化。
数据湖一般是公有云服务商提出得一个概念，即企业得结构化，非结构化数据都可以全部采集和存储到我这里来。数据湖就是一个大得存储站，这个存储是分布式可无限扩展得，存储过来得数据也不会去清洗和加工，尽量保持原样。
在存过来后，数据湖再提供一些标准得开放接口给你使用数据，这些接口包括了查询SQL类接口，计算引擎接口，流处理接口等。提供接口得目的也很简单，你能够方便得使用你存储过来得数据。
数据湖得存储一般是分布式对象存储或分布式文件存储，即使你是结构化数据库采集过来得数据，仍然会转成统一的存储方法，方便扩展。
数据中台简单来说企业共享数据能力下沉并对外开放。
数据中台包括了底层数据技术平台（可以是我们熟悉的大数据平台能力），中间的数据资产层，上层的数据对外能力开放。
核心的资产层本身也分层，从最底层的贴源数据，到分域应用数据，再到上层的数据仓库和数据标签库。而数据湖更多对应到数据中台概念里面的数据贴源层。
企业实际在建数据中台的时候实际很少用数据湖这个概念。
两者的对比映射如下：
数据中心
对于数据中心这个词，原来在BI系统应用里面也经常出现。
但是现在数据中心一般特指IT基础设施，大的公有云数据机房等，在BI系统或数据中台里面都很少用这个词。即数据中心这个词偏IT硬件基础设施层面了。
比如下图，一般指硬件和网络基础设施架构了。
