专栏名称: 大数据D1net
大数据D1net隶属于企业网D1Net,提供大数据存储、大数据分析、大数据挖掘等有关大数据的最新技术和资讯。
目录
51好读  ›  专栏  ›  大数据D1net

简化数据池可为组织节省时间和资源

大数据D1net  · 公众号  · 大数据  · 2020-04-27 13:30

正文

请到「今天看啥」查看全文


行业专家对组织在寻求降低其数据湖的复杂性时需要考虑的问题提供了自己的见解。



咨询和托管服务提供商Onica公司首席解决方案架构师Mark McQuade学习和拓宽了他对从Docker和Kubernetes到人工智能和深度学习的各种知识。 McQuade分享了对数据池的看法。


为什么组织使用数据湖?


数据湖用例的范围从数据科学家开发的机器学习算法到构建统计可视化,以及使用生成的见解来指导业务决策。


为什么数据湖如此复杂


随着数据每五年增长10倍,数据平台需要扩展1000倍才能满足未来15年的存储和处理要求。采用数据湖可以减轻这种负担,但是由于数据清理、数据准备和安全配置的复杂性,建立数据湖的过程涉及一系列步骤,这些步骤可能变得非常繁琐,将持续数月之久。此外,在数据湖的整个生命周期中,还涉及其他人工步骤,例如管理和监视ETL(提取、转换、加载)作业,基于数据更改更新元数据,维护清理脚本等。


建立数据湖需要多长时间


建立一个完善的数据湖可能既困难又耗时,这个过程可能需要三到六个月的时间。使用AWS Lake Formation可以简化以往花费大量人力构建数据湖的工作,并且可以将构建数据湖的时间减少到数周,不必那么复杂或花费那么长时间。


简化数据湖有什么好处


组织简化数据湖可以节省大量的时间和减少麻烦。通过完善组织对数据湖的维护,可以减少保持一切正常运行所需的内部专业知识和资源,使IT团队能够专注于更紧迫的项目,从而从长远来看节省了组织成本。


数据还可以帮助组织预测客户行为,自动化流程以提高效率,除了自动化客户服务之外,还可以通过速度和可用性增强产品供应。这些用例要求数据是安全的和实时可用的,随着越来越多的人访问数据,重要的是数据平台是灵活和可扩展的。AWS Lake Formation可以解决所有上述问题。







请到「今天看啥」查看全文