专栏名称: 人工智能与大数据技术
分享大数据、云计算、人工智能等高科技先进技术
目录
相关文章推荐
大数据文摘  ·  0产品、0用户、0API!欧洲 AI ... ·  昨天  
大数据文摘  ·  Meta首席科学家LeCun:当前 AI ... ·  5 天前  
大数据文摘  ·  1步碾压250步!何恺明新作祭出MeanFl ... ·  3 天前  
51好读  ›  专栏  ›  人工智能与大数据技术

从七年的软件开发转型为DBA,17年数据库老司机的经验分享

人工智能与大数据技术  · 公众号  · 大数据  · 2017-08-17 10:08

正文

请到「今天看啥」查看全文


对于超融合技术, 使用目的是为了提高宜信上线服务的效率。超融合可以提供很好的弹性,但其性价比并不高,且在弹性达到一定的规模后,会受到限制。在特定非发展阶段,如果中小型公司想快速扩张业务,用超融合还是比较合适的。


在数据库方面, 公司越来越多业务考虑用开源数据库解决方案,特别是 MySQL,也包括一些 Redis、MongoDB 等 NoSQL 方案。


对于大数据领域, 从早期传统的数据分析报表,到 BI 分析、数据挖掘、机器学习等等,宜信正在不断摸索实践,探索在金融领域如何提供更好的服务。旗下宜人贷的“极速模式”,正是风控模型在大数据领域的成功实践。

数据库迁移的启示


作为数据库的一个老兵,韩锋经历了很多很多。他特意强调,数据是企业的命脉,数据库的重要性如何强调都不过分。


他以一次数据库迁移为例,向我们说明了 DBA 工作的不容易及给我们带来的种种启示:

  • 详细的技术方案。 在整个迁移过程中,最消耗精力的是梳理整个迁移流程:包括制定规范、迁移流程,跟所有相关部门核对方案。

  • 实施计划。 具体到实施计划要尽可能的详细、完善。例如,有很多应用会连接到数据库,但有些 IP 地址并不在登记信息范围内。

    因此,在迁移准备期就需要注意排查。这一工作是非常消耗精力的,也表明先前工作存在不完善的地方。

  • 部门合作。 与相关部门核对迁移方案、做好沟通、协调工作。

  • 做好预案。 在迁移前,团队做了很多的预案,包括正常迁移流程,以及出现问题后备用的迁移流程,以及备用的回退方案。


在正式迁移前,团队大概一周演练一次,前前后后演练了四五遍,每次都是半夜去演练。


演练完之后立即做好记录,包括它的操作步骤,一步一步地去细化,最终形成了一本厚厚的迁移文档。最后,真正迁移的时基本上不用敲命令,只需把脚本粘过来就可以了。

数据管理方法论


韩锋再次强调,在过去,专利、技术或者运营模式是企业的命脉,而未来数据也是企业的命脉之一,如果企业没有掌握数据只能被动发展,所以数据管理就显得尤为重要了。


对公司而言,数据不仅仅只保存在数据库中,它可以存在不同的地方,以各种形态存在。它可能是一个文件,可能是多用户上传的资料片、图片,还可能是用户的一些语音。这些数据不仅它的位置是分散的,形态是不一的,价值也是不一样的。


面对纷繁复杂的数据,如何进行数据管理呢?

  • 首先,企业管理者要对数据高度重视。

  • 其次要做的是对数据进行摸底,了解它们在哪里,存在的形式,以及价值。







请到「今天看啥」查看全文