大数据平台容器化混合部署，扩容弹性较云化+分布式存储相比的优势和提升在什么地方 ?针对你这个话题，我是这样的思考，你可以看看是否有解答：容器相比云化虚机，弹性能力是数量级的提升。大数据容器化后做混合部署，可以复用容器的弹性能力，实现大数据作业的serverless化，即无需为大...
结合我们行的情况，要想对数据进行分类分级，先要进行数据资产的梳理，一般厂商数据分类分级平台都有一个简单的资产梳理功能，是基于数据库层面而非业务层面的资产梳理。根据资产梳理的情况，根据 中国人民银行发布《金融数据安全 数据安全分级 指南 》(JR/T 0197—2020) 进行数据...
科研大数据需要的硬件需要结合建设内容。如果是传统的客养大数据平台，主要的工作数数据采集处理存储机上NLP，普通的集群和存储也可以满足，但是内存需要的资源会多一些，存储资源要大，毕竟基于数据的处理，可以考虑SSD。如果是多模态的科研平台，包括需要在这个科研平台上嫁接大模型...
文章介绍了大数据平台中元数据库MYSQL异常故障的定位和解决思路，问题根源是大数据集群中租户的不规范使用所导致，解决方案包括从HIVE组件、MYSQL数据库和YARN组件着手，以及临时和永久措施。避免问题出现的优化包括及时清理HIVE表分区信息、调整执行程序、纳入租户管理规范和...
(more)文章分析了服务器异常重启问题，发现是audit占用内存导致的系统重启，需要同步社区内核补丁。
大数据平台分类包括处理过程、数据类型、处理方式、部署方式；选型有云平台、商业化平台、自主搭建平台；产品有星环科技TDH、阿里云、华为FusionInsight；架构设计包括数据源、接入层、存储层、计算层、分析层、数据服务层、数据应用层；采集方式有系统日志和网络爬虫。...
(more)1) 通过系统日志采集大数据 用于系统日志采集的工具，目前使用最广泛的有：Hadoop 的Chukwa、ApacheFlumeAFacebook的Scribe和LinkedIn的Kafka等。这里主要学习Flume。 Flume是一个高可靠的分布式采集、聚合和传输系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据，同...
大数据平台的总体架构设计从下向上依次为： 数据源：支持多种数据源，可以实现接入多个业务系统数据进行接入整合； 接入层：业务数据库定时同步和基于canel的实时同步结合，日志数据实时接入，互联网海量数据实时爬取清洗； 存储层：HDFS分布式文件系统实现海量数据存储，Hbase提供实时数据...
匿名用户
8个小时做迁移肯定是不够的，所以这样的情况下只能做割接不能做迁移，性能也没有做测试，架构也没有做测试，像这种情况下架构肯定是要调整的，所以只能调整架构以后，业务测试通过以后，8个小时来做割接。算算你将近500tb的数据，8个小时，你通过网络来进行迁移，传输数据的时间都不够。...
