大数据(Big Data),是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...(more)
银行spark·16小时前
混合部署时候,初衷是想当日间应用或者大数据应用在达到上限时候,进行动态扩容。在资源不紧张时候,自动释放资源。释放出的资源给下一个高峰期的日间应用或者大数据应用申请使用。那么在确认初始化配置的资源上限时候,应该参考什么去设置。 设置的过大,弹性扩缩容的意义就不大...(more)
浏览112
银行大数据·17小时前
大数据采用容器化部署,对于namenode,resoucemanger等管理节点如何动态扩缩容?目前多的都是针对datanode或者是nodemanger的扩缩容。
浏览62
大数据·1天前
大数据在容器中部署后,容器化的大数据能否发挥同规格下虚机大数据的性能?有什么手段保障容器大数据的性能吗
浏览192
大数据·1天前
大数据和生产业务混合部署,有哪些手段方法来保证生产业务不受大数据业务的干扰?
浏览84
软件开发大数据·2天前
容器化技术路线落地大数据混部技术选型应该时完全容器化还是部分容器化?比如选择Spark on K8s 还是 Hadoop yarn on K8s。
浏览172
银行大数据·2024-04-28
改造后的运维体系将做何种调整,大数据监控与容器监控是否可以做到统一、精确,实现有效的反馈机制,保证业务稳定运行
浏览736
银行大数据·2024-04-28
如何实现业务容器与大数据容器的混合调度部署,两者的调度器的逻辑如何进行统一,以达到在保证安全生产的前提下,充分利用集群资源,降本增效
浏览638
银行大数据·2024-04-28
使用何种方式将大数据与容器结合起来,是否有一些比较专业的厂商或是业界比较成熟的方案可以提供有效的落地方案
浏览734
银行大数据·2024-04-28
大数据平台容器化的底层容器使用何种技术,集群与平台,厂商或是开源的容器云平台是否可以完全兼容并提供大数据场景下的相关能力
浏览577
大数据·2024-04-23
大数据平台都基于容器话部署了,那请问类似CDH、星环等大数据平台产品还需要继续采购吗?这些产品与容器化部署是一个什么样的关系?
浏览728
大数据·2024-04-23
请问大数据平台容器化之后,flink、spark等计算任务运行到容器上了,那相应原有部署模式下计算任务读写数据存储的HDFS运行在哪里?读写性能相对原有物理机部署模式有多大差异?
浏览521
银行Kubernetes·2024-04-23
flink任务在容器云集群中运行时,需要将一部分数据放在容器中处理,如果放在本地盘可能会将文件系统占满,影响到其他容器的运行;如果存算分离,可能IO不能满足需求。建议采用哪种方式?...(more)
浏览504
银行大数据·2024-04-23
生产环境上在离线业务混合部署实现需要用到k8s的弹性扩缩容,而弹性扩缩容的上限又涉及到命名空间的quota限制。那么当一个新系统上线k8s的时候,是否应该限制命名空间的cpu\内存的quota,如果要限制的话,如何配置才是合理的。...(more)
浏览546
大数据平台·2024-03-08
目前是技术方案选择的问题我们目前拥有离线区块链交易数据数据体量:30亿条交易数据,每条交易包含10个字段(主要的字段:发送地址、收款地址、交易类型、交易金额)我们想做的:根据业务需求提出分析策略,利用机器学习建立模型输出分析结果,为交易地址打上标签策略比如:实体聚集:多个账...(more)
浏览978
X社区推广