银行spark
大数据与日常应用容器化混合部署，如何合理分配资源？
混合部署时候，初衷是想当日间应用或者大数据应用在达到上限时候，进行动态扩容。在资源不紧张时候，自动释放资源。释放出的资源给下一个高峰期的日间应用或者大数据应用申请使用。那么在确认初始化配置的资源上限时候，应该参考什么去设置。 设置的过大，弹性扩缩容的意义就不大...显示全部
返回dean25的回答
离线在线混合部署后，主要是错峰运行。夜间(22:00-8:00)之间是在线的低谷期，可以出让较多的CPU计算资源给大数据，比如40%-45%。白天(8:00-18:00) 是在线应用的高峰期，可以出让比如15%-20%的资源给大数据作业；晚上(18:00-22:00)在线业务负载相比白天下降，可以出让30%的资源给大数据。这样将计算节点的总体CPU使用率控制在不超过50%。实现这种控制的方式，是计算节点提供对于低优大树作业容器可使用资源总量的压制， 当然这样带来的影响是，白天如果大数据应用申请了过多CPU资源，但是实际上并得不到那么多，就会变得慢一些。
目前我们是给每个应用项目组一个作业提交队列，并配置了队列的资源配额，在配额范围内可以提交任意多的作业。 然后通过计算节点低优作业资源总量控制，实现实际的资源上限分配控制
浏览87