06 大数据平台下容器资源调度的优化算法研究

刘翔;李海荣;

1:内蒙古科技大学信息工程学院

2:内蒙古科技大学工程训练中心

摘要(Abstract)：

在大数据平台的资源调度环境下，Docker Swarm原生的3种算法并不能满足面向用户的要求.根据节点CPU、内存、磁盘I/O、网络I/O 4个维度，采用线性回归模型，动态预测每个节点所能创建容器的最大数量，提出一种基于用户的资源调度策略——Resource Scheduling For User(RSFU),使同一用户下的容器优先部署在同一节点上.实验验证，在实时更新的集群节点信息下，RSFU能够使大数据平台保持良好的负载均衡，使同一用户的集群内节点之间网络数据的传输更加高效.

关键词(KeyWords)： Docker;调度策略;RSFU;大数据平台;更新节点算法

基金项目(Foundation): 教育部产学合作协同育人资助项目(202002107034);; 内蒙古自治区自然科学基金资助项目(2020MS06028);; 内蒙古自治区高等学校科学研究资助项目(NJZY21387);; 内蒙古自治区本科教育教学改革研究资助项目(JGZC2022015)

作者(Authors): 刘翔;李海荣;

DOI: 10.16559/j.cnki.2095-2295.2023.01.006

参考文献(References)：

• [1] 薛晓丹.大数据时代下科学认识论的发展及影响研究[D].太原：太原科技大学，2021.

• [2] WANG H Y.Artificial intelligence and big data:proceedings of 2nd international conference on humanities,arts,and social sciences (HASS 2021)[C].Suzhou:Boya Century Publishing,2021.

• [3] 贾帅.基于OpenStack的大数据实验云平台的设计与实现[D].武汉：华中科技大学，2019.

• [4] 朱洪武.基于VMware云计算软件的数据中心云管平台改进及实现[J].西南民族大学学报(自然科学版),2021,47(01):53.

• [5] 黄凯，孟庆永，谢雨来，等.基于Docker swarm集群的动态加权调度策略[J].计算机应用，2018,38(05):1399.

• [6] 黄凯旋.容器化大数据云平台及其存储与调度技术研究[D].南京：南京大学，2018.

• [7] 龚坤.面向多计算框架的容器云资源调度方法研究与实现[D].北京：清华大学，2019.

• [8] 刘雨忻.面向负载均衡的边缘计算迁移算法研究[D].包头：内蒙古科技大学，2022.

• [9] 涂南昌.基于微服务与容器的负载均衡系统设计与实现[D].成都：电子科技大学，2022.

• [10] 刘梅，高岑，田月，等.基于Docker Swarm集群的调度策略优化算法[J].计算机系统应用，2018,27(09):199.

• [11] PRION S K,HAERLING K A.Making sense of methods and measurements:simple linear regression[J].Clinical Simulation in Nursing,2020,48(05):15.

• [12] 张先才，邓见光，安妮，等.一种基于高等代数的线性最小二乘问题的解法[J].东莞理工学院学报，2020,27(05):1.

• [13] 王昕.梯度下降及优化算法研究综述[J].电脑知识与技术，2022,18(08):71.

• [14] 王占丰，张林杰，吕博，等.基于机器学习的云计算资源调度综述[J].无线电通信技术，2022,48(02):213.