Using Control Theory to Reduce Disk Congestion Caused by Unpredictable I/O in Cloud Computing - CRISTAL-SPIRALS
Poster De Conférence Année : 2024

Using Control Theory to Reduce Disk Congestion Caused by Unpredictable I/O in Cloud Computing

Utiliser la théorie du contrôle pour réduire la congestion des disques dans un cloud de calcul

Résumé

In the context of distributed cloud computing systems, computing nodes often share stockage resources through shared file systems. Some computations can have strict requirements regarding I/O so it appears necessary to avoid any congestion or saturation of the file system. It can be mitigated with an a priori knowledge of the I/O profiles of computing jobs and traditional scheduling methods. However, in some contexts of cloud computing, like the Qarnot one, the same storage resources can be used to perform lower priority tasks than calculations such as downloading input data for the next tasks, deleting cached data or doing task checkpointing. Those additional tasks generate inherently dynamic and unpredictable traffic that can disturb efficiently established scheduling strategies. This can lead to a performance degradation and an energy overconsumption that we want to avoid. With the induced traffic being unpredictable, we believe that control theory is a good candidate to address this problem. In this work, we explore how suitable this strategy is by choosing the most relevant sensors and actuators for controlling the system.
Dans le contexte d'un cloud de calcul distribué, les nœuds de calcul partagent souvent des ressources de stockage via des systèmes de fichiers partagés. Certains calculs peuvent avoir des exigences strictes en matière d'I/O, il apparaît donc nécessaire d'éviter toute congestion ou saturation du système de fichiers. Cela peut être atténué par une connaissance a priori des profils d'I/O des tâches de calcul et des méthodes d'ordonnancement traditionnelles. Cependant, dans certains cloud, comme celui de Qarnot, les mêmes ressources de stockage peuvent être utilisées pour effectuer des tâches moins prioritaires que les calculs, telles que le téléchargement de données d'entrée pour les prochaines tâches de calcul, la suppression de données en cache ou la sauvegarde d'état de calculs. Ces processus supplémentaires génèrent un trafic intrinsèquement dynamique et imprévisible qui peut perturber les stratégies d'ordonnancement établies de manière efficace. Cela peut conduire à une dégradation des performances et à une surconsommation d'énergie que nous souhaitons éviter. Le trafic induit étant imprévisible, nous pensons que la théorie du contrôle est un bon candidat pour résoudre ce problème. Dans ce travail, nous explorons l'adéquation de cette stratégie en choisissant les capteurs et actionneurs les plus pertinents pour le contrôle du système.
Fichier principal
Vignette du fichier
poster per3S-names.pdf (632.25 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04679808 , version 1 (28-08-2024)
hal-04679808 , version 2 (05-09-2024)

Identifiants

  • HAL Id : hal-04679808 , version 2

Citer

Thomas Collignon, Sophie Cerf, Alexandre van Kempen. Using Control Theory to Reduce Disk Congestion Caused by Unpredictable I/O in Cloud Computing. Performance and Scalability of Storage Systems (Per3S), May 2024, Paris, France. ⟨hal-04679808v2⟩
22 Consultations
6 Téléchargements

Partager

More