Comment fixez-vous les requests et les limits CPU et mémoire d'une charge de travail ?

Fixez les requests à partir de l'usage observé, typiquement autour de la médiane pour le CPU et près du pic pour la mémoire, parce que les requests pilotent l'ordonnancement et la capacité. Fixez la limite mémoire près de la request, puisque la dépasser fait tuer le conteneur, et soyez prudent avec les limits CPU parce qu'elles provoquent du throttling qui apparaît comme une latence inexpliquée. Revoyez les chiffres avec des données réelles au lieu de les copier d'un service à l'autre.

Les requests, c'est ce que l'ordonnanceur utilise pour placer le pod et ce que vous payez en réalité, et les limits, c'est le plafond que le runtime fait respecter. Les deux ressources se comportent complètement différemment. Le CPU est compressible, donc atteindre une limite CPU veut dire que le conteneur est throttlé, et ça apparaît comme des pics de latence sans cause évidente, ce qui est horrible à déboguer. La mémoire n'est pas compressible, donc dépasser la limite mémoire veut dire que le conteneur est tué net. D'où mes réglages par défaut : la request CPU vient de la médiane d'usage observée avec un peu de marge, et je suis en général prudent avec les limits CPU sur les services sensibles à la latence, ou alors je les mets généreuses. Pour la mémoire, je mets la request près du pic réaliste et la limite proche de celle-ci, comme ça une fuite échoue vite et de façon visible plutôt que de grignoter le noeud en silence. Je tire les chiffres de deux semaines de percentiles d'usage réel, pas d'une copie d'un autre service, et je les revois après les tests de charge. L'autre face, c'est que des requests gonflées sont la principale raison pour laquelle des clusters ont l'air vides et n'arrivent quand même pas à ordonnancer quoi que ce soit.