NVIDIA GPU Last plotten

Morgen,

Ich wollte Mal fragen ob jemand einen einfachen Weg kennt, um GPU Auslastung aufzuzeichnen bzw. in einen Graphen zu plotten. Genauer geht es um NVIDIA Tesla Karten + time-shared und MIG Mode vGPUs mit GRID Treiber. Bisher habe ich qnvsm, nvtop und gpustat versucht. Die laufen zwar alle, aber haben ein zu enges, maximales Zeitfenster für die Aufzeichnung, z.B. 2 Stunden bei qnvsm. Ich würde gerne über mehrere Wochen aufzeichnen und plotten lassen können, z.B. ein Wert alle 10 oder alle 60 Sekunden, sowas.

Jetzt könnte ich mir das z.B. mit gpustat und sed/awk usw. selbst loggen und dann billig in's Libreoffice Calc reinziehen, aber ich wollte nur fragen, ob's was fertiges gibt. Das Grafana, das in unser RHV System integriert ist hat leider keine Funktionalität für's Monitoring unserer vGPUs dabei, sonst wär's ja perfekt gewesen. Aber grade das fehlt.

Kennt da jemand was simples?

Danke!

Ok, nvidia-smi habe ich natürlich drauf, das wäre dann in allen VMs mit vGPU sowieso dabei. Das bundled Grafana wollte ich eigentlich nicht unbedingt verändern, weil diese Änderungen wahrscheinlich weg sind, wenn man den Host bzw. die Management Engine vom RHV neu deployed / upgraded.

Werde ich wohl wirklich selber basteln müssen. Die anderen, genannten Komponenten schauen mir für das was ich gerne hätte ein bissl überkompliziert aus.

Also Die Last kriege ich recht einfach raus. RRDTool kenne ich noch nicht, aber nachdem du "innerhalb weniger Minuten" gesagt hast, hast bei mir schon den richtigen Knopf gedrückt!

Das schaue ich mir Mal an!

Docker haben wir stellenweise in manchen VMs rennen, aber nicht bei den vGPU Deep Learning Instanzen. Ich würd's "ganz normal" machen, das RRDtool gibt's schon als Package im RHEL, das wir als VM Guests nutzen. Gut, netdata zwar auch, aber ich schau mir zuerst Mal RRDtool an. Kann ich eh auf meiner lokalen Maschine auch mit beidem rumspielen, weil da rennt's gleiche Betriebssystem wie auf den VMs.