Stop Benchmarking Linux Wrong (Use This)
Cette vidéo est un guide critique et pratique pour benchmarker correctement les performances de jeu sous Linux, en insistant sur l’importance des métriques de fluidité (1% lows) et en proposant une chaîne d’outils ouverte (Phoronix Test Suite, MangoHUD, MangoPlot) pour...
Voici une analyse détaillée de la transcription de la vidéo YouTube, structurée pour mettre en lumière les technologies, outils et bonnes pratiques évoqués.
SYNTHÈSE STRUCTURÉE
Critique des benchmarks Linux grand public
L’intervenant commence par dénoncer les erreurs fréquentes dans les benchmarks Linux réalisés par des créateurs de contenu généralistes. Il prend pour exemple un article de LTT Labs, pointant du doigt l’absence de prise en compte du Proton version et une explication erronée des drivers graphiques. « Just comparing like this up here to the average FPS doesn’t really tell you anything », affirme-t-il, car les 1% lows (le 1ᵉʳ percentile des fréquences d’images) sont bien plus révélateurs de la fluidité réelle.
L’importance des 1% lows et de la médiane
L’intervenant rappelle son expérience avec Path of Exile sous Linux il y a six ans : l’FPS moyen était bon, mais les 1% lows étaient « atroces », provoquant des saccades. Il explique que la médiane est plus fiable que la moyenne, car cette dernière peut être faussée par des pics (ex. écran de chargement à 300 FPS). Un écart important entre le 1% et le 50% (médiane) indique des micro-saccades, surtout si le 1% descend sous 60 FPS.
Les outils de benchmarking : Phoronix Test Suite et MangoHUD
Pour une analyse complète, l’intervenant recommande d’utiliser Phoronix Test Suite (PTS) pour les benchmarks système, mais précise qu’il ne capture pas les 1% lows. Il faut donc le coupler avec MangoHUD, un outil de monitoring en jeu. « You’d install Phoronix, you’d install MangoHUD », dit-il, en soulignant que MangoHUD génère des fichiers CSV contenant les données de trame.
MangoPlot : un fork pour les petits benchmarks
L’intervenant présente MangoPlot, un outil créé par Flightless Mango, qui transforme les CSV en graphiques (heatmap, médiane, 1%). Il a forké ce projet pour l’adapter aux benchmarks courts (ex. Cyberpunk 2077 lancé 4-5 fois) qui ne produisent pas assez d’échantillons pour la version originale. « You can fork this project, make it your own, even do your own branding if you wanted to », précise-t-il, en insistant sur la nature open source du code.
Configuration pratique : batch setup et output
L’intervenant détaille la procédure : configurer Phoronix en mode batch (pour éviter les questions répétitives), lancer un benchmark (ex. Unigine ou un jeu intégré comme Cyberpunk 2077), et faire pointer MangoHUD vers un dossier de logs. Les fichiers CSV ainsi obtenus sont ensuite traités par plot.py (son fork) pour générer un PNG complet : moyenne, variance, heatmap, médiane et 1%.
Le rôle central de Proton et Wine
L’intervenant insiste sur le fait que Proton (fork de Wine) est plus important que le noyau ou la version de Mesa pour les performances de jeu. Il critique l’article LTT qui sépare CPU et GPU dans la couche de traduction : « Proton’s technically a fork of Wine », rappelle-t-il. Il suggère de remplacer toute la section sur les drivers par une explication claire de Proton, car c’est ce qui impacte réellement l’expérience.
Mesa et les drivers graphiques : une clarification
L’intervenant corrige une idée reçue : Mesa n’est pas un driver graphique, mais une bibliothèque de rendu open source pour AMD et Intel. Nvidia n’utilise pas Mesa. « Mesa is only applicable to AMD and Intel, where Nvidia won’t even use the Mesa package », explique-t-il. Il rappelle que Linux utilise un noyau monolithique, ce qui rend la notion de « driver graphique » différente de Windows.
L’appel aux créateurs hardware
La vidéo s’adresse explicitement aux créateurs de contenu spécialisés dans le hardware (comme JayzTwoCents) qui souhaitent benchmarker Linux. L’intervenant leur fournit une méthode reproductible et open source pour « really figure out, ‘Hey, what is the best distro?’ » Il espère ainsi améliorer la qualité des analyses, en remplacement des simples comparaisons d’FPS moyen.
CONCEPTS CLÉS
- 1% lows / 0.1% lows : Percentiles des fréquences d’images les plus basses (1% des trames les plus lentes). Indiquent la fluidité perçue, contrairement à la moyenne qui peut masquer des saccades.
- MangoHUD : Outil de monitoring en jeu pour Linux, affichant FPS, températures, etc., et capable d’exporter des logs CSV pour analyse.
- MangoPlot : Outil de visualisation des données de MangoHUD, produisant des heatmaps et des statistiques (médiane, variance). Forké par l’intervenant pour les petits benchmarks.
- Phoronix Test Suite (PTS) : Suite de benchmarks système pour Linux, utilisée pour des tests reproductibles (CPU, GPU, etc.). Ne capture pas les 1% lows.
- Proton : Fork de Wine développé par Valve, permettant d’exécuter des jeux Windows sous Linux. Version critique pour les performances (Proton GE, stock, etc.).
- Mesa : Bibliothèque de rendu graphique open source (OpenGL, Vulkan) pour les GPU AMD et Intel. Nvidia utilise ses propres pilotes propriétaires.
- Noyau monolithique : Architecture du noyau Linux où tous les services (dont les pilotes) sont intégrés dans un seul espace mémoire, contrairement aux micro-noyaux.
CONCLUSION
Le message principal est que benchmarker Linux pour le jeu nécessite une approche bien plus fine que la simple moyenne d’FPS. L’intervenant propose une chaîne d’outils ouverte et reproductible (Phoronix + MangoHUD + MangoPlot) qui capture les métriques essentielles (1% lows, médiane, variance) pour évaluer la fluidité réelle. Cette méthode, couplée à une compréhension correcte de Proton et de Mesa, permet aux créateurs hardware de produire des analyses utiles et crédibles. C’est un appel à l’amélioration des standards de benchmarking dans la communauté Linux gaming.