La caméra IA de Sony anticipe les appuis des joueurs sur leurs boutons

Un nouveau brevet de Sony détaille la stratégie de l'entreprise pour minimiser la latence dans ses futures consoles de jeu en s'appuyant sur un modèle d'intelligence artificielle assisté par des capteurs supplémentaires.

Sony a lancé sa première technologie officielle d'upscaling, PlayStation Spectral Super Resolution (PSSR), avec la PlayStation 5 Pro. Bien que PSSR puisse mettre à l'échelle des résolutions inférieures vers la 4K, les nouvelles techniques graphiques comme la génération de frames ajoutent souvent une latence en contrepartie. Cela signifie que même si vos jeux affichent plus d'images par seconde, ils peuvent sembler moins réactifs.

Les fabricants de GPU AMD et Nvidia ont abordé cette problématique respectivement avec Radeon Anti-Lag et Nvidia Reflex. Il semble désormais que Sony développe sa propre solution propriétaire.

Ce nouveau brevet de Sony pourrait transformer l'expérience PlayStation. Crédit image : Sony Interactive Entertainment.Spoté par Tech4gamers, le brevet Sony WO2025010132, intitulé « LIBÉRATION D'ENTRÉE/ACTION TEMPORISÉE », vise à optimiser la « libération temporelle des commandes utilisateur » en prédisant quel bouton les joueurs sont susceptibles d'appuyer ensuite.

Sony explique la motivation derrière ce brevet : « Il peut y avoir une latence entre l'action d'entrée de l'utilisateur et le traitement ultérieur par le système ainsi que l'exécution de cette commande. Cela entraîne un délai dans l'exécution des commandes et des résultats de jeu imprévus. »

La solution proposée utilise plusieurs composants travaillant ensemble : un modèle d'intelligence artificielle basé sur l'apprentissage automatique conçu pour anticiper les entrées à venir, ainsi qu'un capteur externe—tel qu'une caméra pointée vers la manette—pour détecter quel bouton le joueur se prépare à appuyer. Le brevet indique : « Dans un exemple, la méthode comprend l'utilisation de l'entrée d'une caméra comme source de données pour un modèle d'apprentissage automatique. L'entrée de la caméra peut indiquer la première commande utilisateur. »

Une autre possibilité consiste à utiliser les boutons mêmes de la manette comme capteurs. Compte tenu de l'historique de Sony avec la technologie des boutons analogiques, l'entreprise pourrait intégrer cette approche dans une manette nouvelle génération.

Bien que la technologie décrite dans le brevet n'apparaisse pas nécessairement exactement telle quelle sur la PlayStation 6—les dépôts de brevets se traduisant rarement directement en produits finaux—cela signale l'intérêt de Sony pour appliquer des innovations similaires afin de réduire la latence. Cela est particulièrement pertinent compte tenu de l'adoption de technologies génératrices de frames comme FSR 3 et DLSS 3, qui peuvent introduire une latence supplémentaire sur tout système sur lequel elles fonctionnent.

Ces avancées bénéficieraient notamment aux genres rapides tels que les jeux de tir nerveux (twitch shooters), qui reposent à la fois sur des fréquences d'images élevées et une latence minimale. Quoi qu'il en soit, il reste à voir si ce brevet particulier se matérialisera dans le matériel futur.