Utilisation d'Ordinateur par IA

L'utilisation d'ordinateur par IA (AI computer use) désigne la capacité des agents IA à opérer directement un ordinateur — déplacer la souris, cliquer, saisir du texte, lire le contenu de l'écran et accéder aux applications — exactement comme le ferait un utilisateur humain. Cette capacité a été introduite en 2024 par Anthropic avec Claude comme première implémentation largement disponible. Contrairement à l'automatisation de navigateur traditionnelle (qui repose sur des API structurées, des sélecteurs CSS et des scripts prédéfinis), un agent utilisant l'ordinateur travaille au niveau des pixels: il voit une capture d'écran, décide où cliquer ou quoi saisir, exécute l'action et observe le résultat. Cette approche est universelle — elle fonctionne avec n'importe quelle application et n'importe quel site web sans ingénierie spécialisée. Les capacités pratiques incluent: naviguer sur n'importe quel site sans accès API, interagir avec des applications de bureau, remplir des formulaires, extraire des données d'interfaces visuelles, et exécuter des workflows multi-étapes sans interface programmatique. L'utilisation d'ordinateur par IA présente aussi des limitations connues: elle est plus lente que les appels API directs, plus sujette aux erreurs lors de changements UI inattendus, et plus coûteuse en consommation de tokens. Néanmoins, c'est souvent la seule option pratique pour les tâches sans API.