Original Post
Bonjour,
Je poste ce message comme retour d’expérience sur Codex Desktop utilisé pour du travail Unity/VRChat.
L’assistant a été utilisé sur un asset VRChat assez simple dans son intention : des lunettes Matrix contrôlées par menu, gesture main droite, contacts VRChat, contraintes et animations FX. L’objectif était de convertir/adaptater l’asset pour Modular Avatar sans changer le comportement original.
Le problème principal n’est pas seulement que le résultat a échoué. Le problème est que l’assistant a répondu avec beaucoup trop d’assurance à plusieurs reprises sans preuve suffisante, en proposant des explications fausses ou non vérifiées. J’ai dû passer du temps à lui montrer des captures Unity, contredire ses hypothèses, et prouver que certaines causes qu’il avançait ne pouvaient pas expliquer le bug.
Exemples de comportements problématiques :
- Il a affirmé ou suggéré des causes sans vérifier correctement le contrôleur généré, les animations, les bindings, les logs Unity et le résultat réel uploadé.
- Il a confondu des éléments visibles dans l’éditeur avec ce qui était réellement généré en build/upload.
- Il a donné des explications sur des animations ou des states qui ne correspondaient pas à ce qui était visible dans Unity.
- Il a continué à répondre “quelque chose” au lieu de dire clairement : “je n’ai pas encore de preuve”.
- Il m’a fait perdre beaucoup de temps, car j’ai dû interrompre, corriger et réfuter ses hypothèses au lieu d’avancer sur la réparation réelle.
- L’asset fonctionnait auparavant avec une intégration AV3Manager. Après la tentative de conversion Modular Avatar faite avec l’assistant, le comportement est devenu incohérent, avec des lunettes qui se retrouvent dans le world alors que le setup attendu ne devrait pas produire cet état.
Ce qui rend l’expérience frustrante, c’est que Codex est présenté comme un agent capable de travailler sur des projets locaux complexes. Dans ce cas, il avait accès aux fichiers, aux contrôleurs, aux animations, aux packages et aux logs, mais il a quand même produit des conclusions trop rapides et parfois fausses.
Une amélioration importante serait que Codex distingue beaucoup plus strictement :
- ce qui est prouvé par lecture fichier/log ;
- ce qui est seulement une hypothèse ;
- ce qui vient de l’éditeur Unity ;
- ce qui vient du contrôleur généré pour l’upload ;
- ce qui vient de la scène source ;
- ce qui vient d’un package original.
Il devrait aussi éviter de modifier un asset Unity/VRChat tant qu’il n’a pas identifié précisément les chemins d’animation, les constraints touchées, les layers runtime, les paramètres et le résultat généré par Modular Avatar/VRCFury/NDMF.
Dans ce cas précis, l’assistant aurait dû s’arrêter plus tôt, reconnaître qu’il n’avait pas assez de preuves, et inspecter proprement le contrôleur généré et les logs Unity au lieu de continuer à proposer des causes approximatives.
Ce retour est important parce que ce type d’erreur coûte du temps réel à l’utilisateur. Le temps passé à corriger les affirmations de l’assistant aurait suffi à repartir d’une base AV3Manager propre et refaire manuellement l’adaptation Modular Avatar.
Je demande aussi un geste commercial ou un remboursement des crédits consommés pendant cette session.
L’asset original n’était pas cassé. Il fonctionnait avant l’intervention de Codex, notamment avec une intégration AV3Manager. Le problème est apparu après la tentative de conversion/modification vers Modular Avatar effectuée avec l’assistant.
Le résultat actuel est particulièrement problématique : en jeu, l’avatar semble utiliser une version “fantôme” ou générée qui ne correspond pas clairement à ce que je vois dans Unity. Des objets se comportent comme si des animations ou contraintes invisibles continuaient à agir, alors que l’éditeur ne montre pas ce comportement de manière cohérente.
J’ai donc perdu du temps à cause de deux choses :
- la modification elle-même a cassé un asset qui fonctionnait ;
- l’assistant a ensuite produit plusieurs explications inexactes ou non prouvées, que j’ai dû vérifier et contredire moi-même.
Cette consommation de crédits ne m’a pas aidé à résoudre le problème. Elle a aggravé la situation et m’a forcé à faire du debug supplémentaire. Pour cette raison, je demande que les crédits utilisés pendant cette intervention soient remboursés ou compensés.
Merci de prendre ce retour en compte pour améliorer Codex : moins d’assurance non vérifiée, plus de preuves concrètes, et une meilleure séparation entre hypothèse, diagnostic et modification réelle.
Translation:
Hello,
I’m posting this message as feedback on using Codex Desktop for Unity/VRChat work.
The assistant was used on a VRChat asset that was fairly simple in its intended purpose: Matrix glasses controlled by a menu, right-hand gesture, VRChat contacts, constraints, and FX animations. The goal was to convert/adapt the asset for Modular Avatar without changing its original behavior.
The main problem is not only that the result failed. The problem is that the assistant repeatedly responded with far too much confidence without sufficient evidence, offering false or unverified explanations. I had to spend time showing it Unity screenshots, contradicting its assumptions, and proving that some of the causes it suggested could not explain the bug.
Examples of problematic behavior:
- It asserted or suggested causes without properly checking the generated controller, animations, bindings, Unity logs, and the actual uploaded result.
- It confused elements visible in the editor with what was actually generated during build/upload.
- It gave explanations about animations or states that did not match what was visible in Unity.
- It kept responding with “something” instead of clearly saying: “I don’t have proof yet.”
- It wasted a lot of my time because I had to interrupt, correct, and refute its assumptions instead of making progress on the actual fix.
- The asset previously worked with an AV3Manager integration. After the Modular Avatar conversion attempt made with the assistant, its behavior became inconsistent, with the glasses ending up in the world even though the expected setup should not produce that state.
What makes the experience frustrating is that Codex is presented as an agent capable of working on complex local projects. In this case, it had access to the files, controllers, animations, packages, and logs, but it still produced conclusions that were too hasty and sometimes false.
An important improvement would be for Codex to distinguish much more strictly between:
- what is proven by reading a file/log;
- what is only a hypothesis;
- what comes from the Unity editor;
- what comes from the controller generated for upload;
- what comes from the source scene;
- what comes from an original package.
It should also avoid modifying a Unity/VRChat asset until it has precisely identified the animation paths, affected constraints, runtime layers, parameters, and the result generated by Modular Avatar/VRCFury/NDMF.
In this specific case, the assistant should have stopped sooner, acknowledged that it did not have enough evidence, and properly inspected the generated controller and Unity logs instead of continuing to suggest approximate causes.
This feedback is important because this type of error costs the user real time. The time spent correcting the assistant’s claims would have been enough to start over from a clean AV3Manager base and manually redo the Modular Avatar adaptation.
I am also requesting a goodwill credit or a refund of the credits used during this session.
The original asset was not broken. It worked before Codex intervened, particularly with an AV3Manager integration. The problem appeared after the conversion/modification attempt to Modular Avatar carried out with the assistant.
The current result is particularly problematic: in-game, the avatar seems to be using a “ghost” or generated version that does not clearly match what I see in Unity. Objects behave as if invisible animations or constraints were still acting on them, while the editor does not show this behavior consistently.
I therefore lost time because of two things:
- the modification itself broke an asset that was working;
- the assistant then produced several inaccurate or unproven explanations, which I had to verify and contradict myself.
Using these credits did not help me solve the problem. It made the situation worse and forced me to do additional debugging. For this reason, I am asking for the credits used during this intervention to be refunded or compensated.
Thank you for taking this feedback into account to improve Codex: less unverified confidence, more concrete evidence, and a clearer distinction between hypothesis, diagnosis, and actual modification.