Sur un chantier en panneaux CLT, une erreur d’ordre ne se corrige pas toujours par un simple retour en arrière. Une paroi posée trop tôt peut masquer une fixation, bloquer la trajectoire d’un élément ou rendre la manutention suivante impossible. Une étude publiée dans le numéro d’octobre 2026 d’Automation in Construction propose une réponse plus ambitieuse qu’un casque affichant la maquette BIM : un système capable de reconnaître les composants, de proposer la prochaine action, de contrôler qu’elle est admissible puis de guider l’opérateur.
Baptisé MRAO — Mixed Reality Assembly Orchestration — le dispositif combine géométrie BIM, vision zéro-shot, grand modèle de langage, validateurs déterministes, réalité mixte et assistance robotique par câbles. Les résultats expérimentaux sont spectaculaires sur certains indicateurs : 360 violations injectées ont toutes été bloquées, tandis que les essais physiques ont réduit de 86 % les corrections et de 68,2 % les demandes d’aide par rapport à des plans 2D. Mais l’étude porte sur 39 composants et la reconnaissance visuelle reste inégale. Ce que démontre surtout ce prototype, c’est la bonne architecture de contrôle pour introduire l’IA générative dans une opération de montage.
Le vrai problème : orchestrer, pas seulement visualiser
La réalité augmentée est déjà utilisée pour projeter une position, un percement ou une séquence devant les yeux de l’opérateur. Ce type de guidage reste toutefois souvent « aveugle » à l’état réel du chantier : il affiche ce qui était prévu, sans toujours savoir quelle pièce se trouve devant lui ni si l’étape précédente a été correctement exécutée.
MRAO cherche à fermer cette boucle. La maquette issue de Rhino est convertie en une base de connaissances comprenant les composants, leurs signatures géométriques, leurs relations et leurs contraintes d’assemblage. Sur le terrain, la caméra observe les pièces disponibles. La reconnaissance met à jour l’état du montage, puis un LLM propose l’action suivante. Cette proposition ne part jamais directement vers l’opérateur ou la machine : elle traverse une liste blanche et plusieurs contrôles de règles, de géométrie et de libération des pièces.
Dans cette architecture, le modèle de langage suggère une action ; il n’a jamais le dernier mot. La décision exécutable appartient aux garde-fous métier.
L’approche répond à une faiblesse classique des systèmes BIM : une maquette peut décrire parfaitement l’ouvrage fini sans contenir toute la logique des états provisoires. Or, comme le montre aussi le chantier d’un bâtiment mixte acier, béton et bois, l’ordre de pose devient une donnée d’ingénierie dès qu’il influence les accès, les tolérances ou la stabilité temporaire.
De la maquette BIM à l’action validée : six maillons
Le prototype ne repose pas sur une intelligence unique. Il distribue les fonctions entre six briques techniques, chacune répondant à une question précise :
- Base BIM : quelles pièces existent, où doivent-elles finir et quelles relations entretiennent-elles ?
- Signature géométrique : à quelle famille appartient la pièce observée, sans code-barres ni étiquette ajoutée ?
- État d’avancement : quels composants sont disponibles, manipulés, placés ou encore bloqués ?
- Planificateur LLM : quelle action paraît la plus logique au regard de la situation décrite ?
- Garde-fous : cette action respecte-t-elle la séquence, les dépendances, la géométrie et les conditions de libération ?
- Interface d’exécution : faut-il afficher l’instruction en réalité mixte ou assister la manutention avec le robot à câbles ?
Cette séparation est importante pour un chantier réel. Le LLM apporte de la souplesse lorsqu’une instruction doit être formulée ou qu’un état doit être interprété. Les validations critiques restent, elles, explicites et auditables. On peut donc identifier pourquoi une action a été refusée, plutôt que de faire confiance à une réponse probabiliste difficile à expliquer.
Le système rejoint ainsi la logique du DOE numérique fondé sur des données structurées : la valeur du modèle ne vient pas seulement de sa visualisation, mais de la continuité entre objets, événements, contrôles et preuves.
Vision zéro-shot : reconnaître les panneaux sans les étiqueter
Pour identifier les composants, les chercheurs exploitent leur géométrie connue dans le BIM. Le principe « zéro-shot » signifie que le système ne doit pas être réentraîné avec des centaines d’images annotées pour chaque nouveau panneau. Il compare les caractéristiques observées aux signatures générées depuis la maquette, ce qui convient bien à une préfabrication où chaque pièce peut être unique.
Les performances annoncées varient néanmoins fortement : de 50 % à 87,5 % selon cinq familles de composants. Le traitement de chaque image ne prend que quelques dizaines de millisecondes, mais la vitesse n’efface pas l’incertitude d’identification. Une famille reconnue une fois sur deux reste incompatible avec une automatisation sans supervision.
Ce que cela change pour la préparation du chantier
- la géométrie du BIM doit correspondre à la pièce réellement livrée ;
- les composants visuellement proches nécessitent un second moyen d’identification ;
- l’éclairage, les occultations, les protections et les angles de vue doivent être testés ;
- un score de confiance faible doit déclencher une confirmation humaine, pas une action automatique ;
- la traçabilité classique par QR code ou RFID reste un complément pertinent pour les pièces critiques.
La contribution utile n’est donc pas d’avoir rendu l’étiquetage obsolète. Elle est d’avoir montré comment la géométrie déjà produite pour la fabrication peut servir à reconnaître un élément sur site et à actualiser le scénario de pose. Pour une entreprise de charpente, ce lien pourrait réduire la ressaisie, à condition de conserver une stratégie de repli lorsque la vision hésite.
Le test décisif : une IA libre ralentit fortement le montage
Les auteurs ont comparé plusieurs configurations sur un assemblage de 39 composants. Le scénario de référence termine la tâche en 102,3 secondes. Lorsqu’un planificateur LLM intervient sans contraintes suffisantes, le temps grimpe à 609,9 secondes, soit presque six fois plus. Des choix inadéquats et des poses invalides provoquent des détours que l’apparente « intelligence » du système ne compense pas.
L’ajout d’une liste blanche d’actions admissibles et d’un mécanisme de réparation de pose ramène le temps à 112,4 secondes, proche de la référence. Le résultat est essentiel : le gain ne vient pas d’un meilleur prompt, mais de la réduction de l’espace des décisions possibles. L’IA travaille dans un couloir défini par le processus constructif.
Un second protocole a injecté 360 violations contrôlées dans trois profils de contraintes. Les garde-fous ont bloqué 100 % de ces cas, avec une latence médiane comprise entre 0 et 1 milliseconde et un maximum de 14 millisecondes. Ce taux parfait ne garantit évidemment pas que toutes les anomalies d’un chantier réel aient été anticipées. Il prouve que les règles encodées ont été appliquées sans exception dans le jeu d’essai.
Cette distinction doit guider les futurs cahiers des charges : il faut mesurer séparément la qualité des propositions du modèle, la couverture des règles et l’efficacité des contrôles. Un filtre peut bloquer toutes les erreurs connues tout en laissant passer un risque que personne n’a formalisé.
Réalité mixte : moins de corrections, mais sur un essai contrôlé
Lors des essais physiques, le guidage MRAO a produit 86 % de corrections en moins et 68,2 % de demandes d’aide en moins que les plans 2D. Pour la construction bois préfabriquée, l’intérêt est évident : l’opérateur voit la pièce cible et sa position au moment où il doit agir, sans alterner entre un plan, un repère et la zone de montage.
L’assistance par robot à câbles ajoute une fonction de manutention. Elle peut maintenir ou déplacer un élément tandis que l’opérateur conserve la compréhension de la tâche et le contrôle de la validation. Ce partage des rôles est plus crédible à court terme qu’un robot autonome chargé de décider et d’exécuter toute la séquence.
Le résultat doit cependant rester à sa juste échelle. L’étude ne démontre ni le montage complet d’un bâtiment, ni une productivité industrielle, ni une robustesse à la pluie, à la poussière, aux contre-jours, aux modifications de dernière minute ou à la coactivité. Elle mesure un protocole expérimental sur un nombre limité de pièces. Les bénéfices devront être confirmés sur des panneaux de dimensions réelles, avec levage, protections collectives et temps de fixation.
Les enseignements complètent ceux de la préfabrication bois préparée en atelier : plus l’ouvrage est industrialisé, plus la qualité des identifiants, des tolérances et de la séquence logistique devient déterminante sur site.
Les garde-fous à exiger avant un usage sur chantier
Une entreprise souhaitant tester une orchestration comparable devrait commencer par un lot répétable et non critique, puis définir clairement qui peut confirmer, corriger ou interrompre la séquence. Le système ne peut pas devenir une boîte noire entre le BIM et les compagnons.
- Version du modèle : verrouiller la maquette de référence et synchroniser immédiatement chaque modification validée.
- Règles de pose : formaliser les dépendances, fixations, contrôles de stabilité provisoire, zones d’exclusion et points d’arrêt.
- Seuils de confiance : imposer une validation humaine lorsque la reconnaissance d’une pièce ou d’une pose est incertaine.
- Mode dégradé : permettre la poursuite sûre du montage si le réseau, le casque, la caméra ou le planificateur deviennent indisponibles.
- Journal d’événements : conserver les propositions, refus, confirmations et écarts pour analyser les causes et constituer la preuve qualité.
- Responsabilités : distinguer l’auteur du modèle, le fournisseur du logiciel, l’intégrateur, le conducteur de travaux et l’opérateur.
Il faut également traiter l’ergonomie. Un affichage permanent peut charger le champ visuel, masquer un danger ou fatiguer l’utilisateur. La consigne utile doit apparaître au bon moment, avec un vocabulaire de chantier et une confirmation simple. L’évaluation devra donc intégrer sécurité, acceptabilité et temps de formation, pas seulement la précision du système.
Ce que le prototype change vraiment pour le montage CLT
MRAO ne prouve pas qu’un LLM est prêt à piloter un chantier bois. Il démontre une architecture beaucoup plus réaliste : le BIM décrit, la vision observe, le modèle propose, les règles contrôlent et l’humain autorise. C’est précisément cette distribution des responsabilités qui rend l’IA envisageable dans un processus où une mauvaise décision peut immobiliser une équipe ou compromettre un état provisoire.
La prochaine étape sera moins spectaculaire que la démonstration en réalité mixte : élargir les familles de pièces, gérer les écarts entre « tel que conçu » et « tel que livré », relier les contrôles de fixation et de tolérance, puis mesurer le gain sur plusieurs journées réelles. Si ces essais confirment les premiers résultats, le principal bénéfice ne sera peut-être pas la vitesse brute. Ce sera une séquence de montage plus lisible, plus traçable et plus difficile à exécuter dans le mauvais ordre.
Source principale : étude « Mixed Reality Assembly Orchestration for cross-laminated timber construction driven by zero-shot vision and LLM-based reasoning », Automation in Construction, volume 190, octobre 2026.