Comment mener une preuve de concept d'IA générative à laquelle votre comité fera vraiment confiance
Les démonstrations des fournisseurs répondent à la question du fournisseur. Une preuve de concept de cinq semaines, avec une grille convenue d'avance, répond à la vôtre. Voici la méthode.
La démonstration n'est pas la preuve
La plupart des organisations choisissent une plateforme d'IA d'entreprise comme elles choisissent un traiteur. Il y a quelques démonstrations bien rodées, un appel sur les prix, et une décision prise en grande partie sur des impressions. Six mois plus tard, personne ne peut dire si l'outil fait le travail, parce que personne n'a écrit en quoi consistait le travail.
Une preuve de concept est censée corriger cela, et elle le peut, mais seulement si elle est conçue comme une évaluation plutôt que comme un abonnement d'essai avec une date limite. Ce qui sépare les deux, c'est la grille, et la discipline de s'entendre sur elle avant que quiconque touche au logiciel.
Écrivez la décision avant de toucher au logiciel
Une preuve de concept existe pour répondre à une seule question, et cette question devrait être écrite dans une phrase que le comité de décision reconnaîtra comme la sienne. Pour une firme de services professionnels, elle pourrait se lire ainsi : devrions-nous adopter la plateforme X pour la révision documentaire de premier passage, et à quelles conditions?
Tout ce qui suit dépend de cette phrase. Si la question est floue, les constats seront flous, et le comité fera ce que font les comités devant des constats flous : reporter.
Bâtissez la grille pondérée avec le comité, pas pour lui
Dressez la liste des critères qui pèsent sur la décision, puis faites-les pondérer par le comité avant le début des tests. Pour le travail documentaire, la liste comprend généralement l'exactitude par rapport aux positions et aux précédents de l'organisation, la constance d'un type de document à l'autre, l'effort du réviseur pour arriver à une ébauche utilisable, la compatibilité avec la configuration, la sécurité et la gouvernance en place, et la confiance que les praticiens rapportent après un usage réel.
Les pondérations sont le jugement même du comité sur ce qui compte, consigné à l'avance. Les fixer avant les tests élimine la plus grande source de méfiance à l'égard des résultats d'une preuve de concept : le soupçon que la notation a été ajustée après coup pour produire la réponse souhaitée.
Configurez la plateforme sur vos documents, à la main
Une plateforme évaluée sur les documents d'exemple du fournisseur vous dit comment se comporte la démonstration du fournisseur. Pour savoir comment la plateforme se comporte pour vous, configurez-la sur vos propres types de documents, avec vos propres guides et positions, et faites cette configuration vous-mêmes ou avec quelqu'un d'indépendant du fournisseur. L'effort requis est en soi un constat. Combien de temps d'expert faut-il pour rendre l'outil utile est une question à laquelle le comité voudra une réponse.
Testez avec les praticiens, selon un calendrier fixe, contre la grille
Donnez aux personnes qui utiliseraient réellement l'outil un court ensemble de tâches réalistes et une copie de la grille. Fixez la fenêtre de test, parce qu'un test sans fin ne finit jamais. Recueillez les notes, et recueillez avec autant de soin les raisons écrites qui les accompagnent. La remarque d'un associé selon laquelle une ébauche « a manqué la position de repli que nous prenons toujours » vaut plus que n'importe quelle note sur cinq.
Attendez-vous à ce que le calendrier glisse. Les praticiens sont occupés et les tests rivalisent avec le travail facturable; prévoyez donc une marge dans les cinq semaines et tenez un décompte courant de qui a terminé quelles tâches.
Écrivez pour la réunion du comité, pas pour le classeur
Le document de constats a un lecteur qui compte : la personne qui le présentera au comité en dix minutes. Il devrait s'ouvrir sur la question de la première étape, puis donner la réponse en un seul paragraphe, avec ses conditions. Viennent ensuite les notes selon la grille pondérée, pondérations visibles, puis ce que les praticiens ont dit, cité et attribué par rôle. Il devrait énoncer clairement ce que la preuve de concept n'a pas pu tester, et se clore sur les options de décision, chacune avec son coût et son compromis. Les tableaux comparatifs des fournisseurs vont en annexe. Personne ne décide à partir d'une annexe.
Ce que cinq semaines vous achètent
Une grille pondérée, une configuration pratique, des tests par les praticiens et un document prêt pour le comité représentent un mandat de cinq semaines pour une organisation de taille moyenne. Rapporté à un engagement de plusieurs années envers une plateforme et à la gestion du changement qui suit, c'est un investissement modeste.
Le but n'est pas de ralentir la décision. C'est de la rendre défendable, pour que, lorsqu'on demandera dans un an pourquoi la firme a choisi ce qu'elle a choisi, il existe un document qui réponde.