Enseignements du Projet pilote éclaireur

Réflexions de la première année de collaboration avec le Réseau d’optimisation de l’impact alimentaire

Le Réseau d’optimisation de l’impact alimentaire organisé conjointement par 10C Shared Space et Colleaga, a été annoncé comme le premier réseau à se joindre au Projet pilote éclaireur à la fin d’octobre 2022. Les organismes à vocation sociale (OVS) de ce réseau partagent l’engagement d’apporter plus de nourriture aux communautés dans le besoin et de renforcer les systèmes alimentaires locaux grâce à l’innovation communautaire.

Au cours de la première année du Projet pilote éclaireur, nous avons entrepris d’aider tous les membres du réseau à adopter les Pratiques essentielles et la Norme commune des données d’impact. Les Pratiques essentielles sont adoptées en confirmant que les cinq pratiques essentielles de mesure sont en place. La Norme commune des données d’impact est adoptée en choisissant (et en utilisant) un logiciel aligné avec la Norme commune des données d’impact en vue de suivre les indicateurs, les résultats et les données d’impact.

L’Approche commune a mené une entrevue avec chacun·e des membres du réseau dès le début afin de comprendre leur point de départ en ce qui concerne leur pratique de mesure et à leur utilisation de logiciels. Un groupe de discussion a été mis sur pied afin de saisir l’historique de la collaboration entre les membres du réseau. Nous avons également tenu des réunions de vérifications régulières avec les coordonnateurs·trices du réseau et nous avons rencontré les membres du réseau au besoin pour appuyer leurs efforts et recueillir les apprentissages. Les coordonnateurs·trices du réseau ont fourni un soutien pratique à tous les membres du réseau tout au long du projet jusqu’à présent.

Au cours de la première année, 10C et Colleaga, les organisatrices du réseau ont fourni un ensemble complet d’ateliers en matière de stratégie et d’évaluation qui ont été offerts à tous les membres du réseau. Ces ateliers visaient à aider les membres du réseau qui n’avaient pas encore satisfait aux Pratiques essentielles à combler les lacunes dans leurs pratiques de la mesure d’impact. Merci, Emily, à 10C et Dan, à Colleaga!

La première année était également axée sur l’adoption de logiciels. Parmi les 18 organismes à vocation sociale (OVS) qui ont commencé avec le réseau, 14 ont intégré avec succès les logiciels (sept avec Riddl, sept avec Sametrica), deux ont considérablement achevé la mise en œuvre de leur propre logiciel interne conformément avec la Norme des données, et deux ont suspendu leur participation en raison de priorités concurrentes.

« C’est suffisant pour quoi? » et renforcer la capacité de mesure

Dans le cadre de notre collecte de données de base, nous avons appris que quatre des 18 membres du réseau ont satisfait ou ont presque satisfait aux Pratiques essentielles; neuf étaient susceptibles d’avoir besoin d’un soutien modéré pour y satisfaire et les cinq autres étaient susceptibles d’avoir besoin d’un soutien important.

Les Pratiques essentielles énoncent une norme minimale de mesure d’impact; le Projet pilote éclaireur n’exigeait que les membres du réseau satisfassent à cette norme minimale. Toutefois, les coordonnateurs·trices du réseau estimaient qu’ils pourraient obtenir de meilleurs résultats en offrant une approche par cohorte pour améliorer les stratégies de mesure à tous les membres du réseau, y compris les membres qui ont déjà satisfait à la norme minimale. Dans l’esprit communautaire, nous avons suivi leur exemple.

Nous avons prévu que la sélection de logiciels prendrait deux semaines; il a fallu plus de deux mois. Dans leur demande au Projet pilote éclaireur, les membres du réseau se sont décrit·e·s comme étant à l’aise avec la technologie numérique et étaient disposé·es à utiliser de nouveaux logiciels. Au cours de la première autoévaluation, 17 des 18 membres du réseau ont répondu « oui » à l’énoncé [Traduction] « nous avons un endroit où commencer et où gérer les renseignements que nous recueillons » et 13 des 18 membres ont répondu « oui » à l’énoncé [Traduction] « Nos données sont entreposées de manière utile et accessible à ceux·celles qui apprennent au sujet de l’organisation et qui l’améliorent ».

À mesure que le processus de sélection et d’adoption des logiciels se déroulait, nous avons appris que ces réponses « oui » ne constituaient pas de bons prédicteurs de l’alignement avec la Norme des données ou non. Nous avons appris très tôt que la moitié des membres possédaient des données structurées qui comprenaient déjà le niveau de détail requis sur les indicateurs, les résultats et les thèmes d’impact, mais qu’ils recueillaient des données dans un logiciel qui ne convenait pas à l’alignement direct avec la Norme de données (p. ex. Hubspot, Mailchimp ou SM Apply). D’autres avaient des données qui n’étaient pas encore structurées de manière à pouvoir être facilement saisies dans un logiciel aligné (p. ex. des « données brutes », comme les réponses aux sondages qui n’étaient pas encore regroupées dans des rapports sur des indicateurs particuliers).

Par conséquent, le Réseau d’optimisation de l’impact alimentaire est passé d’un plan où chaque membre utiliserait son propre logiciel à un modèle semblable à celui d’un·e commis comptable qui utilise un logiciel comptable spécialisé pour le compte de son·sa client·e. Les organisatrices du réseau ont acheté des licences pour Sametrica et Riddl et partagé des postes de ces licences avec les membres du réseau. Elles ont configuré le logiciel et ont saisi les données d’impact pour le compte de leurs membres. Nous sommes curieux·ses de voir comment cette approche fonctionne par rapport aux autres réseaux du Projet pilote éclaireur où les participant·e·s utilisent directement des logiciels de mesure.

À notre grande surprise, les adoptions de logiciels les plus simples étaient celles des logiciels personnalisés internes. Deux membres de la cohorte pilote (Be One to Give et A Friendlier Company) avaient déjà mis en place leur propre logiciel ou leurs propres bases de données internes avant de se joindre au Projet pilote éclaireur. Ils ont tous deux réussi à aligner leur logiciel interne et ont exporté des fichiers JSONLD avec leurs données d’impact en suivant la documentation de la Norme commune des données d’impact pour les développeurs de logiciels avec le soutien de l’équipe de la Norme des données de l’Approche commune.

À la fin de la première année, tous les 16 membres du réseau utilisent un logiciel et ont exporté un rapport JSONLD contenant les indicateurs, les résultats et les thèmes d’impact qu’ils suivent. Deux organisations exportent directement leurs rapports, et quatorze exportent des rapports à partir du logiciel partagé géré par les coordinateursrices du réseau.

Un examen préliminaire par les coordinateurs·rices du réseau laisse entendre que 11 des 14 membres du réseau qui utilisent les licences partagées gèrent maintenant leurs propres données structurées dans une base de données, qu’il y en a encore trois qui gèrent des systèmes manuels et/ou des feuilles de calcul de collecte de données, et que deux procèdent à l’évaluation d’options en matière de logiciel. Ce changement relativement faible, passant de 8 à 11, nous montre à quel point l’adoption de logiciels peut être difficile.

Données narratives et qualitatives

Nous avons appris des membres du réseau l’importance qu’ils accordent aux données narratives et qualitatives pour transmettre l’impact de leur travail, et qu’il est difficile de suivre ou de montrer ces données qualitatives dans de nombreuses plateformes logicielles de la mesure d’impact.

Presque tous les membres du Réseau d’optimisation de l’impact alimentaire peuvent raconter des histoires claires et convaincantes sur les raisons pour lesquelles leur travail est marquant et la mesure dans laquelle il contribue aux objectifs généraux liés à la sécurité alimentaire ou à l’économie circulaire. Fanjoy Culinary + Wellness Centre, Guelph Neighborhood Support Coalition, OASIS Food Hub, Shelldale Centre et Farm Park ne sont que quelques exemples de membres du réseau qui sont des fournisseurs de services de première ligne dans la région de Guelph et/ou du Grand Toronto. Ils recueillent une quantité importante de renseignements à partir d’entrevues, de conversations et d’histoires auprès des membres de la communauté et des partenaires qu’ils servent. Ces riches données qualitatives sont très utiles pour raconter l’histoire de leur impact, mais il peut être difficile de résumer ces renseignements à l’aide du type d’indicateurs numériques pris en charge par de nombreuses plateformes logicielles de la mesure d’impact.

Au moment où ils préparaient leurs théories du changement, des indicateurs et des résultats aux fins de la saisie dans le module Générateur de modèles logiques de leur logiciel choisi, l’un des coordinateursrices du réseau a indiqué qu’il était difficile de voir la [Traduction] « raison d’être » du travail d’un OVS lorsqu’il était divisé en éléments discrets du modèle logique. Il s’agit d’un effet secondaire potentiellement indésirable de la préparation de leurs données aux fins de la saisie dans le logiciel. Nous avons constaté que les logiciels de la mesure d’impact n’aident pas nécessairement les utilisateurs à raconter une histoire plus puissante ou plus convaincante, surtout si cela exige qu’ils réduisent les histoires à des chiffres. Les données perdent la nuance et la résonance émotionnelle de l’histoire sousjacente au travail.

Nous avons aussi appris que pour certains OVS, leur collecte de données n’est pas seulement narrative, mais également visuelle. Cela était particulièrement vrai pour Winterhill Farm & Garden qui enregistre leur impact en prenant des photos de leurs terres de temps à autre. Leur raisonnement : ils n’ont pas besoin d’utiliser des tests de chimie du sol ou d’autres mesures quantitatives qui exigent plus de temps ou de ressources. Ils passent régulièrement du temps à l’extérieur à observer les changements dans la terre. Les dossiers photographiques sont suffisants pour répondre à leurs besoins. La Norme des données ne permet pas actuellement d’enregistrer ce type de données. Il s’agit d’un domaine de recherche et de développement supplémentaires pour la Norme des données.

La question de l’entité : poupées russes

Deux membres du réseau (Colleaga et Ontario Cooperative Association) sont euxmêmes des réseaux. Ils ont trouvé difficile de gérer les récits à double impact de l’impact global du réseau et de leur propre impact en tant que plaque tournante ou facilitateur du réseau. Il s’agit du défi que les normes de l’Approche commune visent à relever. Toutefois, les plateformes logicielles alignées avec la Norme commune des données d’impact ne sont pas encore prêtes à prendre en charge l’analyse au niveau du réseau. Il s’agit d’un élément toujours en élaboration par l’Approche commune en partenariat avec le Centre for Social Services Engineering à l’Université de Toronto. Les plateformes logicielles existantes ne pouvaient pas facilement appuyer ces réseaux pour saisir l’impact d’un réseau.

Ce qui est à venir

Pour résumer nos principaux points à retenir de la dernière année :

1. Même si bon nombre de membres du réseau avaient des pratiques de mesure qui était « suffisant[e]s » au début, le réseau a privilégié la possibilité de réaliser plus que le minimum requis par les Pratiques essentielles. Même si cela a permis d’améliorer les résultats, il a fallu plus de temps que la période prévue.
2. Nous avons appris que notre processus d’intégration ne prévoyait pas ce dont les membres du réseau auraient besoin pour adopter facilement la Norme des données et que l’adoption de logiciels peut être compliquée et difficile. Nous avons donc « appris par la pratique » et atténué un certain nombre de risques liés à l’adoption de nouvelles logicielles pour ces OVS grâce à une approche « intermédiaire ».
3. Nous avons appris des membres du réseau à quel point les données narratives et qualitatives ont importantes pour transmettre l’impact de leur travail, et qu’il est difficile de suivre ou de montrer ces données à l’aide des outils logiciels à la disposition des OVS. Il s’agit d’une lacune qu’il faut combler.

Un an plus tard, tous les membres actifs du Réseau d’optimisation de l’impact alimentaire ont choisi un logiciel et enregistrent leurs données d’impact. Cela nous permet de commencer à échanger et à regrouper les données, ce qui, selon nous, permettra de mieux comprendre la façon dont les normes de l’Approche commune créent des possibilités de collaboration souple entre les OVS qui utilisent des indicateurs différents.

Nous nous réjouissons de continuer à apprendre avec ce réseau et de ce réseau à mesure que le Projet pilote éclaireur se poursuit!

Plus comme ça