Rapport final d’évaluation








télécharger 0.91 Mb.
titreRapport final d’évaluation
page4/23
date de publication19.01.2018
taille0.91 Mb.
typeRapport
b.21-bal.com > comptabilité > Rapport
1   2   3   4   5   6   7   8   9   ...   23

4.3.Présentation du système d’évaluation

4.3.1.Les modalités de constitution du matériau évaluatif


Le premier semestre 2005 a été consacré au rassemblement des informations nécessaires à la production de l’évaluation.
        • La valorisation d’OLIMPE et de la Banque de données commune EQUAL (BDCE)


Les bases de données exhaustives que sont OLIMPE au niveau français et la Banque de Données Commune EQUAL (BDCE) au niveau communautaire ont permis de fournir une information quantitative comme qualitative de base pour les travaux d’évaluation. Ces informations ont permis à la fois de mettre à jour l’évaluation à mi-parcours et d’enrichir les différentes enquêtes menées en confirmant ou infirmant les éléments mis en évidence.
        • Des enquêtes auprès des acteurs du PIC et de membres du SPE


Outre la valorisation des bases de données, l’évaluation s’est articulée autour de 6 enquêtes. Ces dernières avaient pour but de recueillir l’opinion du plus grand nombre d’acteurs ayant participé directement ou indirectement aux différents niveaux du programme : autorités de gestion, assistances techniques, services instructeurs, porteurs de projet…
Un protocole d’enquête et des grilles de questionnement adaptées ont été élaborés avant le lancement de chaque enquête. Chacune d’elles a donné lieu à la rédaction d’un compte-rendu global (Cf. annexes) :

    • Synthèse des 12 enquêtes régionales ;

    • Synthèse de l’enquête conduite auprès de tous les PDD du 1er appel à projets et à laquelle 85 porteurs de projet ont répondu ;

    • Synthèse de l’enquête conduite auprès de 100 PDD du 2ème appel à projets et à laquelle 64 porteurs de projet ont répondu ;

    • Synthèse de l’enquête menée auprès des réseaux de capitalisation ;

    • Synthèse de l’enquête conduite auprès de toutes les assistances techniques ;

    • Synthèse de l’enquête menée auprès des membres du SPE.


De par leur caractère avant tout factuel et partiel, ces comptes-rendus ne contiennent aucun jugement évaluatif mais ont constitué de réels documents de travail pour l’évaluation.
Les protocoles d’enquêtes ont été les suivants :
          • Enquêtes régionales (12)

Objectif : Vérification de l’atteinte des objectifs de réalisation pour le 1er appel à projets ; Efficacité et efficience des dispositifs de suivi, identification et mise en œuvre de l’innovation, pertinence et efficience des actions de mainstreaming pour le premier appel à projets. Analyse des conséquences de la révision du PIC.

Protocole : Enquêtes réalisées dans douze régions dont un DOM3 ; sélection des régions en fonction de la répartition géographique, de la diversité des thématiques, des régions déjà interrogées ou non lors de l’évaluation à mi-parcours… ; entretiens bilatéraux auprès de la cellule FSE de la DRTEFP, des assistances techniques régionales, des Déléguées régionales aux droits des femmes et à l’égalité et avec des membres moteurs du Comité de sélection régional.
          • Enquête par questionnaire auprès des PDD du 1er appel à projets

Objectif : Vérification des réalisations, effets, impacts des activités des PDD, processus de diffusion, d’évaluation et de capitalisation des pratiques. Pré-repérage des dispositifs pouvant faire l’objet d’une fiche bonne pratique ou d’une étude de cas.

Protocole : Questionnaire envoyé de manière exhaustive aux PDD de la première génération, présents en Action 2. Déclenchement tardif des enquêtes de façon à obtenir un maximum d’informations, notamment pour avoir un retour des PDD passés en Action 3. La diffusion des questionnaires aura lieu en février 2004. Les PDD doivent être relancés deux fois pour un objectif de 80% de retour. Si cet objectif n’est pas atteint, ils doivent être relancés une troisième fois.

Etant donné les délais très courts et la volonté de diffuser les questionnaires tardivement, le consultant propose d’assurer la partie logistique (envois des 228 questionnaires), en lien avec les services gestionnaires (DRTEFP, DFSE) invités à soutenir la démarche par l’ajout d’une lettre d’accompagnement de leur part.

Suite à divers glissements temporels internes et externes à l’évaluation (mise à jour des coordonnées des porteurs de projet, renseignement des bilans annuels…), l’enquête a été envoyée le 27 avril 2005. Une relance a été faite à la fin du mois de mai et le processus d’enquête a été arrêté le 1er juin.

L’envoi de ce questionnaire a été réalisé via une base de données HTML. Parmi les porteurs de projet, certaines institutions possèdent des logiciels de sécurité informatique n’acceptant pas ce modèle de questionnaire. Ces grandes institutions n’ont donc pas pu nous répondre. De même, d’autres promoteurs ne nous ont pas répondu et l’ont expliqué de différentes manières : leur projet EQUAL étant terminé, les budgets ne permettaient pas de passer à nouveau du temps sur EQUAL ; le questionnaire était trop long ; les partenaires étaient en vacances ou trop occupés, etc.

D’autres ont tenté mais se sont heurtés à des difficultés techniques (non enregistrement de leur questionnaire…). Au final, 85 PDD nous ont répondu soit près de 37% des PDD en Action 2. Bien qu'éloigné de celui escompté, l'échantillon de PDD ainsi constitué est suffisant pour assurer une bonne représentation des permettre une analyse signifiante.
          • Enquête par questionnaire auprès des PDD 2004

Objectif : L’enquête auprès des PDD issus du second appel à projets s’intéresse davantage à des aspects de mise en œuvre du PIC et d’efficacité des principes d’EQUAL : les conditions de mise en œuvre du second appel à projets, la prise en compte des principes clés et notamment de l’égalité des chances entre les femmes et les hommes, les partenariats, l’intégration des acquis de la première génération, l’analyse des conséquences de la révision du PIC (allongement durée Action 1, régionalisation…) etc.

Protocole : Enquête par questionnaire auprès de 100 PDD pour un objectif de retour de 60 à 80%. Les 100 PDD ont été choisis sur la base de critères validés par le Comité Technique sur proposition des consultants (Régions enquêtées, statut des porteurs, répartition thématique…) ; une diffusion tardive des questionnaires permet de recueillir un maximum d’informations sur les activités des PDD. Le consultant propose d’assurer la partie logistique en lien étroit avec les DRTEFP, selon les mêmes modalités que l’enquête auprès des PDD de la 1ère génération.

Le taux de retour de cette enquête est de 64% ce qui correspond totalement à ce qui était prévu.
          • Enquête auprès des assistances techniques

Objectif : Processus de diffusion, d’évaluation et de capitalisation du premier appel à projets ; conditions de mise en œuvre du second appel à projets ; apport spécifique sur la dimension égalité des chances entre les femmes et les hommes.

Protocole : Enquête exhaustive par téléphone auprès des assistances techniques, sur la base d’une grille d’entretien validée par le Comité Technique et adressée préalablement au rendez-vous téléphonique.
          • Enquête auprès de représentants du Service Public de l’Emploi (SPE)

Objectif : Evaluer la lisibilité externe et la visibilité du PIC EQUAL et l’impact sur les politiques nationales d’emploi et d’insertion. Les passerelles possibles avec la Loi sur la Cohésion sociale actuellement en cours d’élaboration seront établies.

Protocole : Entretiens téléphoniques auprès de 30 membres du SPE, non engagés dans EQUAL, tant de niveau national que régional ou local : coordonnateurs emploi-formation, ANPE, AFPA, missions locales, PLIE, entreprises d’insertion, etc.
          • Enquête auprès des réseaux de capitalisation

Objectif : Comprendre comment se déroule le mainstreaming, processus de capitalisation et de diffusion des pratiques en dehors des Actions 3 des PDD et d’en mesurer l’efficacité et les résultats.

Protocole : Enquête exhaustive des réseaux de capitalisation : réseaux thématiques nationaux, groupes thématiques européens dans lesquels la France joue un rôle moteur ; entretiens bilatéraux avec les animateurs des RTN/GTE sur la base d’une grille validée par le Comité Technique de l’Evaluation.
Deux autres modalités ont participé à la constitution du matériau de l’évaluation finale :

  • La production de 20 fiches bonnes pratiques sur les dispositifs mis en place par les PDD en matière d’évaluation (interne et/ou externe) des projets (10 fiches) et de capitalisation (10 fiches). Ces études bonnes pratiques ont porté sur des projets issus de la première campagne. Leur repérage s’est effectué principalement par le biais des enquêtes régionales et par la mobilisation sur cette question des DRTEFP et des assistances techniques (régionales et nationale).

  • La production de 12 études de cas sur la transnationalité, visant à identifier les modes de fonctionnement des volets transnationaux et à en mesurer la valeur ajoutée. Ces fiches ont également concerné des PDD du 1er appel à projets. Le repérage des PCT à étudier a été également effectué par le biais des enquêtes régionales et par la mobilisation sur cette question des DRTEFP et des assistances techniques (régionales et nationale).

Ces fiches bonnes pratiques et études de cas4 ont avant tout un caractère évaluatif, en ce sens qu’elles permettent de porter un jugement sur la valeur ajoutée de la transnationalité dans EQUAL ou de l’efficacité des dispositifs d’évaluation et de capitalisation.
Enfin, pour compléter le matériau de cette évaluation, ont été organisés quatre « comités d’experts ». Ces réunions d’échange et de réflexion sur le caractère innovant du programme EQUAL avaient pour objectif d’apprécier au mieux la valeur ajoutée produite au sein du programme (cf. § 6.1.3).

4.3.2.Articulation du système d’évaluation et du questionnement évaluatif


La matrice ci-dessous présente les leviers d’investigation et de collecte du matériau mobilisés pour répondre à chacune des questions techniques de l’évaluation :


Champs de l'évaluation
Questions évaluatives

OLIMPE

Enquêtes régionales

Enquête PDD 2001

Enquête PDD 2004

Enquêtes AT

Enquêtes Tél. SPE

Etudes de cas Transnationalité

"Bonnes pratiques"

Comités d'expert

Enquête réseaux Capitalisation




Emergence de l'innovation ?

Perception de l’innovation issue du 1erappel à projets, aujourd’hui, par les différents acteurs du PIC

 

 

 

 

 

 

 

 

 

 




Caractérisation de l’innovation produite dans le 1erappel à projets

 

 

 

 

 

 

 

 

 

 




Qualité de l’innovation produite dans le 1erappel à projets

 

 

 

 

 

 

 

 

 

 




Caractérisation de l’innovation produite dans le 2nd appel à projets

 

 

 

 

 

 

 

 

 

 




Soutien renforcé de l’émergence de projets innovants par un mécanisme d’appui et de sélection mis en place pour le 2nd appel à projets

 

 

 

 

 

 

 

 

 

 




Pertinence des innovations au titre de la SEE, de la SEI et de leurs déclinaisons nationales au sein du PIC EQUAL ?

Correspondance entre les innovations produites dans EQUAL et les lignes directrices de la SEE (avant et après la révision) et de la SEI

 

 

 

 

 

 

 

 

 

 

Correspondance entre les innovations produites dans EQUAL et les orientations du PNAE et du PNAI

 

 

 

 

 

 

 

 

 

 

Degrés d'efficacité, d'efficience et de cohérence du mainstreaming dans le PIC EQUAL ?

Moyens et méthodes mis en œuvre

 

 

 

 

 

 

 

 

 

 

Correspondance de la capitalisation et de la diffusion mises en œuvre aux axes définis par le CNS

 

 

 

 

 

 

 

 

 

 

Articulation des différentes contributions au mainstreaming (GTE, RTN et Action 3 ; capitalisation transnationale)



 

 

 

 

 

 

 

 

 

 

Diffusion réalisée ou actuelle des acquis du PIC EQUAL - auprès de quels acteurs ?

Modalités de la diffusion

 

 

 

 

 

 

 

 

 

 

Essaimage d’ores et déjà des acquis vers quelles politiques

 

 

 

 

 

 

 

 

 

 

Degré d’innovation des acquis essaimés

 

 

 

 

 

 

 

 

 

 

Niveau et la qualité de prise en compte de l'objectif d'égalité dans les projets des PDD ?

Progrès constatés entre PDD des 1er et 2nd appels à projets

 

 

 

 

 

 

 

 

 

 

Niveau de qualité de prise en compte pour les PDD 2004

 

 

 

 

 

 

 

 

 

 

Résultats perceptibles ?

Effets sur les processus locaux et régionaux ?


 

 

 

 

 

 

 

 

 

 

Valeur ajoutée d’EQUAL en ce qui concerne les changements de nature sociale, territoriale ou économique ?


 

 

 

 

 

 

 

 

 

 

Vérification des acquis en matière de management des projets et de pratiques d'intervention identifiés lors de l'évaluation à mi-parcours ?

Valeur ajoutée identifiée pour les PDD du 1erappel à projets vérifiée aujourd’hui

 

 

 

 

 

 

 

 

 

 

Amélioration du dispositif de mise en œuvre du PIC : partenariat, participation active, rôle des AT, etc. par les modifications apportées à l’Action 1

 

 

 

 

 

 

 

 

 

 

Renouvellement des acteurs du PIC dans le 2nd appel à projets

 

 

 

 

 

 

 

 

 

 

Valeur ajoutée spécifique à la transnationalité dans le PIC EQUAL ?

Différents types d’activités transnationales

 

 

 

 

 

 

 

 

 

 

Modes de fonctionnement et différences avec les pratiques nationales de la transnationalité

 

 

 

 

 

 

 

 

 

 

Apport de la transnationalité pour l’innovation, la capitalisation et la diffusion

 

 

 

 

 

 

 

 

 

 

Apport spécifique de la transnationalité au rayonnement européen du programme

 

 

 

 

 

 

 

 

 

 


1   2   3   4   5   6   7   8   9   ...   23

similaire:

Rapport final d’évaluation iconRapport final

Rapport final d’évaluation iconRapport final

Rapport final d’évaluation iconRapport final

Rapport final d’évaluation iconRapport final

Rapport final d’évaluation iconRapport final

Rapport final d’évaluation iconRapport final d’execution

Rapport final d’évaluation iconRapport final du projet a 4 (1996-1999)

Rapport final d’évaluation iconRapport final sur l’expérience acquise au niveau national

Rapport final d’évaluation iconRapport du Comité d’ Evaluation Externe

Rapport final d’évaluation iconRapport final oecd org/pdf/M00025000/M00025632. pdf Juillet 2001...
«Synthèse des questions liées à la façon dont les adultes apprennent pédagogie et motivations»








Tous droits réservés. Copyright © 2016
contacts
b.21-bal.com