Ο σχεδιασμός του μηχανισμού παρακολούθησης και αξιολόγησης της υλοποίησης του Εθνικού Στρατηγικού Πλαισίου για την Έρευνα και Καινοτομία 2014 – 2020 και της εθνικής και περιφερειακής διαδικασίας έξυπνης εξειδίκευσης θα υποστηρίζει την ορθολογική, αποτελεσματική και αποδοτική διάθεση και διαχείριση των διαθέσιμων πόρων με:
• τη συστηματική συγκέντρωση και επεξεργασία των πληροφοριών
• την αξιολόγηση της πορείας εφαρμογής των δράσεων και
• την έγκαιρη υποβολή προτάσεων για τη λήψη διορθωτικών μέτρων βελτίωσης του σχεδιασμού
Η παρακολούθηση θα γίνεται σε εθνικό και περιφερειακό επίπεδο με τη δημιουργία ανάλογων μηχανισμών παρακολούθησης και αξιολόγησης και την καθιέρωση συστήματος δεικτών.
Το σύστημα παρακολούθησης και αξιολόγησης περιλαμβάνει επίσης δράσεις για μελέτες τεκμηρίωσης, έρευνες πεδίου, διαδικασίες διαβούλευσης με την επιχειρηματική και ερευνητική κοινότητα καθώς και μελέτες αποτίμησης των δράσεων από ανεξάρτητους εμπειρογνώμονες. Δεδομένου ότι βασικό χαρακτηριστικό γνώρισμα της νέας προγραμματικής περιόδου είναι η έμφαση στα αποτελέσματα και η παρακολούθηση της προόδου για την επίτευξη καθορισμένων στόχων και του Πλαισίου Επίδοσης κάθε Επιχειρησιακού Προγράμματος, οι δράσεις παρακολούθησης και αποτίμησης αποκτούν ιδιαίτερη σημασία.
6.1 Παρακολούθηση τη υλοποίησης του Ε.Σ.Π.Ε.Κ και RIS3
Η παρακολούθηση εντοπίζει τις αποκλίσεις από τους εθνικούς στόχους καθώς και τις καθυστερήσεις και τα εμπόδια στην εξέλιξη κάθε προτεραιότητας της Έξυπνης Εξειδίκευσης, μετρά την αποτελεσματικότητα και αποδοτικότητα του μείγματος πολιτικής και προτείνει τα κατάλληλα διορθωτικά μέτρα.
Προβλέπεται η λειτουργία ενός συστήματος παρακολούθησης και καθοδήγησης (Σχήμα 11) με τα εξής βασικά χαρακτηριστικά :
1. Στο πλαίσιο του σχεδιαζόμενου νέου Νόμου για την ΕΤΑΚ συγκροτούνται Περιφερειακά Επιστημονικά Συμβούλια ως συμβουλευτικά όργανα για την υποστήριξη της Περιφέρειας σε θέματα Έρευνας και Καινοτομίας. Τα Συμβούλια αυτά απαρτίζονται από τρεις εκπρόσωπους ερευνητικών και ακαδημαϊκών φορέων και τέσσερεις εκπρόσωπους παραγωγικών και κοινωνικών φορέων.
2. Στο πλαίσιο της Έξυπνης Εξειδίκευσης, οι Περιφέρειες θα συμμετέχουν στις Πλατφόρμες Καινοτομίας στους τομείς που υπάρχει ενδιαφέρον από πλευράς τους στο πλαίσιο της περιφερειακής RIS3
3. Σε επίπεδο συντονισμού διοίκησης, προβλέπεται η λειτουργία του Δικτύου Συντονισμού για την Έξυπνη Εξειδίκευση (μεταξύ των περιφερειών , της ΓΓΕΤ και του Υπουργείου Ανάπτυξης, βλέπε και Κεφάλαιο 5). Το Δίκτυο υποστηρίζεται και από τις Πλατφόρμες Καινοτομίας σε επίπεδο τομέων προτεραιότητας της έξυπνης εξειδίκευσης.
Η εξέλιξη της έξυπνης εξειδίκευσης σε εθνικό και περιφερειακό επίπεδο παρακολουθείται και καθοδηγείται στο πλαίσιο του Δικτύου. Κύριος σκοπός του Δικτύου είναι η ανταλλαγή ιδεών, η διάχυση καλών πρακτικών, η επεξεργασία και ανάδειξη προτεραιοτήτων και προτάσεων, εξασφαλίζοντας συνάφειες και συμπληρωματικότητα μεταξύ του εθνικού και του περιφερειακού επιπέδου και διασφαλίζοντας την αποφυγή επικαλύψεων.
4. Η παρακολούθηση (monitoring mechanism) της υλοποίησης του Ε.Σ.Π.Ε.Κ θα γίνει από τη ΓΓΕΤ μέσω ειδικού Τμήματος που έχει συσταθεί στο νέο Οργανισμό της με τίτλο «Τμήμα Συντονισμού, Αποτίμησης Ε&Τ πολιτικής και Δεικτών».
Το σύστημα παρακολούθησης διαμορφώνεται από μία ειδική ομάδα μελέτης και θα περιλαμβάνει μία λεπτομερή περιγραφή της μεθοδολογίας και δείκτες σε εθνικό και περιφερειακό επίπεδο.
Σχήμα 11: Δομή του συστήματος παρακολούθησης υλοποίησης του Ε.Σ.Π.Ε.Κ και της RIS3
Η παρακολούθηση βασίζεται σε σύστημα δεικτών που μετρά σε εθνικό και περιφερειακό επίπεδο τις εκροές (output indicators) των δράσεων και τα βραχυπρόθεσμα αποτελέσματα (result indicators) τα οποία μπορούν να μετρηθούν κατά τη διάρκεια της υλοποίησης του Ε.Σ.Π.Ε.Κ. Οι δείκτες θα είναι σχεδιασμένοι ώστε να ενεργοποιήσουν πιθανό επαναπροσδιορισμό των προτεραιοτήτων της RIS3 ή του μείγματος πολιτικής μέσω της διαδικασίας της επιχειρηματικής ανακάλυψης.
Οι δείκτες εκροών μετρούν την πρόοδο των δράσεων που έχουν αναληφθεί προκειμένου να επιτευχθούν τα αναμενόμενα αποτελέσματα και επιλέγονται μέσα από το σύστημα των Κοινών Δεικτών (common indicators) που θεσπίζουν οι κανονισμοί των ΕΤΠΑ και ΕΚΤ. Η τιμή βάσης για τους δείκτες εκροών είναι 0 ενώ οι τιμές των δεικτών εκροών μετρώνται στο επίπεδο των δράσεων και των έργων.
Οι δείκτες άμεσων αποτελεσμάτων μετρούν τις αλλαγές που πραγματοποιούνται στον τομέα παρέμβασης και οφείλονται στην επίδραση των χρηματοδοτούμενων δράσεων. Το εν λόγω σύστημα δεικτών περιλαμβάνει δύο ομάδες:
• Δείκτες κορμού: Περιλαμβάνουν μικρή ομάδα δεικτών που μετρούν βασικά μεγέθη του συστήματος καινοτομίας σε εθνικό και περιφερειακό επίπεδο. Οι δείκτες αποτελούν ένα μικρό υποσύνολο των δεικτών που μετρώνται συστηματικά από τη Eurostat με βάση τους σχετικούς κανονισμούς.
• Δείκτες εξειδίκευσης: Μετρούν τις αλλαγές που πραγματοποιούνται σε βασικά μεγέθη στους τομείς προτεραιότητας. Οι δείκτες μετρούν τα ίδια μεγέθη με τους δείκτες κορμού αλλά αφορούν μόνο στις δραστηριότητες που περιλαμβάνονται στους τομείς εξειδίκευσης. Για τη μέτρησή τους απαιτούνται ειδικές έρευνες που θα απευθύνονται στις συγκεκριμένες ομάδες -στόχου.
| Ενδεικτικοί δείκτες εκροών |
| Αριθμός νέων ερευνητών στα υποστηριζόμενα έργα |
| Αριθμός νέων ερευνητών που εργάζονται σε ενισχυόμενες ερευνητικές υποδομές |
| Αριθμός επιχειρήσεων που συνεργάζονται με ενισχυόμενους ερευνητικούς οργανισμούς |
| Ιδιωτικές επενδύσεις που μοχλεύονται στα χρηματοδοτούμενα έργα Έρευνας Ανάπτυξης και Καινοτομίας |
| Αριθμός επιχειρήσεων που ενισχύονται για να παράγουν προϊόντα νέα στην αγορά |
| Αριθμός επιχειρήσεων που ενισχύονται για την παραγωγή προϊόντων νέων στην επιχείρηση. |
6.2 Αξιολόγηση του Ε.Σ.Π.Ε.Κ και RIS3
Η αξιολόγηση των δράσεων του Ε.Σ.Π.Ε.Κ έχει ως στόχο τη διερεύνηση της συμβολής των δράσεων στην επίτευξη των αποτελεσμάτων (άμεσων και μακροπρόθεσμων) που μετρώνται με το σύστημα δεικτών και της επίδρασής τους στο εθνικό σύστημα καινοτομίας.
Τα θέματα τα οποία αντιμετωπίζει η αξιολόγηση είναι:
- εάν τα αποτελέσματα τα οποία παρατηρούνται και αποτυπώνονται στους δείκτες αποτελέσματος έχουν παραχθεί εξαιτίας των αξιολογούμενων δράσεων ή από άλλους παράγοντες (attribution),
- εάν επιτεύχθηκαν οι στόχοι των δράσεων και εάν αντιμετωπίστηκαν ή όχι οι συστημικές
αστοχίες (systemic failures) και οι αστοχίες της αγοράς (market failures) που επιδίωξε να αντιμετωπίσει η δράση, - η προσθετικότητα (additionality) των δράσεων, δηλαδή σε ποιό βαθμό οι ωφελούμενοι θα πραγματοποιούσαν ανάλογα έργα χωρίς τη δημόσια χρηματοδότηση,
- η προσθετικότητα συμπεριφοράς (behavioural additionality), δηλαδή σε ποιό βαθμό παρατηρούνται αλλαγές συμπεριφοράς των ωφελούμενων τόσο κατά την υλοποίηση των έργων όσο (και κυρίως) μετά την υλοποίησή τους,
- η απλότητα και αποτελεσματικότητα στο σύστημα διαχείρισης και η ελαχιστοποίηση τους διαχειριστικού κόστους για τους ωφελούμενους.
Τα παραπάνω ερωτήματα μπορούν να διερευνηθούν κατά τη διάρκεια της υλοποίησης των δράσεων αλλά πλήρη εικόνα μπορεί να διαμορφωθεί μόνο μετά την ολοκλήρωση των αρεμβάσεων. Ιδιαίτερα τα ερωτήματα σε σχέση με τις μακροπρόθεσμες επιδράσεις όπως η αύξηση των πωλήσεων από νέα προϊόντα και υπηρεσίες, η αύξηση της παραγωγικότητας ή αλλαγές στους ωφελούμενους, όπως η προσθετικότητα συμπεριφοράς (behavioural additionality) μετά την υλοποίηση των δράσεων και η ανάπτυξη συνεργασιών σε μόνιμη βάση κλπ, μπορούν να μετρηθούν μόνο μετά από ένα έως δύο χρόνια από την ολοκλήρωση των παρεμβάσεων.
Για την αποτελεσματικότερη αξιολόγηση, οι στόχοι, οι πιθανές αστοχίες που θα πρέπει να αντιμετωπιστούν, ο μηχανισμός παρέμβασης, οι δείκτες και το πλαίσιο της αξιολόγησης θα διατυπώνονται με σαφήνεια κατά το σχεδιασμό και θα παρουσιάζονται στα σχετικά κείμενα των δράσεων.
Συμφωνώ με τα σχόλια του κ.Υάκινθου.
Το σύστημα αξιολόγησης των έργων πρέπει να επικεντρώνεται στα απτά αποτελέσματα και στην αξιολόγηση του φυσικού αντικειμένου και όχι στον εξονυχιστικό έλεγχο των οικονομικών. Ο σκοπός των έργων είναι η υποστήριξη της έρευνας, η οποία θα οδηγήσει σε δημιουργία καινοτόμων προϊόντων και σε καμία περίπτωση δεν είναι έργα παροχής υπηρεσιών, προμήθειας υλικών του δημοσίου ή αναπτυξιακοί νόμοι.
Υπό αυτό το πρίσμα πρέπει να καθοριστούν εκ νέου κανόνες και μέθοδοι αξιολόγησης των έργων έρευνας και να υπάρχει το κατάλληλο πλαίσιο που θα προστατεύει τους υπάλληλους και αξιολογητές της ΓΓΕΤ για τις αποφάσεις τους.
Πάταξη της γραφειοκρατίας. Είναι αδιανόητη η γραφειοκρατία που υπάρχει σε Έργα ΕΣΠΑ. ΑΔΙΑΝΟΗΤΗ.
Και οδηγεί σε ατελείωτες ώρες ενασχόλησης επιστημονικών υπευθύνων και παραγωγικού δυναμικού με λογιστικές λογικές, έξω από την εμπειρία ενός ερευνητή. Οι ΕΛΚΕ σηκώνουν πολλές φορές τα χέρια ψηλά, και αυτό γίνεται εδικά στους δημόσιους φορείς, οι συντονιστές καθίστανται ΛΟΓΙΣΤΕΣ σε κάθε επίπεδο εξέλιξης του Έργου. Από την άλλη μεριά, οι υπάλληλοι της ΓΓΕΤ χάνουν ατελείωτες ώρες, μέσα σε ένα εξαιρετικά σκληρό πλαίσιο διαχείρισης που είναι άνω ποταμών και φυσικά επειδή έχουν μεγαλή ευθύνη, για την υπογραφή τους, δε μπορούν να πάρουν μία ουσιαστική πρωτοβουλία η οποία μέσα στα πλαίσια της κοινής λογικής μπορεί να ξεμπλοκάρει σε διάφορα στάδια ένα οποιοδήποτε έργο. Πάντως μηχανισμοί αξιολόγησης με ελλιπές στον αριθμό προσωπικό, δε μπορούν να στηθούν. Οι καθυστερήσεις, ΧΩΡΙΣ ΝΑ ΕΧΟΥΝ ΕΥΘΥΝΗ ΓΙΑ ΑΥΤΟ ΟΙ ΥΠΑΛΛΗΛΟΙ είναι εκ των ων ουκ άνευ. Και όλα τα έργα πηγαίνουν πίσω.
Τέλος, είναι πραγματικά κρίμα, να κρίνονται διάφορα έργα με παραδοτέα τα οποία είναι απλά εκθέσεις και καταγραφές διαφόρων στοιχείων μελετών, έρευνας κλπ, και όχι με κάτι συγκεκριμένο: ποιο είναι το προϊόν που παρήχθη, πόσες θέσεις εργασίας δημιουργήθηκαν στις εταιρείες, τι συμβόλαια έκλεισαν οι επιχειρήσεις με τα πανεπιστήμια για περαιτέρω συνεργασίες, τι κέρδισε η επιχείρηση (όπου φυσικά είναι δυνατόν να θεσπιστούν τέτοιοι δείκτες).
Στις προτάσεις, συμφωνώ απόλυτα με αυτές στο σχόλιο του κυρίου Σπινέλλη.
Οι υπάρχοντες μηχανισμοί παρακολούθησης και αξιολόγησης είναι εξαιρετικά χρονοβόροι, γραφειοκρατικοί και αναποτελεσματικοί. Σε ένα έργο «Συνεργασία» έχω ανταλλάξει μέχρι σήμερα 600 περίπου μηνύματα για θέματα διοικητικής παρακολούθησης και σε ένα «Θαλής» 300. Οι ερευνητές του έργου σπαταλούν χρόνο στο να υπογράφουν και να υπογράφουν ξανά (σε κάθε μικρή μεταβολή) τριπλότυπες συμβάσεις, πίνακες παρακολούθησης της δουλειάς τους ανά ώρα και να υποβάλλουν λεπτομερείς φακέλους δικαιολογητικών για κάθε ταξίδι. Παράλληλα υπάρχουν άνθρωποι στον ΕΛΚΕ μου συντάσσουν, κινούν και καταχωρίζουν για κάθε έργο δεκάδες έγγραφα κάθε μήνα. Όλο αυτό το διοικητικό βάρος αφαιρεί πόρους από την έρευνα που θα έπρεπε να γίνεται.
Προτείνω η παρακολούθηση και αξιολόγηση να βασίζονται σχεδόν αποκλειστικά στα αποτελέσματα / εκροές (outputs) (π.χ. δημοσιεύσεις, διπλώματα ευρεσιτεχνίας, ερευνητές που βρήκαν δουλειά) και όχι στην αναλυτική παρακολούθηση των δαπανών / εισροών (inputs) (π.χ. η σημερινή υποχρέωση όλα τα αναλώσιμα να αγοράζονται μαζικά).
Θα πρέπει στα πλαίσια του Εθνικού Στρατηγικού πλαισίου για έρευνα και τεχνολογία να θεσπιστούν συγκεκριμένοι φιλόδοξοι ποσοτικοί στόχοι για το διοικητικό βάρος των μηχανισμών παρακολούθησης και αξιολόγησης. Αυτοί θα πρέπει να εκφραστούν σε όρους χρόνου (π.χ. Ν ώρες ανά μήνα για κάθε ερευνητή και Μ για κάθε επιστημονικό υπεύθυνο) και απαιτούμενων εγγράφων (π.χ. 10 σελίδες ανά έργο / έτος). Ακολουθούν μερικές ιδέες.
Για Ευρωπαϊκά χρηματοδοτούμενα έργα θα πρέπει η ΓΓΕΤΚ με κατάλληλη διαπραγμάτευση και με την ΕΕ) να αφαιρεί διοικητικό βάρος από τους φορείς υλοποίησης, αντί να τους προσθέτει. Για έργα που υλοποιούνται από εθνικούς πόρους θα πρέπει η παρακολούθηση να σχεδιαστεί από την αρχή ώστε να έχει το ελάχιστο δυνατό διοικητικό βάρος. Για παράδειγμα, αν αξιολόγηση γίνεται με βάση δημοσιεύσεις, αυτές να αντλούνται από τη βάση δεδομένων που τηρεί το ΕΚΤ. Για την παρακολούθηση των δαπανών μπορεί να χορηγείται από τη ΓΓΕΤΚ σε κάθε ερευνητή πιστωτική κάρτα με συγκεκριμένο όριο ανά έργο και η χρέωση όλων των δαπανών στην κάρτα να αποτελεί τη μόνη του διοικητική υποχρέωση. Είναι αυτονόητο ότι η ΓΓΕΤΚ θα μπορεί στη συνέχεια να κάνει σε συγκεκριμένο μικρό χρονικό διάστημα ex post δειγματοληπτικούς ελέγχους σκοπιμότητας και νομιμότητας των δαπανών.