MEDICINA INTENSIVA

Una estrategia educativa reduce la mortalidad por sepsis

JANO.es y agencias · 21 mayo 2008

La disminución del 10% en UCI significa salvar 500 vidas cada año, según publican en "JAMA" investigadores de la Universidad Autónoma de Barcelona

Antoni Trilla (Barcelona, 1956) es doctor en Medicina por la Universidad de Barcelona y profesor de Salud Pública de la Universidad de Barcelona. Es investigador del IDIBAPS (Instituto de Investigaciones Biomédicas August Pi i Sunyer) y del CRESIB (Centro de Investigación en Salud Internacional de Barcelona).

La palabra evaluación tiene como significado aceptado por el Diccionario de la RAE el de acción y efecto de evaluar. Evaluar viene del francés évaluer, y significa señalar el valor de algo o estimar, apreciar, calcular el valor de algo.

El principal financiador de la investigación biomédica clínica en España ha sido hasta ahora el Instituto de Salud Carlos III (ISCIII), a través de su Subdirección General de Evaluación y Fomento de la Investigación, que tiene, entre otras, las siguientes funciones:

– La promoción, gestión, evaluación y seguimiento de la investigación extramural en ciencias de la salud.

– La implantación y la gestión de un sistema de acreditación de la investigación biomédica.

Desde hace muchos años, la financiación de la investigación con cargo a fondos públicos estatales y autonómicos se realiza en condiciones que se denominan técnicamente “de concurrencia competitiva”. Este es un concepto que conviene considerar desde el principio: se compite, en el sentido estricto de la palabra, con todo un conjunto de investigadores que se presentan también a la misma convocatoria.

El proceso de evaluación es complejo, supone una carga de trabajo muy notable y no está exento de defectos ni problemas. Sin embargo, está dotado de una serie de garantías que lo hacen suficientemente transparente (con limitaciones que comentaremos) y que lo equiparan a otros muchos procedimientos de evaluación normalizados, tanto nacionales como internacionales, que pueden ser considerados como un estándar de referencia en este campo.

Se pueden distinguir 2 grandes etapas: la evaluación previa a la decisión de financiar o no un proyecto (denominada evaluación ex-ante) y la evaluación posterior, tanto de seguimiento como de finalización o resultados (ex-post).

Evaluación ex-ante

El proceso de evaluación ex-ante se inicia con la recepción y análisis de la documentación solicitada en la convocatoria, que debe ajustarse a los requerimientos formales expresados en la misma (modelos de documentos, documentos anexos, firmas, datos, etc.).

Esta primera evaluación no es científica, pero no por ello es menos importante: toda la documentación es examinada cuidadosamente por personal técnico a los efectos de detectar y ayudar a subsanar, si es posible, defectos o errores de forma o administrativos.

Además, las bases de datos del FIS, por ejemplo, permiten, ya en esta primera fase, detectar posibles incompatibilidades de los miembros del equipo investigador, notablemente por lo que a la dedicación horaria al proyecto hace referencia y al cumplimiento de las restricciones existentes para formar parte de más de un equipo investigador, como son la de no figurar como investigador principal (IP) en más de un número limitado de proyectos especificado (incompatibilidades) en cada convocatoria.

Siempre hay proyectos, en ocasiones demasiados, que lamentablemente quedan excluidos de la convocatoria (“no admitidos”) por alguno o varios de estos defectos. En este punto es muy importante resaltar el papel que tienen las unidades administrativas de apoyo a la gestión existentes en muchos hospitales. Su responsabilidad en esta fase del proceso es notable, para leer y analizar la convocatoria y poder así informar a los investigadores y para velar porque los proyectos de su institución, que de algún modo reflejan su modo de trabajar, sean remitidos en las mejores condiciones de forma y plazos.

Los proyectos que son admitidos administrativamente pasan a incluirse en una base de datos específica para cada convocatoria, y se asignan en algunos casos, en principio de acuerdo con lo expresado en la solicitud por el propio IP, a una comisión de evaluación.

Comisión de evaluación

Cada comisión de evaluación tiene un presidente, 2 o más adjuntos y varios panelistas, todos ellos miembros de la comisión. Adicionalmente, los presidentes de las comisiones están en contacto directo con los coordinadores de la Agencia Nacional de Evaluación y Prospectiva (ANEP), una unidad hasta ahora dependiente de la Secretaría de Estado de Universidades e Investigación, que, entre otros, tiene los siguientes objetivos:

– Evaluar la calidad científico-técnica de las propuestas que solicitan financiación pública, tanto del departamento como de otros entes públicos y privados.

– Contribuir a que las decisiones de asignación de recursos para I+D+i se realicen atendiendo a criterios de excelencia y calidad científico-técnica.

Entre las funciones asignadas a la ANEP se incluyen la evaluación científico-técnica, objetiva e independiente, de las unidades, equipos humanos y propuestas de investigación para participar en los programas y proyectos del Plan Nacional de I+D+i, así como el seguimiento de los resultados.

Se procede entonces, habitualmente, a asignar evaluadores científicos (un mínimo de 2 por proyecto), anónimos e independientes. Se inicia así el proceso de evaluación por pares o iguales, el famoso peer-review. Este artículo no pretende analizar las bondades e inconvenientes del sistema de revisión por pares: simplemente puede considerarse que, no es perfecto, pero es el sistema menos malo.

Revisión por pares

Los evaluadores se obtienen a partir de los inscritos en las bases de datos de la ANEP y del FIS. Son todos ellos voluntarios, indican cuál es su área de conocimiento principal y sus CV han sido evaluados por el FIS y/o la ANEP para admitirlos entre el conjunto de posibles evaluadores. Su trabajo consiste en realizar, siguiendo un modelo normalizado, la evaluación científica y técnica del proyecto, otorgándole una calificación. Cada evaluador es independiente: no conoce al segundo evaluador, no puede estar relacionado directamente con el investigador o equipo investigador, no debe tener conflictos de intereses con el proyecto presentado (positivos o negativos) y es anónimo con respecto al investigador (el IP desconoce qué evaluadores valoran su proyecto).

Las ventajas de este anonimato son varias, aunque no está tampoco exento de inconvenientes. Un tópico recurrente, que en ocasiones responde a la realidad, es la posible existencia de conflictos de intereses entre evaluadores e investigadores: el proceso de evaluación impulsa, favorece y facilita la declaración de dichos conflictos. Basta con que el evaluador rechace directamente la evaluación o, en caso de duda, manifieste cuál cree que son aquellos intereses que pueden entrar en conflicto (por ejemplo, ser del mismo hospital o universidad que el IP, o haber colaborado con él en otros proyectos). En caso de duda, se asigna otro evaluador. Evidentemente, si no se trata de conflictos de intereses objetivables resulta muy difícil detectarlos. Esta es una limitación clara del sistema.

Una reflexión final sobre este sistema de peer-review: en ocasiones, los investigadores se quejan de las evaluaciones, bien por su aparente falta de rigor o calidad, bien por considerar que el evaluador no es experto en el tema (deducción a partir de sus comentarios, puesto que son anónimos). Evaluar no es una tarea fácil, ni grata ni productiva científica ni económicamente, pero es la base del sistema.

La base del sistema

No es inhabitual que estos mismos investigadores descontentos no figuren en la base de evaluadores o, cuando son requeridos para participar en el proceso de evaluación, rechacen hacerlo alegando exceso de trabajo. Es evidente la contradicción de la situación: si los mejores científicos, los expertos, los que trabajan en temas concretos y tienen ya experiencia suficiente no participan activamente en el proceso de evaluación, éste se resentirá en su calidad y rapidez. Si participamos masivamente es más probable que tengamos que evaluar un número más reducido de proyectos per cápita y que, además, podamos seleccionar mejor las áreas de interés a las que asignar proyectos y evaluadores competentes en las mismas. Se trata, sin duda, de un proceso voluntario, pero no son de recibo las quejas de los que usan el sistema sin participar en él. Cada hospital o centro de investigación debería poder acreditar que entre su plantilla se incluye un número de evaluadores mínimo, y que su contribución al proceso global de peer-review es satisfactoria.

Una vez completada la primera etapa del proceso de evaluación científica, se dispone de varios (habitualmente 2) informes de evaluación, que pueden ser ambos correctos técnicamente (hay evaluadores que realizan evaluaciones deficientes, inconsistentes o superficiales) y que pueden expresar opiniones coincidentes o disidentes, y otorgar una calificación distinta a un mismo proyecto.

Para armonizar la evaluación científica y técnica entra en acción el denominado “sintetizador”. Éste es también un evaluador científico cualificado, elegido por la ANEP y/o el FIS, encargado de leer y analizar los 2 informes de los evaluadores, analizar también personalmente el proyecto y emitir un informe de síntesis. Este informe se remite al presidente de la Comisión, que tiene acceso también a los informes de los evaluadores o revisores.

Oportunidad y estrategia

Se inicia aquí un proceso de evaluación paralelo, que tiene como objetivo no tanto evaluar la calidad intrínseca científico-técnica de cada proyecto, sino sus características de oportunidad y estrategia. Esta evaluación la realiza habitualmente uno de los miembros de la Comisión Técnica de Evaluación, denominado “panelista”, y se plasma en un tercer informe. El panelista desconoce el resultado del informe científico y el sintetizador desconoce el resultado del informe estratégico. El informe estratégico facilita obtener una visión de conjunto de varios proyectos presentados, evaluando su oportunidad, adecuación a las prioridades de la convocatoria, la dedicación del IP al proyecto, si se trata o no de un grupo emergente, etc.

Finalmente, una vez evaluados todos los proyectos, las comisiones técnicas se reúnen y se procede a la calificación global de cada proyecto, de acuerdo con los informes de los evaluadores, sintetizador y panelista. En estas sesiones se priorizan todos los proyectos calificados y evaluados y se emite un último informe.

Debido a las limitaciones presupuestarias, la experiencia indica que, en condiciones habituales, aproximadamente 1 de cada 3 proyectos presentados podrá ser financiado, y que muchos de los considerados financiables sufrirán recortes de presupuesto.

En caso de existir conflictos de intereses que afectan a los miembros de las comisiones (por ejemplo, un miembro presenta un proyecto de investigación), el proyecto sale del circuito normal de evaluación y es gestionado directamente por un grupo reducido de personas, la denominada Comisión de Conflictos de Intereses, que asigna evaluadores, sintetizador y panelista sin participación de la comisión afectada por el conflicto de intereses.

Una vez completado todo el proceso, se establece una propuesta de financiación que se eleva a la Comisión de Selección, una comisión pública (su composición anual aparece en el BOE), inte-grada por 10-12 miembros, nombrados por el director del ISCIII, que adjudica finalmente las ayudas para la investigación.

La Comisión de Selección conoce y supervisa todo el proceso evaluador, da su visto bueno (o no) al mismo y a su resultado, ajustando en caso necesario la propuesta de adjudicación a la disponibilidad presupuestaria. También vela porque se cumplan, entre otros, los criterios de igualdad territorial. A partir de la publicación de la propuesta de resolución (la denominada resolución “provisional”) se abre la etapa de alegaciones.

El proceso administrativo facilita y fomenta estas alegaciones, que necesariamente adolecen de un posible defecto inicial: cada investigador está convencido (y hace bien) de que su proyecto es bueno o muy bueno. El problema es que desconoce que además debe ser el mejor o por lo menos mejor que otros centenares de proyectos. Muchos proyectos calificados como “buenos” no obtienen financiación.

Revisar el proceso de evaluación, que siempre puede haber tenido fallos, subsanarlos en caso necesario, e intentar convencer al investigador de que el hecho de que su proyecto no sea financiado no le descalifica científicamente son los objetivos fundamentales de esta etapa.

Modesta retribución

Los evaluadores (como ya se ha comentado, independientes, expertos e incluidos en las bases de datos del FIS y ANEP) reciben una compensación (alrededor de 90 euros) por proyecto evaluado y no suelen recibir más de 3-5 proyectos para evaluar en una misma convocatoria.

Los adjuntos a los presidentes y los panelistas son nombrados por el Subdirector General de Evaluación y Fomento de la Investigación, a propuesta de los presidentes de las comisiones. El cargo tiene una duración de 4 años, y comporta la compensación por gastos de viaje (clase turista) y alojamiento en caso necesario (con un presupuesto limitado y modesto, menos de 100 euros/día, cantidad que, para alojarse en Madrid, donde se llevan a cabo las reuniones presenciales, hasta ahora siempre en el ISCIII, no permite muchas opciones). Los presidentes de las comisiones de evaluación se nombran y renuevan de igual modo, reciben el mismo tipo de compensaciones por los gastos de desplazamiento y una modesta retribución por su dedicación al proceso.

El personal administrativo que da soporte al proceso es escaso e insuficiente, los medios técnicos son los justos y sólo se suplen las deficiencias y las limitaciones con el esfuerzo, dedicación, profesionalidad, competencia y trato amable de los técnicos y administrativos. Agencias similares que gestionan la investigación biomédica en países de igual magnitud y presupuesto dedicado a I+D+i en Biomedicina que España tienen una dotación de medios humanos y técnicos muy superior, lo que no hace sino resaltar la extraordinaria eficiencia en el uso de nuestros recursos.

Además, estos profesionales reciben directamente la mayoría de las quejas (con razón o sin ella, pero en ocasiones inaceptables ya no sólo en el fondo si no en la forma) de algunos investigadores o gestores de la investigación, que antes que reconocer sus propios errores todavía recurren al tópico “Ud. no sabe con quién está hablando”.

En resumen, el proceso de evaluación ex-ante de la investigación es complejo, no es perfecto, pero intenta garantizar a los investigadores una evaluación técnicamente adecuada, justa e independiente.

Evaluación posterior

La evaluación ex-post es un proceso de igual o mayor importancia si cabe que la ex-ante. La investigación financiada con fondos públicos debe ser sometida a un proceso especial que permita determinar si los recursos asignados han sido empleados de la forma más eficiente y correcta posible, y si se han alcanzado o no los objetivos científicos planteados inicialmente.

Debido a la duración de los proyectos, se suele establecer una evaluación parcial durante su progreso (las memorias anuales) y una evaluación final. A este respecto, cabe establecer también algunas consideraciones generales:

1. Evaluación ex-post durante el proyecto: Trata de determinar la adecuación de los objetivos intermedios o de progreso alcanzados en el primer, segundo o tercer año del proyecto, las posibles variaciones introducidas en la metodología y plan de trabajo, y la utilización del presupuesto asignado. Suele basarse en un informe o memoria redactado por el IP y remitido a la agencia financiadora. No suele acompañarse de una revisión exhaustiva, excepto quizás en los aspectos económicos (justificación de los gastos realizados), y prácticamente nunca se realiza en esta etapa una visita de comprobación o inspección in situ. Un problema habitual, de difícil solución, es que, para cumplir con el proceso administrativo debido en la convocatoria, en muchas ocasiones el investigador inicia realmente su proyecto con meses de retraso sobre la fecha prevista, que es el retraso que sufre la transferencia de los fondos asignados en la primera anualidad.

2. Evaluación ex-post al finalizar el proyecto: Trata de establecer si el proyecto se ha completado de acuerdo con lo previsto, en tiempo, forma y uso de recursos. Suele basarse de nuevo en un informe o memoria redactado por el IP y remitido a la agencia financiadora. En este caso sí que suele acompañarse de una revisión más exhaustiva, aunque tampoco suele realizarse en esta etapa una visita de comprobación o inspección in situ.

Una parte importante de esta evaluación la constituye la evaluación de los resultados de la investigación, habitualmente en forma de publicaciones en revistas biomédicas, comunicaciones a congresos o patentes. Desafortunadamente, este punto no resulta fácil de evaluar en la actualidad, aunque el FIS está trabajando en la construcción de un conjunto de indicadores que permitan aproximarse de forma válida a esta medición de resultados.

En resumen, el proceso de evaluación descrito para la investigación biomédica (proyectos) no es sencillo, es probablemente imperfecto y mejorable, pero es el único o el mejor sistema del que la propia comunidad científica se ha dotado para cumplir con su finalidad principal. Su mejora y desarrollo sostenible son responsabilidad de todos nosotros: investigadores y Administración, fundamentalmente.

“En ocasiones, los investigadores se quejan de las evaluaciones, bien por su aparente falta de rigor o calidad, bien por considerar que el evaluador no es experto en el tema (deducción a partir de sus comentarios, puesto que son anónimos)”.

“El proceso de evaluación ex-ante de la investigación es complejo, no es perfecto, pero intenta garantizar a los investigadores una evaluación técnicamente adecuada, justa e independiente”.