Nuevas tecnologías y enseñanza de las políticas públicas: diez propuestas pedagógicas

New technologies and Public Policy teaching: ten pedagogical proposals

Harguindéguy, Jean-Baptiste

Universidad Pablo de Olavide (España)

ORCID: https://orcid.org/0000-0003-1151-3007

jbhar@upo.es

NOTA BIOGRÁFICA

Jean-Baptiste Harguindéguy es profesor titular en el Área de Ciencia Política de la Universidad Pablo de Olavide donde imparte clases sobre políticas públicas y administración pública. Sus investigaciones recientes se centran en la organización de referéndums de autodeterminación, el papel de las élites periféricas en las instituciones centrales y la enseñanza de las políticas públicas.

Ruiloba Nuñez, Juana

Universidad Pablo de Olavide (España)

ORCID: https://orcid.org/0000-0002-8164-7695

jruiloba@upo.es

NOTA BIOGRÁFICA

Doctora en Ciencia Política y de la Administración por la Universidad Autónoma de Madrid (UAM). Profesora de Ciencia Política y de la Administración en la Universidad Pablo de Olavide de Sevilla, miembro del Instituto Universitario de Estudios de la Mujer de la UAM y profesora en su Master Universitario Interdisciplinario de Estudios de Género. Sus líneas de investigación se centran en el liderazgo político, la administración y las políticas públicas, el gobierno local y el papel de la mujer en política.

RESUMEN

El uso de nuevas tecnologías en la universidad es hoy en día una competencia instrumental básica para los estudiantes. Sin embargo, es poco frecuente que se oriente a los docentes en el mundo de las aplicaciones informáticas. Esta propuesta pedagógica se basa en una selección de aplicaciones que pueden ser de interés para el análisis de políticas públicas e intenta mantener cierto equilibrio entre pedagogía y tecnología. Dichas aplicaciones permiten trabajar diferentes competencias relacionadas con el ciclo de políticas públicas y con temas más transversales como los actores, las instituciones, las ideas y la territorialidad de la acción pública. Cada aplicación es evaluada en función de su gratuidad, su accesibilidad y su estabilidad –además de introducir comentarios sobre su interfaz gráfico y su manejo–.

PALABRAS CLAVE

Docencia; políticas públicas; informática; innovación docente.

ABSTRACT

The use of new technologies in higher education is now a basic instrumental skill for students. However, there are few available sources to help university professors to choose the right applications for their classes. This pedagogical proposal is based on a selection of applications of interest for teachers and students in policy analysis which aims to maintain the balance between pedagogy and technology. These applications are designed to develop skills related with the public policy cycle, along with transversal issues like policy actors, institutions, ideas and territoriality. Each application is evaluated according to three variables: it must be free-of-charge, accessible and stable. The paper also includes some comments about their graphic interface and operability.

KEYWORDS

Teaching; public policy; computing; pedagogical innovation.

SUMARIO

INTRODUCCIÓN. 1. TIC Y EDUCACIÓN SUPERIOR, UNA RELACIÓN COMPLEJA. 2. DIEZ PROPUESTAS DE APLICACIONES INFORMÁTICAS PARA ENSEÑAR LAS POLÍTICAS PÚBLICAS. 2.1. DEFINIR LOS PROBLEMAS CON MAPAS CONCEPTUALES. 2.2. EXPLORAR LA PUESTA EN LA AGENDA CON EL COMPARATIVE AGENDAS PROJECT. 2.3. ELEGIR UNA ALTERNATIVA EN BASE A UN ANÁLISIS DE RIESGO. 2.4. EXAMINAR LA IMPLEMENTACIÓN CON LÍNEAS DE TIEMPO. 2.5. EVALUAR UNA POLÍTICA CON VARIABLES VALIDADAS Y FIABLES. 2.6. IDENTIFICAR LOS ACTORES DE UNA POLÍTICA PÚBLICA CON UN ANÁLISIS DE REDES. 2.7. COMPARAR INSTITUCIONES CON FSQCA. 2.8. CONTRASTAR IDEAS CON UN ANÁLISIS DE TEXTO ASISTIDO POR ORDENADOR. 2.9. ANALIZAR LOS INSTRUMENTOS CON DELPHI. 2.10. CONSIDERAR LA TERRITORIALIDAD CREANDO MAPAS VIRTUALES. CONCLUSIÓN. REFERENCIAS BIBLIOGRÁFICAS.

INTRODUCCIÓN

Para muchos estudiantes, el uso de nuevas tecnologías en las aulas universitarias ya no es sinónimo de innovación pedagógica (Bates, 2019). Esta percepción se sustenta en dos razones. La razón estructural es que las tecnologías de la información y comunicación (TIC) se han infiltrado en todos los ámbitos de la vida diaria. La razón coyuntural tiene que ver con la crisis del COVID-19 que impulsó fuertemente la enseñanza online en las universidades durante el año 2020 (Routabi y Bennani, 2022). En otras palabras, la velocidad a la que se producen las revoluciones tecnológicas no ha hecho más que acelerar durante los últimos años y la disrupción se ha convertido en norma (Miliken y Barnes, 2002). En este contexto, el uso de las TIC ha pasado del estatuto de innovación docente a convertirse en una competencia instrumental que el estudiante debe haber adquirido y sepa aplicar al finalizar sus estudios de grado. Ello explica la presencia de esta competencia en todos los títulos oficiales de grado en España1.

El análisis de políticas públicas no ha sido ajeno a esta tendencia. Según el Libro Blanco dedicado a los estudios políticos, una de las competencias transversales más trabajadas en clase de análisis de políticas públicas suele centrarse en el uso de las nuevas tecnologías (ANECA, 2015). Conforme a la Declaración de Bolonia (19 de junio de 1999), esta competencia se ha ido implementando desde la primera década de los años 2000. Dicha competencia no sustituye a los conocimientos previos, pero permite trabajar de forma transversal e –idealmente– incrementando el interés de los alumnos/as. La consecuencia de este cambio paradigmático ha sido la necesidad de impartir clases más prácticas y que incluyan elementos tecnológicos. Pero mientras existen descriptores bastante estrictos que canalizan los contenidos teóricos de esta disciplina, no suele haber tal cosa para las clases prácticas. Por lo cual, cada docente en políticas públicas ha ido desarrollando sus propias soluciones frente a esta nueva necesidad.

Para responder a esta evolución, este artículo pretende dar a conocer una selección de aplicaciones informáticas a los docentes y estudiantes especializados en análisis de políticas públicas –siendo de interés también para asignaturas anexas como la ciencia de la administración, la sociología de las organizaciones o la gestión pública–. Siguiendo una tradición ya asentada en ciencia política, esta propuesta didáctica sigue el desarrollo de una clase estándar sobre políticas públicas e invita a profundizar ciertos aspectos con la ayuda de las nuevas tecnologías (Janda, 1967). Desde un punto de vista más teórico, y siguiendo a Fawns (2022), se pretende proporcionar una programación equilibrada entre las dimensiones pedagógicas y tecnológicas que evite cualquier determinismo entre ambas. Esta selección se basa en la experiencia del equipo docente dedicado al estudio de la administración pública de la Universidad Pablo de Olavide entre el año 2012 y la actualidad. En total, durante estos diez años, 22 aplicaciones fueron testadas y 12 fueron desechadas. El testeo se basó en tres criterios desarrollados de forma empírica: el tiempo de instalación/preparación en clase, la facilidad de manejo por parte de los estudiantes y la opinión de los alumnos/as. Las diez aplicaciones «supervivientes» son presentadas en este artículo.

Estas diez aplicaciones tienen características comunes. Primero se trata de aplicaciones de fácil acceso en Internet. En cada caso se procuró identificar la última versión de cada app para que pudiera ser encontrada sin esfuerzos. Se hizo también especial hincapié en la gratuidad. Es cierto que la mayoría de las universidades de España –pero no todas– disponen de catálogos de aplicaciones compradas o alquiladas. Sin embargo, una vez que los alumnos/as acaban sus estudios suelen perder el acceso a estas herramientas. Al proponer aplicaciones gratuitas, garantizamos que este vínculo no se rompa. Finalmente, nos centramos en la funcionalidad. Aunque parezca obvio, no todos los sitios Internet siguen activos para siempre. Pasa lo mismo con las aplicaciones disponibles en la red: sin actualizaciones frecuentes pueden dejar de funcionar sin más. Para esta razón es muy importante asegurarse de que exista cierta continuidad en su mantenimiento.

Esta propuesta pedagógica se estructura en tres secciones. La primera repasa el uso de las tecnologías de la información y la comunicación en el campo de la educación superior. La segunda sección se centra en diez aplicaciones informáticas que permiten trabajar competencias determinadas. Las cinco primeras se centran en las diferentes fases del ciclo de políticas públicas (definición de los problemas, puesta en la agenda, toma de decisión, implementación y evaluación) y las siguientes abordan temas más transversales (actores, ideas, instituciones, instrumentos y territorialidad) antes de concluir poniendo de relieve estas aportaciones.

1. TIC Y EDUCACIÓN SUPERIOR, UNA RELACIÓN COMPLEJA

La relación entre TIC y educación superior es compleja. De los primeros experimentos de los años 1970 hasta el principio de los años 2000, la introducción de herramientas tecnológicas no modificó en profundidad la naturaleza de las enseñanzas. Las innovaciones eran puntuales y no afectaban el binomio docente/estudiante. Sin embargo, desde entonces los cambios ocurridos han cambiado el paradigma dominante –razón por la cual se habla cada vez más de e-learning para referirse al uso de las TIC en la educación superior–. Al igual que en el mundo empresarial, la supuesta neutralidad de la tecnología en la educación superior ha quedado en entredicho (Selwyn et al., 2020). Sin embargo, las evaluaciones sobre las ganancias en término de productividad siguen siendo escasas (Ben Youssef y Ragni, 2008).

Las nuevas tecnologías de la información y de la comunicación en la educación superior incluyen numerosas dimensiones. El acceso al catálogo de una biblioteca universitaria a través de una pantalla, el aula virtual donde los profesores cuelgan contenidos y pueden chatear por videoconferencia con los estudiantes, el email corporativo, o la disponibilidad de softwares libres son solo algunos de estos aspectos. A principios de los años 2000, Duart y Sangrà (2000) clasificaron estos elementos en tres modelos de enseñanza en función del volumen de tecnología que incorporaban. El primero (modelo síncrono) se basa en la universidad presencial clásica y solo incluye algunas pinceladas virtuales como el envío de trabajos online por parte de los alumnos/as y la prueba antiplagio de dichos textos. El segundo modelo (parcialmente asíncrono) permite un cierto equilibrio entre educación presencial y virtual (con algunas clases online por ejemplo como las MOOC –massive online open courses– de la Universidad de Harvard). El tercer modelo (modelo asíncrono) se refiere a la virtualización total de la enseñanza como es el caso en la Universitat Oberta de Catalunya por ejemplo (gráfico 1)2.

Gráfico 1. Modelos de enseñanza

 

Fuente: Duart y Sangrà (2000).

Durante los 20 últimos años, el uso de herramientas informáticas en la educación superior ha supuesto dos tipos de respuestas. Plagiando el clásico ensayo de Umberto Eco (1965), se puede afirmar que el bando de los docentes «integrados» ha visto en la informática una oportunidad única para mejorar la enseñanza. Es el caso de las varias versiones del Manifiesto para Enseñar Online (Bayne et al., 2020) cuyo argumento central insiste en la capacidad de Internet por abolir las distancias físicas y temporales y así crear una cercanía imposible antaño. Esta corriente subraya que la atracción de un público masivo por un precio asequible puede introducir más diversidad en el aula (virtual) y acercar el campus al resto de la sociedad civil. En un mundo de nativos digitales, el uso de las TIC sería tan natural como el de la pluma en el siglo xix (Walker et al., 2020). Además, la informatización permitiría una comunicación horizontal más fluida entre los propios estudiantes (Hvid Stenalt, 2021).

Pero el bando de los «apocalípticos» ha matizado mucho estos argumentos desde entonces (MacKenzie et al., 2021). Si todos/as reconocen los méritos de las nuevas tecnologías por permitir la continuidad de las clases en su formato online, también se ha pasado a una visión más crítica en cuanto a su puesta en obra. Varios autores/as han identificado los principales problemas de implementación de las TIC en la universidad como la infraestructura Internet disponible, la formación de los profesores/as o la capacidad de adaptación de docentes y alumnos/as –especialmente en países en desarrollo– (Bou-Hamad, 2020; Mercader y Gairín, 2020; Ampadu y Sedofía, 2021; Coral y Bernuy, 2022). En definitiva, la brecha digital sigue dividiendo a ricos y pobres, a jóvenes y mayores, y a ciudadanos del centro y de la periferia.

En realidad, conviene no caer en la tentación del todo o nada. Primero, porque dependiendo de la carrera estudiada, el uso de herramientas informáticas varía mucho. Así pues, un/a ingeniero/a en formación difícilmente podrá evitar utilizar un software de diseño asistido por ordenador (tipo AutoCAD), mientras que un/a futuro/a historiador/a podrá limitarse a un uso menos intensivo (Selwyn, 2007). Segundo, porque el debate sobre la posición de la tecnología en la enseñanza ha evolucionado muchos. Ya no se resume a una mera cuestión de volumen e incorpora ahora una dimensión más cualitativa. Tal y como Fawns (2022) expone, los modelos actuales de enseñanza pueden pecar de determinismo en dos sentidos: los que se centran únicamente en la tecnología acaban orientando la pedagogía en función de las herramientas disponibles, y los que se enfocan solo en la pedagogía pierden la oportunidad de usar instrumentos tecnológicos. El diseño ideal debería considerar esta relación entre pedagogía y tecnología desde un punto de vista más global y tomar en cuenta también los métodos, los objetivos, los valores y el contexto (Gráfico 2).

Al igual que Koehler, Mishra y Cain (2013) anteriormente, Fawns (2022) considera que el uso indiscriminado de herramientas tecnológicas no tiene sentido si carece de un objetivo final, no se adapta al contexto social de los estudiantes e ignora valores éticos básicos. Estas bases permiten por lo tanto incorporar tecnología siguiendo un modelo pedagógico orientativo. El punto fuerte de este diseño aspiracional es que no está orientado a un resultado concreto, sino que puede desembocar en múltiples soluciones que dependerán del empeño de cada estudiante (solo o en grupo). Gracias a este modelo, se puede producir conocimientos compartidos, adaptados al entorno y éticos. La propuesta siguiente se inscribe en esta búsqueda pedagógica al considerar a las nuevas tecnologías como meros medios para conseguir asentar determinadas competencias –y no como fines en sí mismas– (Englund, Olofsson y Price, 2017; Prisacari y Danielson, 2017).

Gráfico 2. Modelo aspiracional pedagógico-tecnológico

 

Fuente: Fawns (2022).

2. DIEZ PROPUESTAS DE APLICACIONES INFORMÁTICAS PARA ENSEÑAR LAS POLÍTICAS PÚBLICAS

Al igual que el resto de la docencia universitaria, el análisis de políticas públicas ha ido incluyendo progresivamente los avances de las tecnologías de la información y comunicación. Siguiendo esta premisa, se presentan diez propuestas pedagógicas a continuación. Como dicho anteriormente, esta selección es el resultado de la experiencia acumulada desde 2012 por los docentes de administración pública de la Universidad Pablo de Olavide. Estas aplicaciones informáticas vienen a apoyar el orden clásico que suele sustentar las clases sobre políticas públicas (Gráfico 3). Acompañan la presentación de las diferentes fases del ciclo de políticas públicas, antes de centrarse en temas más transversales (Harguindéguy, 2020). Asimismo, es importante considerar la propuesta siguiente como una mera orientación que docentes y estudiantes pueden adaptar a sus necesidades. Se recalca esta dimensión en la sección siguiente de tres formas. Primero, se explica claramente cuál es el objetivo de cada programa y cómo se puede insertar en el syllabus de la asignatura. Segundo, se insiste en que cada una de las aplicaciones esbozadas es representativa de una familia más amplía de programas informáticos. Tercero, se intenta contextualizar el uso de cada app planteando una serie de actividades a modo de ejemplo.

Gráfico 3. Ciclo de políticas públicas

 

Fuente: Elaboración propia.

2.1. Definir los problemas con mapas conceptuales

Siguiendo el orden clásico del ciclo de las políticas públicas, proponemos trabajar sobre la fase de definición de los problemas con mapas conceptuales. Durante dicha fase, los líderes políticos deben definir sus objetivos y los medios para conseguir sus fines. Para ello, los mapas conceptuales pueden resultar muy adecuados ya que son esquemas que ayudan a plasmar gráficamente conceptos abstractos. Los mapas conceptuales permiten realizar tormentas de ideas, representar estructuras complejas, o relacionar actores, por citar solo algunas de sus aplicaciones. Según Notorio (1992) y Novak (1995), un mapa conceptual consta de tres elementos: conceptos (los puntos del diagrama), proposición (el nexo entre puntos), y palabras-enlace (para identificar las características de la relación).

La aplicación informática propuesta aquí se titula Cmap Tools. Cmap Tools no es única en su categoría y cuenta con numerosos competidores como VYM View Your Mind, EdrawMindMap, FreeMind, XMind, Mindomo, Cayra y Bookvar. Cmap Tools está producida por Institute for Human & Machine Cognition (IHMC) –una organización no lucrativa vinculada a la Universidad de West Florida desde 1999–. Esta app se puede encontrar de forma permanente en la web del Instituto, dispone de una versión gratuita y funciona gracias a las actualizaciones periódicas aportadas por los informáticos del IHMC3. Estas cualidades han convertido Cmap Tools en una aplicación muy apreciada en el ámbito educativo (Cañas y Novak 2014).

El ejercicio planteado aquí tiene por objetivo definir la construcción de un problema público y de su respuesta en términos de políticas públicas. Para ello, y siguiendo los consejos sobre retórica política de Cobb y Elder (1972) y de Felstiner, Abel y Sarat (1980), los estudiantes deben identificar un asunto social y convertirlo en un problema público de primer orden (por ejemplo, la pobreza infantil en España o el aumento del precio de la energía). Su caja de herramientas se basa en el uso de la retórica para incitar a la acción (o al contrario al statu quo). Este ejercicio se plasma en un mapa conceptual donde deben explicar los campos semánticos de los términos usados y el impacto esperado. Acto seguido, la confrontación entre los diferentes grupos acerca de un problema común lleva a repasar la teoría de las coaliciones expertas (advocacy coalitions) de Paul Sabatier (1988). Al identificar las reivindicaciones de cada coalición, los estudiantes deben entender qué pretende cada bando, desde qué perspectiva ideológica habla, y cómo llegar a un acuerdo.

2.2. Explorar la puesta en la agenda con el Comparative Agendas Project

Uno de los elementos más trabajados en clase de análisis de políticas públicas suele ser la fase de puesta en la agenda. Acuñado por Maxwell McCombs y Donald Shaw (1972), el término de agenda se refiere al conjunto de asuntos al que el gobierno decide dar una respuesta. Implica el estudio del proceso de entrada en la agenda y las dinámicas de exclusión de ciertos temas. Existe un consenso amplío sobre el hecho de que no existe una agenda en singular, sino que conviven múltiples agendas a nivel político, mediático y público (por citar solo algunas). Se propone aquí profundizar estos conceptos a través de una aplicación online y de un ejercicio en clase.

Aconsejamos iniciar esta propuesta sobre agenda cotejando el sitio Internet del Comparative Agendas Project4. Esta plataforma fue lanzada en 1991 por los politólogos estadounidenses Bryan Jones y John Baumgartner. Ha sido ampliada en colaboración con una red cada vez más extensa de académicos internacionales. El contenido del Comparative Agendas Project permite comparar una serie de asuntos (por ejemplo, la política agrícola, industrial, o armamentística) en varios países y en varias épocas en base a infografías automatizadas. Además, esta web propone varias fuentes de datos como por ejemplo las portadas del New York Times, los discursos a la nación, las partidas presupuestarias, o los proyectos de ley tramitados por el Congreso de los Diputados. A modo de ejemplo, el investigador/a puede elegir explorar el recorrido histórico (1996-2011) de la política educativa en la agenda mediática española (en base al número de noticias destacadas en las portadas de El País).

Una vez que se haya realizado este barrido inicial, se puede usar Excel (Microsoft) para cuantificar el recorrido de un asunto en las tres agendas: por ejemplo, el coronavirus o la guerra en Ucrania. El objetivo consiste en verificar la validez de la teoría inicial de McCombs y Shaw según la cual la agenda mediática tiende a influenciar las otras agendas. Un grupo de estudiante se encarga de la agenda mediática eligiendo su periódico favorito en el repositorio Kiosko y más5. Se aconseja ceñirse a las portadas y calcular el número de noticias mensuales partiendo del día de la práctica hacia los días anteriores. Otro grupo de alumnos/as puede entrar en la web del Congreso de Diputados para elaborar un estudio de la agenda parlamentaria observando el número de preguntas y discursos sobre el tema elegido6. Finalmente, el docente puede observar si los datos del Centro de Investigaciones Sociológicas reflejan estas preocupaciones en su lista de los tres principales problemas del país (agenda pública)7. La práctica acaba con la puesta en común de los datos recabados para observar qué agenda influye sobre las demás. Se trata de verificar si los medios influyen la opinión pública, y si la opinión pública (de por sí parcialmente fabricada por las técnicas de sondeo) incitan a los políticos a pasar a la acción.

2.3. Elegir una alternativa en base a un análisis de riesgo

Nuestra tercera propuesta se ubica en el terreno de la elección de alternativas, es decir la toma de decisión. Una vez enfocado el problema público y asegurado su entrada en la agenda gubernamental, los líderes políticos deben tomar una decisión. Dicha decisión conducirá a elegir una alternativa entre varias, y a rechazar las otras. Obviamente, cada alternativa conlleva una serie de ventajas e inconvenientes a corto y medio plazo. ¿Entonces cómo elegir? Para trabajar este aspecto del ciclo de las políticas públicas, proponemos abordar el tema del análisis de riesgo. A través de este ejercicio, se trata de prever las trabas, los aliados y los resultados de una acción política para promover determinada política pública.

Aunque se pueda perfectamente realizar estas actividades de forma «artesanal» con un bolígrafo y una hoja de papel, dicha propuesta se basa en el uso de un programa de computer-assisted political analysis (CAPA). El CAPA en cuestión se titula Policy Maker 5. Policy Maker 5 permite representar en un informe la oportunidad política de lanza una política pública o no. En este sentido se asemeja a una versión más sofisticada del clásico cuadro DAFO (debilidades, amenazas, fortalezas y oportunidades. Policy maker fue creado en 1998 por Michael Reich, profesor de salud pública en la Universidad de Harvard School of Public Health8. Es utilizado en varias regiones del mundo para diseñar políticas de salud –como en Tanzania o en Vietnam–. Al igual que en los casos precedentes, Policy Maker 5 es fácil de encontrar, es estable y es gratuito9. Tal y como lo afirma el periodista Neil Seeman (2000), Policy Maker es todavía un simulador con ciertas limitaciones y que no puede tomar en cuenta todos los posibles escollos que provoca una política –como una ola de protesta ciudadana, por ejemplo– (Seeman 2000). Sea como sea, Policy Maker 5 es un programa muy útil para intentar prever el posicionamiento futuro de las fuerzas en el tablero político y perfeccionar una estrategia para imponer una política pública.

Para poner en práctica esta propuesta, se propone elegir un aspecto particular de algún proyecto de ley (en 2022 por ejemplo la Ley de prevención de las pérdidas y el desperdicio alimentario o la Ley por el derecho a la vivienda). Lo ideal es que dicho ejemplo haya provocado cierto debate en los medios de comunicación. Se puede dividir a los estudiantes en varios grupos correspondientes a los partidos políticos implicados en la votación de dicha ley. Cada grupo debe a continuación explorar sus posibilidades de éxito con Policy Maker 5. En el caso del derecho a la vivienda, ciertos partidos estarán a favor de regular el mercado mientras que otros preferirán no intervenir. Cada bando cuenta con ciertos apoyos sociales (asociaciones de usuarios y lobby inmobiliario, por ejemplo) y debe tomarlos en cuenta. Se aconseja que las evidencias pueden ser recabadas en Internet o en cualquier otro soporte que aporten los docentes. La práctica acaba con la publicación de un informe que permita elaborar la estrategia de cada bando.

2.4. Examinar la implementación con líneas de tiempo

La propuesta siguiente consiste en profundizar el estudio del proceso de implementación realizando líneas de tiempo. Como tal, una línea de tiempo es una herramienta de visualización de datos que facilita la comprensión del desarrollo histórico de un fenómeno. Evita así los sesgos más comunes en la interpretación de datos históricos como el cherry picking (recolección de los elementos que sustentan nuestras teorías previas) o el prejuicio de retrospectiva (recomposición del orden de los eventos que demuestra falsamente que su resultado era previsible). Las líneas de tiempo permiten representar tanto periodos como eventos puntuales, así como analizar los actores, procesos e instituciones que llevaron a cabo la implementación de una política.

Hoy en día, existen muchas aplicaciones de este tipo como por ejemplo Tiki Toki, Capzles, Visme, Preceden, TimeGraphics, CRememble, Dipity, XTimlines, Time Rime o Timeglider. Sin embargo, la que proponemos aquí se llama Timetoast. ¿Por qué haber elegido Timetoast y no otra? Precisamente porque este programa –creado en 2008 por Daniel Todd– se puede encontrar de forma permanente en Internet, es fácil de usar y dispone de una versión gratuita10. Aunque dicha versión gratuita carezca de algunas opciones, es ampliamente suficiente para el trabajo en clase y la ilustración de informes ya que dispone de dos tipos de visualización (por eventos y por cronología). De hecho, su éxito en la academia la ha llevado a ser reseñada en el New York Times y PC Magazine (Trepat y Rivero, 2010).

Existen varias formas de trabajar con Timetoast sobre políticas públicas, pero todas se inspiran en la metodología del backward mapping formalizada por Elmore (1979). La «cartografía revertida» consiste en reconstruir los eventos que han dado forma a una política pública. Idealmente, los estudiantes deben identificar la cadena de sucesos que ha acabado desnaturalizando la implementación de una política gubernamental (por ejemplo, la actual Ley del sí es sí). Se trata así de encontrar los momentos clave que modificaron en profundidad la puesta en obra del programa y lo alejaron de sus objetivos iniciales. Así pues, el uso de Timetoast permite repasar las teorías vinculadas a la implementación de las políticas públicas, desde los estudios pioneros de Pressman y Wildavsky (1973) hasta los de Sabatier (1986). Las prácticas elaboradas en torno a Timetoast pueden ser abiertas (tiempo ilimitado, elección de la política) o más cerradas (tiempo limitado, dossier de prensa sobre una política impuesta por el profesor/a). En ambos casos, es importante reservar el último cuarto de hora para poner en común lo aprendido y desarrollar una reflexión colectiva sobre el problema planteado.

2.5. Evaluar una política con variables validadas y fiables

Aunque vivan rodeados de índices y sondeos de todo tipo, pocas veces los estudiantes se cuestionan su origen. Sin embargo, las evaluaciones de políticas públicas presentadas en clase casi nunca se apoyan sobre datos medidos de forma natural y objetiva. Es el caso de los datos sobre el producto interior bruto, el nivel de apoyo a los líderes políticos, o los rankings sobre democracia en el mundo. Por ello se pretende demostrar cómo se elaboran (o deberían elaborarse) los indicadores usados en una evaluación de políticas públicas. Para llevar esta tarea a cabo se insiste en la diferencia entre los fenómenos fácilmente cuantificables (como la velocidad o el dinero invertido en un proyecto) y los fenómenos que requieren una operación intermedia para ser convertidos en datos (como los conflictos políticos o la felicidad por países). Entre las técnicas para recabar esta segunda clase de datos se encuentran la observación participativa, los cuestionarios a expertos, la codificación de datos primarios, las entrevistas o los sondeos: todos ellos son relevantes para asegurar la calidad de los datos de una evaluación de políticas públicas. En resumen, el mensaje es que los métodos mixtos pueden ayudarnos a percibir la realidad de forma más clara y transversal.

Para explicar cómo se elabora un indicador, proponemos (por ejemplo) entrar en el sitio web de Transparencia Internacional en el apartado de los índices de transparencia de los ayuntamientos11. Los índices disponibles se basan en una serie de observaciones realizadas por científicos sociales que buscan una serie de ítems en las páginas Internet de los ayuntamientos españoles. Cuantos más ítems estén disponibles, más puntos de transparencia se consiguen. Ahora bien, ¿cómo saber si el instrumento de medición que usamos está bien calibrado? (es decir si va a analizar lo que tiene que analizar de forma eficaz –en este caso la transparencia municipal–). Para ello hay dos condiciones básicas que el instrumento tiene que cumplir. Por una parte, se ubica el principio de validez (el instrumento tiene que medir lo que pretende medir), y por la otra el concepto de fiabilidad (o confiabilidad, el instrumento tiene que medir el fenómeno con exactitud independientemente del observador/a y del contexto) (Carmines y Zeller, 1979).

Proponemos seguir esta metodología con los estudiantes usando Excel en dos pasos. Primero, se procede a la fase de validación. Un grupo debe elaborar un instrumento de medición sobre un fenómeno no directamente cuantificable (como la transparencia municipal, por ejemplo) inventando sus propios ítems (por ejemplo, el hecho de que contratos públicos, sueldos y subvenciones estén disponibles en la página de un ayuntamiento). A esto hay que añadir un baremo que indique si los ítems están disponibles y en qué formato. Una posibilidad consiste en baremarlos de la forma siguiente: un punto si el ítem está disponible en un formato descargable y que el usuario pueda importarlo con facilidad (Word, Excel o equivalentes); medio punto si el ítem se encuentra disponible, pero sin posibilidad de importarlo (Pdf, http); y cero puntos si no se encuentra el ítem (o está demasiado escondido). Este instrumento de medición se somete acto seguido a un grupo de jueces expertos que lo barema. Los ítems cuya media es superior a ocho sobre diez se mantienen. Los ítems cuya media es inferior a siete se desechan. Los ítems cuya media se encuentra en siete y ocho son modificados.

Segundo, se evalúa la fiabilidad del instrumento. Los estudiantes deben elegir varios municipios y baremar su nivel de transparencia con el instrumento de medición que han inventado. Cuando ya tienen los datos, se compara el resultado de los diferentes grupos realizando el test de Kappa de Cohen que está disponible en el programa SPSS (Statistical Package for Social Sciences, IBM). Para ser significativos, el resultado de este test de fiabilidad inter-observadores tiene que seguir las pautas siguientes: si es inferior a 0 no es confiable, de 0 a 0,2 es poco confiable, de 0,21 a 0,4 es ligeramente confiable, de 0,41 a 0,6 es medianamente confiable, de 0,61 a 0,8 es confiable y de 0,81 a 1 es perfectamente confiable (Peña y Romo, 1997). La propuesta acaba con una reflexión colectiva sobre la necesidad de llevar a cabo varias fases de pre-investigación antes de elaborar un protocolo de evaluación de política pública.

2.6. Identificar los actores de una política pública con un análisis de redes

Uno de los temas transversales más estudiados en el ámbito de las políticas públicas es la naturaleza de los actores involucrados en los programas gubernamentales. Para esta necesidad, el análisis de redes sociales (social network analysis) puede resultar útil. El análisis de redes ha crecido mucho desde los ensayos pioneros de Barnes (1954). Constituye hoy en día una subdisciplina institucionalizada que cuenta con sus propias publicaciones y asociaciones profesionales12. El análisis de redes sociales se ubica a caballo entre la antropología, las matemáticas, la sociología y la ciencia política. Se basa fundamentalmente en estudiar dos dimensiones: los actores y sus vínculos. Los actores sociales pueden ser individuales o colectivos, tener atributos particulares (como el sexo, el estatuto, o la edad) y ocupar una posición precisa en su universo. Los vínculos pueden ser uni o bidireccionales y más o menos intensos. Gracias a este enfoque, se puede identificar dónde se ubican los «nodos», los «agujeros estructurales», las «redes internas», los «puentes», el «grado de centralidad», o el «grado de vecindad». Estas características pueden ser relevantes al evaluar una política pública para conocer los agentes que la impulsan.

Aunque todos estos conceptos pueden ser analizados de forma manual con una «pared de imágenes», existen en la actualidad varias aplicaciones informáticas que desempeñan esta función13. UCINET (con su interfaz gráfica NetDraw) y Pajek figuran entre las aplicaciones más citadas en el ámbito académico. Pero existen muchas más como Gephi, Tulip, Cytoscape u ORA en otros campos como la biología (Pavlopoulos et al. 2017). A pesar de las bondades de estas aplicaciones, proponemos aquí procesar nuestros datos a través de Graph Commons –creada por el empresario-activista-artista-docente Burak Arikan que opera desde Nueva York–. La principal ventaja de Graph Commons respecto a la competencia es su interfaz gráfico muy intuitivo. Además, cuenta con una versión gratuita que incorpora múltiples opciones y actualizaciones constantes. Estas cualidades explican su éxito creciente en el ámbito de las ciencias sociales y del periodismo de datos.

Para incrementar el interés de los estudiantes, aconsejamos elegir un ejercicio que tenga que ver con la actualidad y que permita descubrir datos ocultos (un poco al modo de una investigación policial). Entre los temas abordados podría figurar el círculo de oligarcas que rodea a Vladímir Putin en el Kremlin y que justifica la existencia actual de políticas públicas por parte de la Unión Europeo y de sus Estados miembros para limitar la influencia de Moscú (Ward, Stovel y Sacks, 2011). El objetivo consiste en analizar cómo se estructura esta red y quien se ubica en su centro. Se pueden dar dos opciones a los alumnos/as: operar en base a un expediente con artículos de prensa sobre el tema elegido, o buscar directamente la información en Internet. Todo depende del tiempo disponible. Una vez establecida la red (se pueden añadir fotos y comentarios), proponemos analizarla con las herramientas de medición del programa. En concreto puede ser interesante identificar las sub-redes (clusters) dentro de la red general, así como el grado de centralidad de los actores (para conocer los líderes del grupo). Ambas opciones están incluidas en Graph Commons y permiten estudiar la consistencia de cada red. Está claro que un estudio más largo podría permitir sacar más información, pero este ejercicio puede constituir una primera aproximación que se puede profundizar luego. El ejercicio acaba con la publicación de un pequeño informe por parte de cada grupo o estudiante.

2.7. Comparar instituciones con fsQCA

El análisis institucional, entendido como estudio de las organizaciones y de las normas escritas y tácticas, es consustancial del análisis de políticas públicas. En este sentido, los autores/as vinculados al neo-institucionalismo en los años 1980 y 1990 solo reafirmaron la importancia de tomar en cuenta lo colectivo en ciencia política (March y Olsen, 1983). Proponemos aquí centrarnos en el papel de las instituciones a través de una aplicación llamada fsQCA y que permite realizar comparaciones cuali-cuantitativas. A pesar de sus detractores, el volumen de estudios cuali-cuantitativos ha ido aumentando paulatinamente en todos los ámbitos de la vida académica durante los últimos 20 años (Roig Tierno, González Cruz y Llopis Martínez, 2017).

El desarrollo del análisis cuali-cuantitativo está estrechamente vinculado a su creador y principal exponente, el profesor Charles Ragin (Universidad de California en la actualidad). Charles Ragin (1987) es comparatista y fue pionero en la investigación de métodos intermedios entre el análisis cuantitativo (a menudo vinculado a grandes conjuntos de casos con pocas variables) y cualitativo (generalmente basado en pocos casos con muchas variables). En determinado momento, Ragin empezó a investigar conjuntos demasiado pequeños como para poder ser procesados con una regresión logística, pero demasiado numerosos como para ser comparados por casos. Su respuesta fue la creación de una aplicación informática llamada Qualitative Comparative Analysis (QCA), seguida de fuzzy sets Qualitative Comparative Analysis (fsQCA). Ambas permiten identificar las condiciones necesarias y suficientes para que ocurra un determinado resultado –expresadas en álgebra booleana– en conjuntos de unos 20 casos14. Desde entonces, algunas alternativas menos populares han visto la luz, como Tosmana por ejemplo. Ahora bien, fsQCA es gratuita, pero su manejo requiere un poco de práctica y sus últimas actualizaciones no siempre funcionan en todos los ordenadores. Por ello es preciso que el docente planifique bien los ejercicios previamente.

Aun así, puede resultar muy interesante plantear el uso de fsQCA en clase de políticas públicas. A modo de ejemplo, se pueden explorar las condiciones que favorecen la estabilidad de la democracia en el cono sur (variable dependiente) comparando países latinoamericanos en función de su riqueza, su pasado democrático, su nivel de urbanización, su producción industrial, etc. De la misma forma, se puede investigar bajo qué condiciones la gestión privada del agua a nivel municipal es más eficiente en el Levante (localización geográfica respecto al cauce, color político del consistorio, volumen de contaminantes ambientales, etc.). En estos dos casos, el programa producirá una «tabla de la verdad» (truth table) que nos indicará todas las combinaciones de variables posibles –incluso las contrafactuales–. Una vez que se hayan filtrado dichas combinaciones, el programa propondrá tres combinaciones de variables necesarias y suficientes (compleja, intermedia y parsimoniosa) para que ocurra el resultado deseado. El profesor debe explicar en cada paso qué operación está realizando el programa, cómo llega a los resultados y cómo interpretarlos.

2.8. Contrastar ideas con un análisis de texto asistido por ordenador

El análisis de texto suele ser una competencia muy presente en el currículum de secundaria, pero no tanto durante los estudios superiores en ciencia política –quizás con la excepción de las asignaturas de teoría política–. No obstante, esta competencia tiene su lugar en análisis de políticas públicas (Wilson y Herrera, 2019). El estudio de texto sigue siendo fundamental para asegurarse de que el alumnado entiende la estructura y las referencias explícitas e implícitas contenidas en un documento escrito (o dibujado). Es imprescindible también en su vertiente normativa para aprender a realizar textos estructurados y convincentes.

Aunque se pueda realizar un análisis de texto «a mano», existe una multitud de aplicaciones informáticas que permiten llevar esta tarea a cabo: se trata de los llamados CAQDA. Este acrónimo significa Computer-Aided Qualitative Data Analysis, que en español podría traducirse como Programas de Análisis Cualitativo de Datos Asistido por Ordenador. Estas aplicaciones permiten representar gráficamente los elementos más relevantes de un texto y compararlos entre ellos (Fielding y Lee, 1998). Existen muchas en el mercado como NVivo, Atlas-ti y MaxQDA que figuran entre las más famosas. El principal escollo a la hora de elegir una aplicación de estas características es su precio ya que suelen ser caras y ocupan mucho espacio en un disco duro. Obviamente existen licencias corporativas para universidades (especialmente en el caso de NVivo y Atlas-ti), pero no pueden ser exportadas a un ordenador particular más allá del mes de prueba. La aplicación que proponemos usar aquí es uno de los productos de la empresa quebequesa Provalis. Se llama QDA Miner Lite, y como deja entrever su nombre, es una aplicación ligera y gratuita.

Uno de los ejercicios más sencillos para hacerse con los mandos de un CAQDA consiste en comparar dos textos según criterios similares. Cualquier material escrito (o incluso audio o video) es susceptible de ser analizado. Sin embargo, cuanto más amplio sea el clivaje ideológico, más impactantes serán los resultados del análisis. Por ejemplo, los discursos de investidura de los presidentes Donald Trump (20 de enero de 2017) y Joe Biden (20 de enero de 2021) pueden constituir un buen material para empezar. Una vez clasificados los párrafos de estos dos textos en categorías analíticas parecidas (por ejemplo: referencias históricas. política económica, políticas sociales, política exterior y nacionalismo), se puede empezar a poner de relieve las diferencias y similitudes entre estas dos administraciones: con gráficos de barras, con nubes de conceptos, o con redes semánticas que relacionen los conceptos entre sí. Como es natural, un CAQDA no «entiende» el sentido del texto, pero puede ayudar a resaltar gráficamente su estructura y los nexos que lo vertebran. Se comentan a continuación las diferencias y analogías entre presidentes. Por una cuestión de tiempo, es recomendable que los estudiantes repliquen el ejercicio en su casa con otro material parecido (por ejemplo, comparando los discursos de investidura de primeros ministros españoles) y entreguen un informe al profesor.

2.9. Analizar los instrumentos con Delphi

Durante los últimos años se ha prestado mucha atención a los instrumentos de políticas públicas y a su supuesta neutralidad. Existe hoy en día cierto consenso sobre el hecho de que la elección de un instrumento de actuación es un tema político: privatizar empresas privadas no es lo mismo que crear monopolios de Estado (Howlett, 2019). Este aspecto puede ser explorado con el método Delphi. El método Delphi fue creado durante la Guerra Fría por la Rand Corporation en apoyo a las Fuerzas Aéreas norteamericanas. Esta técnica –bautizada en honor al oráculo de Delfos– tiene por objetivo prever movimientos futuros en base a los análisis de un grupo de expertos. La peculiaridad de Delphi respecto a una simple mesa redonda reside en la repetición de las preguntas formuladas a los expertos. Aunque existan varias modalidades, el modelo canónico de Delphi funciona de la forma siguiente (Adler y Ziglio, 1996). Primero, un facilitador lleva la iniciativa y plantea una pregunta al grupo. A continuación, cada experto contesta de forma anónima. En tercer lugar, el facilitador lee en voz alta las respuestas15. Se repite la operación (en general unas cuatro rondas) hasta que aparezca cierto consenso entre los miembros del panel (habitualmente entre seis y diez personas).

Como en los casos precedentes, se puede efectuar un análisis Delphi en clase con papel y bolígrafo. No obstante, existe una serie de aplicaciones informáticas que permiten realizar esta tarea online (con la ventaja de poder interactuar a distancia, por ejemplo). Entre las aplicaciones de pago más famosas se encuentran Welphi, Calibrum y Mesydel. En el ámbito universitario existen alternativas parcialmente gratuitas como eDelphi, una aplicación creada por la empresa finlandesa Metodix en colaboración con la Universidad de Turku16. eDelphi permite agrupar a un gran número de participantes y realizar entre una y cuatro rondas en línea para contestar a un cuestionario. El ejercicio se cierra cuando acaban las rondas y/o cuando ha surgido un consenso entre expertos. eDelphi cuenta con una amplía comunidad de usuarios, tutoriales y seminarios de resolución de problemas. Además, no suele experimentar graves problemas técnicos durante su uso.

Una vez los participantes apuntados en el sistema, el ejercicio puede empezar. Proponemos aquí centrarnos en un asunto sensible para la opinión pública como la futura ley sobre prohibición de la prostitución. Los estudiantes reciben un formulario preparado por el equipo docente sobre el estado de esta actividad y deben decidir si prohibirla o no –y sobre todo con qué instrumentos proceder (legales, judiciales, policiales, sociales, mediáticos…)–. Se aconseja realizar cuatro rondas y leer las respuestas de cada alumno/a entre turno y turno. La práctica acaba cuando ha surgido una opinión transversal entre participantes a favor de un tipo de instrumento. Se redacta entonces un informe sustentado por las opiniones expresadas durante las rondas previas.

2.10. Considerar la territorialidad creando mapas virtuales

Siguiendo con el tema de la visualización de datos, proponemos incluir un ejercicio que permita trabajar el tema de la territorialidad de las políticas públicas (Hooghe y Marks, 2001). Una de las formas de proceder consiste en realizar un ejercicio sobre cartografía. Un mapa puede ser definido como la representación gráfica de un conjunto de elementos geográficos, sociales, políticos o económicos. En este sentido, un mapa condensa informaciones complejas al igual que una tabla o un gráfico. Esta información es representada en base a tres elementos (llamados vectores) que se acumulan en capas (layers): los puntos que indican la presencia de un elemento (por ejemplo, una ciudad), los polígonos que sirven para «cubrir» un área con un color para significar que responde a una característica concreta, y las líneas que delimitan las áreas y/o juntan puntos (Heywood, Cornelius y Carver, 2006). En la actualidad, cualquier informe de análisis de políticas públicas incluye mapas preparados ad hoc para ilustrar el propósito del autor. Por ello saber dibujar mapas es una competencia relevante.

Existen numerosas aplicaciones que permiten cartografiar datos como QGis, ArcGis o GVGis. Pero explorar estos sistemas de información geográfica (SIG) resulta imposible en un par de horas. Por esta razón proponemos usar softwares alternativos de fácil manejo. El primero de ellos es Excel ya que sus últimas versiones incluyen una opción que permite insertar gráficos y mapas. La característica principal de Excel es la de proponer mapas en dos o tres dimensiones que puedan servir de base a una presentación en directo o grabaciones. Incluye la posibilidad de rotar los mapas e interactuar con ellos añadiendo tantas capas como sea necesario. Existen también otras opciones como los sitios de visualización de datos Flourish y Datawrapper. El desarrollo de Datawrapper empezó en Alemania en 2012 bajo el impulso de Mirko Lorenz, Nicolas Kayser-Bril y Gregor Aisch. Flourish empezó prácticamente a la misma época gracias a los esfuerzos de dos programadores –Duncan Clark y Robin Houston– que operaban y siguen operando desde el Reino Unido. Ambos proyectos comparten numerosos puntos comunes. Entre los más destacados figuran el alcance de su versión gratuita y su mejora constante que los han convertido en referencias en el campo del periodismo de datos y de las ciencias sociales.

Se pueden enfocar las prácticas sobre cartografía en materia de políticas públicas de muchas formas. Nuestra propuesta consiste en aprender los rudimentos de Excel, Flourish y Datawrapper durante la misma sesión. Un ejercicio sobre la mortalidad y el volumen de infección del COVID-19 por países europeos puede constituir una introducción para hacerse con el control de Excel. Los estudiantes pueden buscar la información por su cuenta o contar con datos previamente ordenados en una tabla. Esta primera fase puede acabar con la creación de un mapa con su respectiva leyenda. Acto seguido, se les puede pedir que entren en Datawrapper/Flourish para realizar un mapa del desarrollo de las eólicas offshore en Dinamarca, por ejemplo. El objetivo es que, a diferencia del primer ejercicio, no sepan nada sobre el segundo. Ello les obligará a buscar información sobre Dinamarca y a ubicar con precisión las infraestructuras eólicas en el mapa creado indicando su potencia en megavatios. El ejercicio acaba veinte minutos antes del final de la sesión y se pone en común las producciones de los estudiantes. Se recalcan los puntos fuertes y los problemas potenciales comparando los mapas de cada grupo.

CONCLUSIÓN

Esta propuesta pedagógica tiene por objetivo proponer ideas para realizar prácticas en el aula de informática en el marco de la asignatura de análisis de políticas públicas. Después de exponer los debates sobre la creciente digitalización de la educación superior, se presentan diez aplicaciones informáticas identificadas por el grupo de docentes especializados en administración pública en la Universidad Pablo de Olavide entre 2012 y 2022. Dichas aplicaciones permiten trabajar diferentes competencias relacionadas con el ciclo de políticas públicas, así como temas transversales como los actores, las instituciones, las ideas, los instrumentos y la territorialidad. Cada aplicación es evaluada en función de su gratuidad, su accesibilidad y su estabilidad –además de introducir comentarios sobre su interfaz gráfico y su manejo–.

No obstante, y con el afán de que la digitalización de las clases de evaluación de políticas públicas se realice en las mejores condiciones, es importante subrayar tres elementos. Primero es imprescindible que el/la docente cuente con un plan alternativo en case de la tecnología falle (corte eléctrico, saturación de la red, etc.). Por ejemplo, aconsejamos verificar la operabilidad de los softwares el día anterior a la práctica para asegurarse de que las actualizaciones no impidan la compatibilidad con el hardware de la universidad. La preparación de un ejercicio alternativo puede ser fácil en ciertos casos y más complicada en otros.

Segundo, hay que recalcar que para el/la docente que trabaja en el aula de informática, la mayor inversión en tiempo y energía ocurre antes y después de la clase (Selwyn, 2022). Usar aplicaciones informáticas nuevas implica que el profesor/a aprenda a manejarlas. Además, los estudiantes se suelen equivocar en sus primeros pasos. El proceso de ensayo-error es inherente a este tipo de docencia. Por ello es preciso prever algún tipo de apoyo logístico. Aconsejamos realizar una demostración previa en clase. Es importante también estar atento a los emails de los estudiantes para resolver sus dudas. Se puede abrir un banco de soluciones en el chat del aula virtual para ello. Finalmente, la redacción de tutoriales disponibles en el repositorio de la asignatura facilitará la tarea de los estudiantes, y por ende del profesor/a. Dichos tutoriales pueden ser también vídeos en los que el/la docente enseñe a realizar el ejercicio y explique cómo profundizarlo.

Tercero, el objetivo de las propuestas presentadas debe quedar claro desde el principio. Los estudiantes tienen que entender la finalidad de cada ejercicio y las competencias que van a adquirir en cada uno de ellos. Ello requiere vincular la actividad planificada con la parte teórica trabajada previamente en clase. Si todo queda claro desde el principio, las aplicaciones solo serán vistas como instrumentos para conseguir un fin superior a través de una dinámica diferente. En otras palabras, el equilibrio entre pedagogía y tecnología habrá sido conseguido. Este reto es complejo, pero apasionante.

REFERENCIAS BIBLIOGRÁFICAS

Adler, M. y Ziglio, E. (1996). Gazing into the oracle: The Delphi method and its application to social policy and public health. Jessica Kingsley Publishers.

Ampadu, E. y Sedofia, J. (2021). COVID-19 and Emergency Education Strategies in University of Ghana: Students’ Challenges with Emergency Remote Learning. En C. Bissessar (ed.), Emergency Remote Learning, Teaching and Leading: Global Perspectives (pp. 21-36). Springer. https://link.springer.com/chapter/10.1007/978-3-030-76591-0_2

ANECA (2015). Libro Blanco. Título de Grado en Ciencias Políticas y de la Administración, Sociología y Gestión y Administración Pública. Agencia Nacional de Evaluación de la Calidad y Acreditación. https://www.aneca.es/documents/20123/63950/libroblanco_politicas_def.pdf/450657b0-a47b-c17c-e58d-39491412173f?t=1654601688983

Area-Moreira, M., Bethencourt-Aguilar, A., Martin-Gomez, S., y Nicolas-Santos, S. (2021). Análisis de las políticas de enseñanza universitaria en España en tiempos de Covid-19. La presencialidad adaptada. Revista de Educación a Distancia – RED, 21(65), 1-19. https://revistas.um.es/red/article/view/450461

Barnes, J. A. (1954). Class and committees in a Norwegian island parish. Human Relations, 7(1), 39-58. https://doi.org/10.1177/001872675400700102

Bates, A. W. (2019). Teaching in a Digital Age. Guidelines for Designing Teaching and Learning. Tony Bates Associates.

Bayne, S., Evans, P., Ewins, R., Knox, J., Lamb, J., Macleod, H., O’Shea, C., Ross, J., Sheail, P. y Sinclair, C. (2020). The Manifesto for Teaching Online. The MIT Press.

Ben Youssef, A. y Ragni, L. (2008). Uses of educational information and communication technologies: From digital divides to digital trajectories. RUSC. University and Knowledge Society Journal, 5(1), 70-82. http://dx.doi.org/10.7238/rusc.v5i1.327

Bou-Hamad, I. (2020). The impact of social media usage and lifestyle habits on academic achievement: Insights from a developing country context. Children and Youth Services Review, (118), article 105425. https://doi.org/10.1016/j.childyouth.2020.105425

Cañas, A. J. y Novak, J. D. (2014). Concept Mapping Using CmapTools to Enhance Meaningful Learning. En A. Okada (ed.), Knowledge Cartography: Software Tools and Mapping Techniques (pp. 23-45). Springer-Verlag. https://link.springer.com/chapter/10.1007/978-1-4471-6470-8_2

Carmines, G. y Zeller, R. (1979). Reliability and Validity Assessment. Quantitative Applications in the Social Sciences. Sage Publications.

Cobb, R. y Elder, C. (1972). Participation in American Politics. The Dynamics of Agenda Building. John Hopkins University Press.

Coral, M. A. y Bernuy, A. E. (2022). Challenges in the digital transformation processes in higher education institutions and universities. International Journal of Information Technologies and Systems Approach. 15(1), 1-14. http://doi.org/10.4018/IJITSA.290002

Duart, J. M. y Sangrà, A. (2000). Formación universitaria por medio de la Web: un modelo integrador para la educación superior. En J. Duart y A. Sangrà (eds.), Aprender en la virtualidad (pp. 23-50). Gedisa: Universitat Oberta de Catalunya.

Eco, U. (1965). Apocalípticos e integrados. Lumen.

Elmore, R. F. (1979). Backward mapping: Implementation research and policy decisions. Political Science Quarterly, 94(4), 601-616.

Englund, C., Olofsson, A. D. y Price, L. (2017). Teaching with technology in higher education: Understanding conceptual change and development in practice. Higher Education Research & Development, 36(1), 73-87. https://doi.org/10.1080/07294360.2016.1171300

Fawns, T. (2022). An entangled pedagogy: Looking beyond the pedagogy-technology dichotomy. Postdigital Science and Education, (4), 711-728. https://doi.org/10.1007/s42438-022-00302-7

Felstiner, W. L. F., Abel, R. L. y Sarat, A. (1980). The emergence and transformation of disputes: naming, blaming, claiming. Law and Society Review, 15(3-4), 631-654. http://www.jstor.org/stable/3053505

Fielding, N. G. y Lee, R. M. (1998). Computer Analysis and Qualitative Research. Sage.

Harguindéguy, J. B. (2020). Análisis de políticas públicas. Tecnos.

Heywood, D. I., Cornelius, S. C. y Carver, S. J. (2006). An Introduction to Geographical Information Systems. Prentice Hall.

Hooghe, L. y Marks, G. (2001). Multi-level Governance and European Integration. Rowman and Littlefield Publishers.

Howlett, M. (2019). Designing Public Policies Principles and Instruments. Routledge.

Hvid Stenalt, M. (2021). Researching student agency in digital education as if the social aspects matter: Students’ experience of participatory dimensions of online peer assessment. Assessment & Evaluation in Higher Education, 46(4), 644-658. https://doi.org/10.1080/02602938.2020.1798355

Janda, K. (1967). Some Computer Applications in Political Science. Computers and the Humanities, 2(1), 12-16. http://www.jstor.org/stable/30203944

Koehler, M. J., Mishra, P. y Cain, W. (2013). What is technological pedagogical content knowledge (TPACK)? Journal of Education, 193(3), 13-19. https://doi.org/10.1177/002205741319300303

MacKenzie, A., Bacalja, A., Annamali, D., Panaretou, A., Girme, P., Cutajar, M., Abegglen, S., Evens, M., Neuhaus, F., Wilson, K., Psarikidou, K., Koole, M., Hrastinski, S., Sturm, S., Adachi, Ch., Schnaider, K., Bozkurt, A., Rapanta, Ch., Themelis, Ch., Thestrup, K. et al. (2021). Dissolving the dichotomies between online and campus-based teaching: A collective response to the Manifesto for teaching online. Postdigital Science and Education, 4(2), 271-329. https://link.springer.com/article/10.1007/s42438-021-00259-z

March, J. G. y Olsen, J. P. (1983). The new institutionalism: Organizational factors in political life. American Political Science Review, 78(3), 734-749. https://doi.org/10.2307/1961840

McCombs, M. E. y Shaw, D. L. (1972). The agenda-setting function of mass media. The Public Opinion Quarterly, 36(2), 176-187. http://www.jstor.org/stable/2747787

Mercader, C. y Gairín, J. (2020). University teachers’ perception of barriers to the use of digital technologies: the importance of the academic discipline. International Journal of Educational Technology in Higher Education, 17(4), https://doi.org/10.1186/s41239-020-0182-x

Miliken, J. y Barnes, L. (2002). Teaching and technology in higher education: Student perceptions and personal reflections. Computers & Education, 39(3), 223-235. https://doi.org/10.1016/S0360-1315(02)00042-8

Notorio, A. et. al. (1992). El mapa conceptual como técnica cognitiva y su proceso de elaboración. Narcea.

Novak, J. D. (1995). Teoría y práctica de la educación. La teoría del aprendizaje asimilativo de David Ausubel. Alianza Editorial.

Nussbaum, V. (2014). Le mur d’images au cinéma et à la télévision: mise en lumière d’un dispositif de projection mentale. Intermédialités / Intermediality, 24-25. https://doi.org/10.7202/1034168ar

Pavlopoulos, G. A., Paez-Espino, D., Kyrpides, N. C. y Iliopoulos, I. (2017). Empirical comparison of visualization tools for larger-scale network analysis. Hindawi. Advances in Bioinformatics, article 1278932. https://doi.org/10.1155/2017/1278932

Peña, D. y Romo, J. (1997). Introducción a la estadística para las ciencias sociales. McGraw-Hill.

Pressman, J. L. y Wildavsky, A. B. (1973). Implementation. University of California Press.

Prisacari, A. A. y Danielson, J. (2017). Computer-based versus paper-based testing: Investigating testing mode with cognitive load and scratch paper use. Computers in Human Behavior, (77), 1-10. https://doi.org/10.1016/j.chb.2017.07.044

Ragin, C. C. (1987). The Comparative Method: Moving Beyond Qualitative and Quantitative Strategies. University of California Press.

Roig-Tierno, N., Gonzalez-Cruz, T. F. y Llopis-Martinez, J. (2017). An overview of qualitative comparative analysis: A bibliometric analysis. Journal of Innovation & Knowledge, 2(1), 15-23. https://doi.org/10.1016/j.jik.2016.12.002

Routabi, A. y Bennani, B. (2022). The impact of the pedagogical integration of NICTs on student satisfaction during COVID-19: The case of University Hassan II of Casablanca, Morocco. En M. Haoucha (ed.), Policies and Procedures for the Implementation of Safe and Healthy Educational Environments. Post-COVID-19 Perspectives (pp. 218-236). IGI Global. https://doi.org/10.4018/978-1-7998-9297-7.ch013

Sabatier, P. A. (1986). Top-down and bottom-up approaches to implementation research: A critical analysis and suggested synthesis. Journal of Public Policy, 6(1), 21-48. https://doi.org/10.1017/S0143814X00003846

Sabatier, P. A. (1988). An advocacy coalition framework of policy change and the role of policy-oriented learning therein. Policy Sciences, 21(2-3), 129-168. https://doi.org/10.1007/BF00136406

Seeman, N. (2000). Software for tyrants. Harvard proudly markets PolicyMaker 2.2 as a program that will help politicians get what they want. The Weekly Standard, 5(47), 29-30. https://search.opinionarchives.com/TWS_Web/digitalarchive.aspx

Selwyn, N. (2007). The use of computer technology in university teaching and learning: A critical perspective. Journal of Computer Assisted Learning, 23(2), 83-94. https://doi.org/10.1111/j.1365-2729.2006.00204.x

Selwyn, N. (2022). Less work for teacher? The ironies of automated decision-making in schools. En S. Pink, M. Berg, D. Lupton y M. Ruckenstein (eds.), Everyday Automation: Experiencing and Anticipating Emerging Technologies (pp. 73-86). Routledge. https://doi.org/10.4324/9781003170884-6

Selwyn, N., Pangrazio, L., Nemorin, S. y Perrotta, C. (2020). What might the school of 2030 be like? An exercise in social science fiction. Learning, Media and Technology, 45(1), 90-106. https://doi.org/10.1080/17439884.2020.1694944

Trepat Carbonell, C. A. y Rivero García, M. P. (2010). Didáctica de la historia y multimedia expositiva. Graó.

Walker, Z., Kho, H. H., Tan, D. y Lim, N. (2020). Practicum teachers’ use of mobile technology as measured by the technology acceptance model. Asia Pacific Journal of Education, 40(2), 230-246. https://doi.org/10.1080/02188791.2019.1671808

Ward, M. D., Stovel, K. y Sacks, A. (2011). Network analysis and political science. Annual Review of Political Science, 14(1), 245-264. https://doi.org/10.1146/annurev.polisci.12.040907.115949

Wilson, S. L. y Herrera, Y. M. (2019). Teaching computerized content analysis for undergraduate research papers. PS: Political Science & Politics, 52(3), 536-542. https://doi.org/10.1017/S104909651900026X