Una tasa de no respuesta elevada ha sido entendida como una señal de que hay algo mal en la construcción de la encuesta: muestreo no adecuado, pregunta no muy clara, comprensible o el modo en que es aplicado el cuestionario.
Las encuestas, como instrumento de medición, requieren de una pieza clave que las personas que nos dedicamos a esto no podemos controlar: la participación de las personas seleccionadas en la muestra. Sin su disposición y sus respuestas francas, la encuesta falla y los datos obtenidos tienen poco interés cuando no son claramente erróneos. Las encuestadoras emplean técnicas y métodos, desde el planteamiento de las preguntas hasta el diseño del operativo de campo, para buscar que todas las personas seleccionadas para integrar la muestra respondan todas las preguntas del cuestionario. Sin embargo, dado que es imposible tener esa certeza, hay que analizar lo que sucede cuando, por diversas razones, nos enfrentamos al fenómeno conocido como la “no respuesta”.
El reverso, o digamos, la faceta positiva de la no respuesta es la tasa de respuesta. Esta es la medida que da cuenta de la proporción de individuos o entidades de la muestra que completaron las preguntas de manera correcta. Originalmente se creía que había que aspirar a una tasa de respuesta de 70 por ciento por lo menos para garantizar que no existieran sesgos. Sin embargo, las tasas de respuesta aceptables varían dependiendo del campo –no es lo mismo una encuesta en un entorno académico, a una encuesta a la población en general, tampoco en un estudio longitudinal gubernamental como puede ser un censo que en un levantamiento de opinión política en línea. Hay encuestas en casa habitación, por ejemplo, con tasas de respuesta que oscilan alrededor del 90%, y los resultados de encuestas por correo o por internet pueden rondar entre 50 y 60%. Cada encuesta evalúa estos datos y considera así la necesidad de ampliar la muestra, de modificar el operativo de campo, incluso de integrar un modo mixto –por teléfono y en persona, por ejemplo– para remediar una tasa de respuesta baja que imponga un sesgo a los resultados obtenidos.
En general una tasa de no respuesta elevada ha sido entendida como una señal de que hay algo mal en la construcción de la encuesta: ya sea que el muestreo no fue el adecuado, la pregunta no es suficientemente clara, comprensible o las opciones de respuesta no son sencillas de responder, o puede deberse también a que el modo seleccionado para aplicar el cuestionario no sea el adecuado para la población que se quiere evaluar. La revisión adecuada de los métodos antes de lanzar el operativo de campo son cruciales para minimizar estos problemas. Sin embargo, es muy posible que aún cuando se haya realizado un buen trabajo preparatorio, la tasa de respuesta puede resultar elevada y esto trae consigo una serie de consideraciones nuevas.
Los personas que investigan la metodología de las encuestas han hallado que con el paso del tiempo, las tasas de respuesta se han ido haciendo menores y en consecuencia la no respuesta crece. Según Robert M. Groves y sus coautores en el libro Survey Methodology, en las encuestas longitudinales como el Censo de Población en Estados Unidos o en la Encuesta de Consumidores la tasa de no respuesta ha ido creciendo de manera sostenida en los últimos 15 años. Además, reconocen que no se trata “únicamente de un fenómeno que suceda en Estados Unidos”. Un estudio de 16 países europeos reveló que en un periodo de 20 años, la tasa de rechazo de la encuesta por parte de las personas contactadas creció a un ritmo de 0.3% cada año.
La American Association for Public Opinion Research publicó un reporte en 2014 sobre la situación de los rechazos y la no respuesta en las encuestas. El objetivo era entender la situación y tratar de dilucidar posibles rutas de acción y consideraciones para hacerle frente a la situación. En su reporte dividen en dos las estrategias para hacerle frente a los rechazos: el diseño de la encuesta, y la gestión del entrevistador o la entrevistadora. Esta segunda categoría es interesante porque es la que implica una mayor cantidad de imponderables. Las personas encargadas de aplicar las preguntas requieren capacitación, entrenamiento y una cierta auditoría de sus conocimientos.
Otra de las las áreas de interés dentro del reporte es la que habla de la práctica de conversión de rechazos –el logro, por parte de los encuestadores, de hacer que una persona que originalmente no quiso, finalmente conteste el cuestionario. No todos los encuestadores deciden ir por esta vía porque implica más gestión y además es potencialmente invasiva de la privacidad de las personas. Entre las recomendaciones que el reporte propone está la de registrar y reportar los rechazos de manera particularizada, separados de la categoría “no responde”. Identificarlos como eventos y considerar sus circunstancias –si se trata de un rechazo enfático, o de la interrupción del cuestionario, por ejemplo– puede servir como un punto de información para evaluar no solo el contenido de la encuesta sino también sus condiciones de realización: el costo-beneficio y las mejoras posibles de calidad.
La ya mencionada American Association for Public Opinion Research ha dedicado mucho tiempo a este tema. Entre los documentos y guías que ofrece,tiene un estándar de definiciones que clasifica la cantidad de posibles resultados para la aplicación de un resultado, es decir, trata de catalogar los posibles tipos de respuestas dependiendo del modo en el que se aplican, y son muchísimos: más de cuarenta para cada tipo de aplicación, desde haberse encontrado con una contestadora telefónica hasta que hubo un problema de lenguaje que impidió aplicar las preguntas. Todas estas posibilidades de reporte particularizan con un nivel de detalle muy profundo del tipo de no respuestas. Eso permite entender de mejor manera lo que sucedió en la aplicación y si tiene un impacto significativo en los resultados y las interpretaciones. Este tipo de datos, en aras de la transparencia metodológica, debería ser integrado como información constante y disponible en las notas metodológicas de las encuestas aplicadas. Una mirada somera a las metodologías, por ejemplo, de las encuestas de intención de voto y opinión política en México incluyen el reporte de la tasa de no respuesta pero no el detalle. Tenerlo pormenorizado permitiría conocer mucho más a fondo cómo fue el proceso de aplicación y qué sucede cuando el proceso no se completa.
La no respuesta, como se deduce por esta breve aproximación, es un tema enorme y con implicaciones profundas para la realización de encuestas. Y es un tema poco conocido y poco mencionado fuera de los círculos especializados. Para el público en general será interesante saber que la categoría “no sabe/no contesta” que aparece en casi todas las gráficas que lee a diario incluye una enorme cantidad de información por conocer.