Es imprescindible el documento completo de la investigación…

Gerardo Barboza
www.englishincostarica.org

 
Edición impresa publicada en
La Prensa Libre,
en Comentarios, p. 17,
el 6 de diciembre de 2008.

 
…en el que se fundamenta la reforma –en hora buena– al anterior sistema de evaluación. Es imprescindible el documento completo de la investigación porque, como bien lo señala el editorial “El fin de una etapa” (La PRENSA LIBRE, 18/11/08), es una iniciativa “que puede generar mucha polémica, pero debe ser bienvenida en nuestro país”. Y aunque de la investigación científica, rigurosa e independiente, no se obtiene la “verdad absoluta”, al menos con ella tendríamos la gran ventaja –entre muchos otros aspectos– de no encontrarnos con absolutas verdades a medias, que fueron las que dieron origen al anterior e inquisidor sistema de evaluación, que marcó la vida de estudiantes de distintas generaciones.

Se respalda que “el fin de una etapa” –experimental– “debe ser bienvenido en nuestro país”. Empero, la “mucha polémica” que pueda “generar”, solo podría ser neutralizada en tanto el documento completo de la investigación se encuentre disponible al público, de tal manera que se logre constatar que no nos encontramos en la génesis de un nuevo experimento, que habría sido lanzado “a ver que pasa”, y para maquillar estadísticas de una gestión de turno. La educación costarricense merece el mismo –o superior– cuidadoso tratamiento con el que se realiza, por ejemplo, un estudio técnico previo a la instalación de una refinería de petróleo.

Al menos por ahora, en el sitio Web oficial del Ministerio de Educación Pública (MEP) –consultado el 27/11/08–, se encuentran, por ejemplo, los siguientes documentos de relevancia que anteceden a la reforma decretada: (1) “Repetir o pasar: ¿y la deserción?”, del 11/11/2008; (2) “Cambios en evaluación de colegiales deben ir ligados a apoyo de directores”, publicado en La PRENSA LIBRE el 14/11/08.

No se observaron el documento completo de la investigación que justifica las reformas al sistema de evaluación, el editorial “El fin de una etapa”, previamente citado, ni tampoco el de La Nación, “De la rutina al cambio”, publicado el 14/11/08. Curiosamente, en un sitio Web oficial de una entidad pública, tampoco se observaron, al menos, la nota “Sindicatos consideran arbitrarios cambios del MEP en evaluación”, publicada en La PRENSA LIBRE el 13/11/08, y el campo pagado “La ANDE aclara públicamente su posición con respecto a las Reformas del Reglamento de Evaluación de los Aprendizajes”, que se publicó en La Nación el 23/11/08.

Ya se indicó que en “Repetir o pasar: ¿y la deserción?”, abundan las generalizaciones y escasean las referencias bibliográficas. Quién dice qué y a cuenta de qué, es imprescindible saberlo. En “Cambios en evaluación de colegiales deben ir ligados a apoyo de directores”, se realizaron distintas y válidas manifestaciones que hacen suponer que los consultados por La PRENSA LIBRE, ya leyeron y analizaron todo el documento completo de la investigación. ¿Se encuentra ese documento disponible en las bibliotecas de ambas sedes universitarias, al público y, especialmente, para los estudiantes de las carreras en educación?

“De la rutina al cambio”, referido, en parte, a esas reformas, y que establece, por ejemplo: “En primer lugar, no se trata de una ocurrencia o de un buen deseo, como suele suceder ante algunos grandes retos del país, sino del epílogo de un año de investigación, como lo ha expresado el ministro Garnier; de analizar estadísticas, de realizar estudios comparativos con los países más avanzados en el campo educativo, de deliberar con expertos y ministros de otras naciones, de visitar países y de recibir asesoramiento de educadores y directores costarricenses”. Lo anterior nos hace inferir que todo “un año de investigación”, con tantas variables involucradas, solo podría encontrarse en un documento completo que demostraría en realidad que esa iniciativa no habría sido una “ocurrencia”, “un buen deseo”, al que ciertos personajes puedan venerar como en un acto de fe. ¿Adónde se encuentra el documento completo de esa investigación? La respuesta que se necesita es el sitio Web, la biblioteca o el lugar donde se pueda obtener una copia completa de esa investigación. Así, con la misma transparencia y prontitud con las que la Contraloría General de La República opera.

Con el documento completo de la investigación, entendida ésta como investigación educativa –toda una disciplina para la producción del conocimiento–, (1) se podrá comprender, entre muchas razones, aquellas que motivaron la no consulta a los sindicatos, situación que generó el campo pagado por la ANDE, en el que se establecen una serie de criterios alejados de cualquier tipo de incoherencias, gustos personales, de alguna intención de “oponerse por oponerse” o de “resistencia al cambio” y, (2) que el modelo administrativo –regido por un “instructivo”–, fue, al menos, puesto a prueba con anterioridad. “Oponerse por oponerse” es tan perjudicial como “apoyar por apoyar”, sin haberse leído y analizado antes, el imprescindible documento completo de la investigación.

Ministro Garnier: ¿Cuál investigación?

Gerardo Barboza
www.englishincostarica.org

 Edición impresa publicada en
La Prensa Libre,
en Comentarios, p. 18,
el 6 de diciembre de 2008.

 
Jamás me imaginé que en la discusión de los diversos temas educativos, debía recordarle a algunos de los investidos temporales como jerarcas del Ministerio de Educación Pública (MEP) –incluidos aquellos de un consejo ¿superior? de educación–, y a algunos de sus funcionarios y corte de asesores de turno, el fundamento de la investigación educativa.

Nunca lo imaginé, porque me habría resultado inconcebible tener que recordarle a académicos con grados doctorales y de maestrías, que laboraban o aún laboran para las universidades públicas y privadas de este país, que son consultados en lo que denominan “Estado de la Educación Costarricense” y que, aún más importante, deciden sobre la educación pública que afecta la vida de todos y cada uno de los ciudadanos en esto que llaman democracia. Me equivoqué. Por razones de espacio en este prestigioso medio, me limito a recordarles que la investigación educativa es una disciplina que se fundamenta en la metodología científica. Cualquier otra cosa, no es investigación educativa.

Y el recordatorio surge a partir del recibo de una respuesta a mi solicitud al ministro Garnier para que se me remitiera el documento completo de la investigación que se suponía sustentaba los cambios decretados en torno a la reforma al sistema de evaluación. La solicitud fue sencilla “…le solicito respetuosamente me remita una copia completa del documento original de la investigación realizada…”. Extemporáneamente, la jefa de un departamento en el MEP que llaman “Estudios e Investigación Educativa”, responde en lugar del ministro, mediante oficio DEIE-110-2008, lo siguiente: “Los documentos llamados “Repetir o pasar: ¿y la deserción?” Y “Acabar con un sinsentido”, muestran la síntesis de ideas a las cuales se ha llegado después de mucho análisis, lectura y discusión acerca de la situación de la repitencia, la deserción y otros problemas que aquejan a los estudiantes del sistema educativo costarricense” (sic). ¿Mucho análisis, lectura y discusión? ¿Qué significa “mucho” en investigación educativa? ¿En cuál investigación conducida por el MEP se encuentran, al menos, el “mucho” análisis, la “mucha” lectura y la “mucha” discusión sistematizados, de manera coherente?

La jefa del departamento en mención consigna en su respuesta que “…tenemos los datos y gran cantidad de información estadística, así como una lista de lecturas que podríamos sugerir, más no un documento único que enviarle”. (sic). Es decir, no se podrá conocer entonces, entre varios aspectos, el “mucho análisis” de las investigaciones internacionales y nacionales consultadas, de los criterios obtenidos de “mucha gente de muy variadas regiones y países”, los fundamentos de la decisión de no consultar a los educadores sobre las reformas, el nombre del tipo de promoción que resultó de la búsqueda de “una salida propia que mantuviera lo mejor de ambos mundos –la repitencia y la promoción”, ni los resultados de la puesta a prueba de la “iniciativa” que debió haberse dado responsablemente antes de su implementación a nivel nacional.

¿Existe alguna tesis de maestría o doctorado, o algún reporte de investigación serio, en los que haya que armar un rompecabezas de información inconexa y que, de paso, pueda ser acomodada a conveniencia? ¿O es que en el MEP pueden proceder, en temas de relevancia nacional, sin la rigurosidad de la investigación científica? ¿Cuál es ese método de investigación tan exclusivo en el MEP con el que se realizan reformas nacionales a “golpe de tambor”, aupadas por unos cuantos? Un método tan exclusivo de investigación que “sustenta” la política de ocurrencias educativas y el diseño de planes de estudio infundados, ¿no habría colocado desde hace mucho tiempo a la educación costarricense como modelo mundial que algún vividor ya habría patentado para su exportación? Quedarán sin explicar por qué los “argumentos” –¿presentados como propios?– en “Repetir o pasar: ¿y la deserción?”, son tan similares a los planteados en otros documentos.

La ausencia de investigación educativa solo constata que nos encontramos ante otro experimento cuyos efectos permanentes serán similares a las ocurrencias del anterior sistema evaluativo, en tanto que los que experimentan pronto se van, repiten o se promocionan automáticamente en cargos públicos. Y como saben que fue una ocurrencia más, ¿empiezan a lavarse las manos? con declaraciones en los medios como “los cambios no pueden esperarse de la noche a la mañana”.

¿Cuál mañana? La noche continuará en el Sistema Educativo Público en tanto se siga procediendo acientíficamente en esa cartera y haciendo una ensalada, un collage infundado sobre lo que sucede en Finlandia, Chile, Estados Unidos de América, Colombia y, en la nueva ocurrencia: ¡Singapur! Ustedes en el MEP, ¿han leído al Dr. Jeffrey Sachs cuando dice que “Necesitamos a políticos con conocimientos científicos y adeptos al pensamiento crítico basado en las pruebas…”? Para Costa Rica y en Educación, lo dicho por el Dr. Sachs también aplica.

Doña Alejandrina: ¿y los fundamentos?

I Parte

Han pasado ya ocho meses desde que oficialmente se hizo público el Plan Nacional de Inglés (PNI), que han querido hacer ver como un "producto nacional", pero que resultó, más que un collage infundado, un "refrito" de otros planes, como bien lo plasmó UNIVERSIDAD (No. 1780) en el artículo "Plan nacional de inglés imitó programas latinoamericanos".

Doña Alejandrina en esa nota –una vez más, y sin fundamentos que respalden sus aseveraciones– indicó que (separo en tres puntos la cita)  "(1) la elaboración del plan estuvo a cargo de expertos de diversas instancias…" "… (2) se realizó con base en las deficiencias detectadas en el país en lo relativo a esa lengua"… (3) "…es 'falso' haber consultado previamente las iniciativas de otros países".

Sobre el punto (1), los "expertos" que indica doña Alejandrina son de las instancias que conforman el ente rector de ese plan: Presidencia de la República, MEP, COMEX, Programa Nacional de Competitividad y Mejora Regulatoria, INA, CINDE y Estrategia Siglo XXI. ¿Cuáles son los nombres y las credenciales de esos "expertos", específicamente en educación en lenguas que, con la sanción presidencial, han modificado todas las estructuras educativas de este país? El PNI es un asunto educativo y, según las prácticas académicas rigurosas y transparentes, es imprescindible saber quién dice qué y sus fundamentos.

Acerca del punto (2), he solicitado, reiteradamente, que aporte los estudios científicos y académicos independientes que detectaron las "deficiencias" en "lo relativo a esa lengua".  Según los "expertos" anónimos de ese ente rector, las "deficiencias" fueron detectadas con base en un "diagnóstico" hecho a través de la aplicación de una prueba comercial, de corte conductista, e insuficiente como el TOEIC.

Con relación al punto (3), presento algunos ejemplos. 1 de abril del 2007: se reportó en un periódico comercial, que la ex directora de CINDE, Edna Camacho, "envidia el modelo de desarrollo chileno, que no ha escatimado recursos para preparar a su cuerpo de docentes en el manejo del inglés";  octubre del 2007: en Business Chile No. 248, el Sr. Rodrigo Fábrega, Director de Inglés Abre Puertas, manifestó "Hemos mostrado a los profesores que deben enseñar inglés en inglés"; marzo 2007: en el PNI se establece "3. Diagnóstico: … Otro factor que incide negativamente en el potencial de Costa Rica es su pérdida de posicionamiento en comparación con sus competidores de la región latinoamericana, que han logrado materializar proyectos concretos para el desarrollo del inglés en sus habitantes. Por ejemplo, El Salvador lanzó el programa “Compite”; Panamá “English for life” y Chile “Abre puertas”. (sic).

En la siguiente parte, más ejemplos que demuestran que ya se tenía conocimiento de "otras experiencias" en países de América Latina acerca de distintos planes de inglés.  Conocer las experiencias educativas en otros países es necesario.  El problema es cuando esas experiencias se importan acríticamente y se hace pensar a la población que son un "producto nacional". 

Doña Alejandrina: ¿y los fundamentos?

II Parte 

En esta parte continúo con otros ejemplos que desmienten la aseveración de que "…es 'falso' haber consultado previamente las iniciativas de otros países" y refuto otras declaraciones hechas por doña Alejandrina en el artículo publicado en UNIVERSIDAD (No. 1780) intitulado "Plan nacional de inglés imitó programas latinoamericanos".

Marzo 2007: en el Plan Nacional de Inglés (PNI) se establece: "5.3.1 Roles de los actores estratégicos:… Creación de un banco de estadísticas que favorezca el encuentro entre oferta y demanda de personal bilingüe… Se propone tomar como base el modelo desarrollado por Chile (Registro Nacional de Personas con Dominio del Inglés)"…  "5.8.2 …Examen para Evaluar la Metodología de Enseñanza de Inglés… Este examen, utilizado en países de Latinoamérica particularmente en México, Colombia y Chile, está enfocado a conocimientos esenciales requeridos por maestros de primaria, secundaria y adultos". (sic).

11 de septiembre de 2008: en un periódico comercial local, doña Alejandrina, en razón del evento realizado en Costa Rica y con la participación del Sr. Rodrigo Fábrega,  "Educación y Competividad en Chile Experiencias y Retos: El Inglés abre Puertas" (sic), manifestó: "el objetivo es reforzar las debilidades que presentan los profesores que les impiden impartir lecciones de Inglés en inglés". (sic).

Continúa doña Alejandrina en el artículo de UNIVERSIDAD: "…recalcó que no cambiarán tal aspecto (inglés en inglés), pues se ha comprobado que ese es el método más acertado". ¿Según quién? ¿Cuáles son los estudios independientes realizados en y para Costa Rica en el Sistema Educativo Público de primaria y secundaria que así lo comprueban?

"Ante esto la Viceministra dijo que Barboza no leyó bien el Plan nacional, puesto que allí se estipula la realización de un diagnóstico curricular en donde están incluidas las metodologías de evaluación". El "Manual de la Prueba Escrita", adherido al "Reglamento de Evaluación de los Aprendizajes", contradice la evaluación del idioma inglés que establece el programa oficial de estudios en esa lengua. Los expertos en evaluación del MEP, suponen que todas las materias pueden ser "empaquetadas" en pruebas escritas de corte conductista, que contravienen, además, la Política Constructivista –de adorno– en el MEP.

En el artículo anterior y en el presente, presenté algunos ejemplos que constatan que ya se tenía conocimiento de otros planes de inglés en América Latina, especialmente del chileno, que causó "envidia" a la ex directora de CINDE desde el 2007, y que el discurso utilizado en Chile, es repetido en Costa Rica.  Por lo anterior, ¿con base en qué, doña Alejandrina, dice que es 'falso' que se haya "consultado las experiencias en otros países" o que "antes se desconocía tal experiencia" (el plan de inglés chileno)? Las citas que he presentado ¿son solo coincidencias o fueron inventadas por este servidor? ¿Es que por haberse cambiado algunas nomenclaturas, el PNI es un producto nacional?

Doña Alejandrina: ¿y los fundamentos?

III Parte 

El Test of English for International Communication (TOEIC)

I PARTE

Gerardo Barboza
Máster en Educación
Edición impresa publicada en  el
SEMANARIO UNIVERSIDAD,
en Opinión, p. 22, del 9 al 16 de julio de 2008.

De acuerdo con lo establecido en el Plan Nacional de Inglés (PNI), uno de los "pasos cruciales" a dar es la "aplicación de la prueba TOEIC con carácter diagnóstico a los 2900 docentes de inglés que laboran en el MEP, con el propósito de conocer cuál es su dominio real del idioma inglés. El TOEIC se aplicará mediante un proyecto impulsado por el MEP y auspiciado por la Fundación CRUSA en asocio con el Centro Cultural Costarricense Norteamericano". (sic).

Ese paso "crucial", según declaraciones en un periódico de circulación nacional el pasado 15 de mayo por parte de doña Alejandrina Mata, Vice Ministra Académica del Ministerio de Educación Pública (MEP) "…se cumplió muy bien, teniendo en cuenta que gran cantidad de docentes llegaron a realizar la prueba de diagnóstico". La interrogante es si los docentes atendieron al llamado por voluntad propia o porque no podían contradecir a su empleador.

Empero ¿qué dice la literatura independiente acerca del TOEIC, en otras palabras, la no financiada y publicada por su creador, Educational Testing Service (ETS)? Algunos ejemplos son:

Cunningham (2002) en "The TOEIC Test And Communicative Competence: Do Test Score Gains Correlate With Increased Competence?", establece que: 1. no existe una correlación entre el TOEIC y las habilidades comunicativas, 2. la preparación para tomar la prueba del TOEIC no da como resultado un mejor uso de la gramática, 3. esta prueba no parece ser un discriminador ideal de las habilidades lingüísticas y 4. su función como examen de ubicación y como medición de las habilidades lingüísticas de los no hablantes del idioma inglés debe ser "reevaluada".

En "TOEIC: A discussion Analysis", Nall (2003), indica que "la validez aparente de la prueba (la generada por publicidad efectiva y evaluaciones incompetentes) es una cualidad extremadamente subjetiva". "Evidencia imparcial que respalde la naturaleza comunicativa de la prueba", indica Nall, "es notablemente escasa…".

Chapman (2003) en "TOEIC®: Tried but undertested" indica que "la poca investigación independiente que existe acerca de la prueba, brinda evidencia conflictiva", y la agrupa en tres categorías: "reportes de investigación y manuales técnicos producidos por Educational Testing Service, dos estudios independientes realizados acerca de la prueba, pero cuyos investigadores se sustentaron en datos brindados por ETS y pocos estudios independientes conducidos con información no brindada por ETS". Chapman manifiesta que "como es de esperarse, los reportes financiados y publicados por ETS, presentan un amplio respaldo sobre la confiabilidad del TOEIC y su uso válido como instrumento de medición directo en "listening" y "reading" y como instrumento de medición indirecta en "speaking" y "writing". 

En el artículo "The End of the Road for the TOEIC?", de la versión en inglés de Digital Chosunilbo (2005), el Sr. Lee Jeong, Jefe de Personal del Industrial Bank of Korea indicó que "…el TOEIC no es un indicador apropiado de las habilidades reales en inglés de los solicitantes…".

Cho Jin-seo (2006), del Korea Times, en "CEOs Press for English Education Reform" reporta que Kim Yoon, director del comité educativo de la Federación de Industrias Coreanas, le manifestó a Kim Shin-il, Ministro de Educación y Recursos Humanos, que "se necesita urgentemente un nuevo sistema de evaluación en inglés para mejorar las habilidades lingüísticas de los estudiantes", a lo que Shin-il respondió: "el gobierno está divisando un nuevo examen para reemplazar las pruebas TOEIC y TOEFL".

En la siguiente parte, más ejemplos de la literatura internacional independiente y lo que un estudio de ETS (2005) indica sobre el TOEIC.

El Test of English for International Communication (TOEIC)

II PARTE

 Gerardo Barboza
Máster en Educación
Edición impresa publicada en el
SEMANARIO UNIVERSIDAD,
 en Opinión, p. 18, del 16 al 22 de julio de 2008.

 
Continúan los ejemplos de la literatura acerca del TOEIC:

En "TOEFL and TOEIC Need Replacements", el Dr. Byung-min (2007) manifiesta que estas pruebas "no satisfacen completamente las necesidades de los coreanos".

El Dr. Vu Thi Phuong Anh (2008), en "Teaching English: TOEIC suitable to Vietnam?", manifiesta que "Vietnam debe aprender de las lecciones de Corea del Sur y Japón. En ambos países la gente ha gastado mucho dinero para aprender inglés...Sin embargo, el inglés de los japoneses y los surcoreanos no es bueno. El hecho de que muchas universidades aún utilicen el TOEIC es por dos razones: 1. ignorancia, 2. las universidades aparentan estar sordas y mudas para beneficiar a ciertas personas".

Richard Tattenbaum y Caroline Wylie (2005), en el reporte para ETS "Mapping English Language Proficiency Test Scores Onto the Common European Framework", clara y repetidamente indican que la prueba es "para medir las habilidades en "listening" y "reading" de los evaluados" y que la vinculación del TOEIC al Common European Framework of Reference (CEFR) "corresponde a los niveles B1 y C1" de éste.

Con base en los ejemplos de la literatura internacional presentada, surgen las siguientes preguntas para los representantes del "Ente Rector" del PNI creado mediante decreto según La Gaceta del 30 de mayo del 2008:

¿Cuáles son los estudios independientes realizados en Costa Rica acerca del TOEIC?

¿Cuál es la validez y la confiabilidad de los resultados del TOEIC aplicados a los docentes de inglés desde la perspectiva de la literatura independiente que señala las serias debilidades de esa prueba y, desde la perspectiva de su propio creador, que confirma que el TOEIC es para medir las habilidades en "listening" y "reading" y que sus puntajes son para los niveles B1 y C1 del CEFR?   ¿Cuáles son las credenciales de los encargados de "evaluar" las habilidades de "speaking" y "writing" de los profesores de inglés? ¿Con base en qué determinaron esos resultados?

No solamente el PNI se fundamenta en el CEFR cuya fase inicial fue el "análisis intuitivo" (North, 2000), es un marco inseguro para Europa (Fulcher, 2004) y que en su "estado actual no es lo suficientemente prolijo, coherente o transparente para su utilización acrítica" (Weir, 2005), sino que además, utiliza pruebas estandarizadas como el TOEIC, que son vinculadas al CEFR con base en criterios personales de "paneles de expertos".

Con esos instrumentos se "fundamentarán" las acciones en capacitación de los profesores de inglés y el "mejoramiento" de los programas en esa lengua y la adquisición de materiales didácticos.  ¿Algo así como lo reportado por doña Roxy Calderón (2005), Asesora de Inglés que participó en el diseño del PNI: "el gobierno de Costa Rica" —1994-1998— se vio en "la necesidad de contratar profesores de idioma de secundaria o personal no titulado con conocimiento intermedio del idioma inglés" para lo cual el MEP creó "una oficina llamada PROLED (Programa de Lenguas Extranjeras), con el fin de ofrecer capacitación intensiva a los futuros maestros…"? ¿Cuál fue el resultado de las capacitaciones "intensivas" de aquellos "futuros maestros", 14 años después?

Diseñadores del PNI, tienen la palabra, eso sí, respondan pero no con vaguedades como "solo las falencias se señalan sin aportar una propuesta". La propuesta al infundado PNI está a disposición de ustedes; no obstante, han preferido evadir los cuestionamientos planteados o refutarlos con clisés como "son ideas erróneas" sin indicar cuáles son las "ideas erróneas" y sin evidencia científica o académica que les respalde.

Sobre el TOEIC

Roy Alfaro Vargas

Julio, 2008

Hace poco más de dos semanas, he aplicado el TOEIC. Y, aunque lo pasé, es inevitable percibir las dificultades que giran alrededor de esta prueba. Dificultades que van desde el tener que hacer un examen con una grabadora (que no siempre tienen la nitidez de sonido requerida) hasta el ruido que se produce en el sitio que rodea el aula donde se aplica tal examen. Sin embargo, hay problemas de orden lingüístico que deben ser analizadas.

Primeramente, es preciso recordar que el proceso comunicativo es la suma sinérgica de varios elementos (el emisor, el receptor, etc.) de varias funciones (por ejemplo, la función fática) y de algunos principios lingüísticos.

Cuando el TOEIC enfrenta al estudiante a una conversación monologizada, está quebrantando la función fática descrita por Román Jakobson. Esta función es la que permite que entre emisor y receptor se intercambien una serie de señales no-lingüísticas, las cuales aseguran que ambos están conectados en el acto comunicativo. Esta función permite al emisor de turno saber que su mensaje está siendo atendido y entendido. Con una grabadora al frente, narrando situaciones no-reales es difícil, sino imposible, acceder a la función fática. Luego, la comunicación ya no es aquello que debería ser. El emisor deviene absoluto y el receptor no puede acceder al mensaje, el cual no solo es lenguaje verbal.

En segundo lugar, en todas las lenguas, en todas las situaciones comunicativas posibles, entre hablantes nativos de una misma lengua o entre hablantes nativos y no-nativos, existe un principio que asegura que la comunicación cumpla su objetivo. Este principio es el principio de cooperación lingüística. Este principio queda claramente ejemplificado, cuando, por ejemplo, nos encontramos un extranjero en la calle y en un “mal” español nos pregunta algo, usando una gramática no-correcta y/o un vocabulario inadecuado. Exempli gratia: "Dónde ser la banco". Por principio de cooperación, nosotros sabríamos que la persona quiere decir: "Dónde está el banco".

Con el TOEIC, este principio se esfuma, debido a la imposibilidad de retroalimentación dada por la ausencia de la función fática.

En cualquier situación comunicativa que nos encontremos, siempre requeriremos el principio de cooperación y la función fática. Los ambientes comunicativos nunca son ideales, por lo que es preciso siempre y a cada momento solicitarle (verbal o semióticamente) al emisor que repita algo o que lo exprese de otra manera.

Por ende, el TOEIC falla sustancialmente en lo que respecta a su carácter de prueba que pretende abordar el dominio lingüístico del inglés en hablantes no-nativos, al crear una situación totalmente alejada de una posible situación comunicativa concreta, real y completa.