¿Cómo se evalúa la calidad de la traducción automática?
¿Cómo se evalúa la calidad de la traducción automática?
En la creciente industria de las traducciones automáticas, la necesidad de garantizar la calidad de los contenidos traducidos está en auge, ya que las máquinas por sí solas no son infalibles.
La estimación de la calidad de la traducción automática implica la evaluación de la calidad del texto que ha sido traducido previamente por una máquina. Los traductores nativos examinan el contenido traducido y corrigen las discrepancias que se encuentran. Estos traductores humanos están altamente cualificados y corregirán cualquier error para obtener una traducción final sin errores y precisa.
Además de las palabras, los lingüistas también comprueban los glosarios, el uso correcto de la voz y el tono general de la lengua de destino. Exploremos la traducción automática y veamos las distintas formas en que la calidad de la traducción automática afecta al sector.
¿Qué es la traducción automática?
La traducción automática ha hecho su aparición en el mundo de la IA en forma de aplicaciones como Google Translate, pero en un formato más amplio, la industria de la traducción automática es mucho más grande y compleja. La traducción automática consiste en traducir textos y contenidos de una lengua materna a otra.
La traducción automática es una subcategoría de la lingüística computacional que bebe de la informática, la inteligencia artificial, la teoría de la información y la estadística. Durante mucho tiempo, fue considerada una ciencia defectuosa por la baja calidad de sus traducciones. Sin embargo, en las últimas décadas se han producido increíbles avances en la calidad de la traducción automática, y su evolución ha creado una industria de mil millones de dólares.
Aunque la traducción automática por sí sola no es perfecta, el uso de traductores humanos junto con el aprendizaje automático tiene muchas aplicaciones prácticas. Antes de la IA, las agencias de traducción manual y otros traductores profesionales eran los pilares del sector, y las traducciones eran lentas y costosas debido a la increíble cantidad de trabajo que requería realizar una buena traducción.
Hoy en día, el mercado de la traducción automática está prosperando gracias a la combinación de traducciones humanas y automáticas, un servicio más rápido y unos costes más bajos.
Defectos de la traducción automática
Incluso con el florecimiento de los mercados impulsados por la tecnología, la traducción automática sigue siendo inferior a la de los lingüistas humanos. Los sesgos de género, las palabras y frases distorsionadas y malinterpretadas, y la redacción de palabras extrañas son comunes, y esto es especialmente cierto con las aplicaciones de traducción en tiempo real.
Quizá el defecto más profundo sea la incapacidad de la máquina para procesar el pensamiento y las emociones humanas. El emparejamiento de lingüistas humanos rectifica esto, ya que los traductores humanos pueden encontrar errores que las máquinas pasan por alto.
La traducción automática es ineficaz en muchos pares de idiomas, ya que las lenguas ricas en morfología suponen un reto para el cerebro de la IA, especialmente al pasar de una lengua morfológicamente sencilla a otra más compleja.
En este reto, las distinciones morfológicas ausentes en la lengua de origen deben generarse en la lengua de destino. Para solucionarlo, hay que utilizar herramientas ricas en lenguaje, y esto suele estar ausente en la traducción sólo automática.
Muchas veces falta información sobre el orden de las palabras de destino a partir de la oración o frases de origen, por lo que se recurre a un traductor humano para encontrar esta importante información.
Otro problema frecuente de las lenguas flexivas es la traducción inexacta de los pronombres, y en muchos casos, en las lenguas flexivas, el sujeto se omite por completo (las lenguas eslavas representan una categoría de lenguas altamente flexivas). Además, la traducción automática es problemática por las diferencias en la expresión de la negación, y causa muchos problemas cuando se combina con lenguas complejas.
Para resolver el problema de la inexactitud de la traducción automática, la participación humana salva las diferencias lingüísticas, pero sobre todo la evaluación de la calidad de la traducción automática es vital a medida que crece la industria de la traducción.
Evaluación de la calidad de la traducción automática
Con el mercado global emergente, la demanda de traducciones de calidad es evidente, y la precisión es cada vez más importante. Los nuevos mercados de blockchain, por ejemplo, tratan con clientes internacionales, y los documentos financieros deben traducirse a cientos de idiomas diferentes.
El juicio sobre la calidad de la traducción automática se define como evaluación de la traducción automática, y hablaremos de los dos tipos más comunes, para luego echar un vistazo a la posedición.
Evaluación manual
La forma más habitual de acceder y medir la calidad de la traducción automática es la evaluación humana. En este método, la calidad del resultado de la traducción automática es examinada por profesionales de la lingüística desde dos perspectivas diferentes.
La primera perspectiva tiene que ver con la fluidez y examina el grado de precisión en el texto de destino y los promedios de la lengua de destino, la gramaticalidad y la claridad. Los profesionales sólo tienen acceso a la traducción y no a los datos de origen, y la fluidez sólo requiere un experto que domine la lengua de destino.
A continuación, se accede a la precisión del texto a través de los promedios y el significado del texto de origen, y de lo bien que el texto de destino representa el contenido del texto de origen. Al evaluar la precisión del texto, se tiene en cuenta el contexto de las frases. El profesional debe ser bilingüe en el texto de origen y en el de destino.
La evaluación de la calidad de la traducción humana o automática manual requiere mucho tiempo y es costosa, pero también es subjetiva. Para atenuar el problema de la subjetividad, más profesionales evalúan las traducciones en el mismo conjunto de evaluación, y éstas se justifican estadísticamente.
Evaluación automática
La evaluación automática se identifica comúnmente con términos técnicos y se define como un algoritmo. Este algoritmo se codifica en un programa y es lanzado por un ordenador que calcula la puntuación de la evaluación. Esta puntuación informa al usuario de la calidad de la traducción y evalúa el número de palabras, los errores de las frases y el contexto general de la lengua de destino.
La evaluación automática no es perfecta, y las evaluaciones deben ejecutarse muchas veces para obtener datos precisos. Esta tecnología está mejorando rápidamente, y los errores se corrigen a medida que se encuentran soluciones.
Las métricas de evaluación automática son posibilidades sin coste para la evaluación humana y se utilizan para mejorar los sistemas de traducción automática. Las métricas automáticas se basan en el concepto de que la calidad de la traducción automática debe acercarse a la traducción humana. Este concepto depende de la disponibilidad de recursos humanos, ya que las métricas evalúan el resultado de los sistemas de traducción automática comparándolo con una traducción de referencia.
Dado que la variabilidad es grande incluso con la traducción humana, es vital disponer de traducciones de referencia basadas en humanos para cada frase traducida por la máquina a la que se pueda acceder. A continuación, las métricas de evaluación valoran las estadísticas de evaluación basadas en la traducción de referencia más similar.
La traducción automática post-edición como estimación de la calidad
La traducción automática combinada con la posedición posterior es otro método popular en la industria de la traducción. También ha creado nuevas carreras para los traductores al introducir una solución viable para la edición de traducciones. Los servicios de traducción automática con postedición son otra forma de garantizar la precisión del contenido, pero no está exenta de detractores.
En lugar de trabajar únicamente con el texto de partida, el traductor dispone tanto de la fuente como de una traducción con errores. El protocolo estándar consiste en utilizar el texto traducido por la máquina como una traducción bruta que es editada por un lingüista. La industria de la traducción está implementando herramientas y procedimientos de posedición, y los estudios informan de que el 30% de las empresas de traducción utilizan la traducción automática y el 70% recurre a la posedición al menos una parte del tiempo.
La posedición, que ha demostrado ser más rápida que la traducción humana, es lucrativa para una industria centrada en la precisión. También es más rápida que la traducción a partir de contenido cero o la traducción asistida por memoria de traducción. Además de la velocidad, otros estudios demostraron que el esfuerzo cognitivo, temporal y técnico mejoraba en las traducciones profesionales. El esfuerzo temporal se define como el tiempo necesario para poseditar un texto, y el esfuerzo cognitivo implica el disparo de los procesos cognitivos durante la posedición. El aspecto técnico son las operaciones durante la postedición, como las supresiones y las inserciones. Sin embargo, estos tres aspectos están influidos por la calidad de la traducción.
Aunque el veredicto aún está en el aire sobre si la posedición mejora las traducciones o las empeora, se han desarrollado algunas métricas interesantes para comprobar la hipótesis.
Tasa de error de traducción mediada por el ser humano (HTER)
La tasa de errores de traducción mediada por humanos (HTER) es una variante humana de la tasa de errores de traducción. La HTER tiene en cuenta las ediciones que se realizan para convertir una traducción en su versión post-editada. Se calcula como la relación entre el número de pasos de edición y el número de palabras en la versión post-editada. El HTER también puede utilizarse como medida del esfuerzo técnico de posedición. Cuantos menos cambios sean necesarios para convertir la traducción en su versión poseditada, menor será el esfuerzo del traductor. El HTER se centra en la traducción final y no en el protocolo.
Tasa de edición real (TEA)
La métrica denominada Tasa de Edición Real mide las operaciones de edición del traductor, y esto podría implicar procedimientos complejos como la edición de contenidos previamente post-editados. Un estudio reciente sobre la posedición encontró una conexión entre la TEA y las cualidades de la traducción automática.
Se constató un aumento de la tasa de errores de traducción mediada por humanos a medida que disminuía la calidad del sistema de traducción automática. En cambio, no encontró ninguna relación entre la tasa de edición real y la calidad de la traducción automática. También descubrió que la actividad del teclado no está correlacionada con la calidad de la traducción automática ni con el tiempo de postedición. Existía una relación lineal entre la calidad de la traducción automática y la velocidad de posedición.
El estudio también mostró una correlación entre la calidad del resultado de la traducción automática y la calidad tras la posedición. Confirmó que una traducción deficiente siempre da lugar a un resultado peor tras la posedición.
El futuro de la estimación de la calidad de la traducción automática
La traducción automática es utilizada por millones de industrias en todo el mundo a diario. Empresas como ABC Translations contribuyen a alimentar esta demanda proporcionando servicios de traducción precisos a una plantilla global. Las tecnologías neuronales de traducción automática mejoran cada día para conseguir una mayor precisión en las traducciones. Los científicos e investigadores siguen encontrando formas de resolver las ineficiencias de los servicios de traducción, con el objetivo final de conseguir traducciones impecables.
A medida que la industria de la traducción siga metamorfoseándose, y a medida que aumente el uso de la traducción automática y de los flujos de trabajo de posedición, crecerá la demanda de experiencia en habilidades de posedición. A medida que lo hagan, seguirán siendo necesarios estudios como los comentados en este artículo para mejorar el mercado de la traducción. Las tecnologías de control de calidad de la traducción automática también deben seguir siendo investigadas y puestas en práctica para mejorar la precisión de las traducciones.
Categorías: Calidad de Servicios de Traducción y Localización, Traducción y Tecnología