[ad_1]
Los sistemas informáticos se están haciendo bastante buenos para entender lo que dice la gente, pero también tienen algunos puntos débiles importantes. Entre ellos está el hecho de que tienen problemas con palabras que tienen significados múltiples o complejos. Un nuevo sistema llamado ELMo agrega este contexto crítico a las palabras, produciendo una mejor comprensión en todos los ámbitos.
Para ilustrar el problema, piense en la palabra "reina". Cuando usted y yo estamos hablando y digo esa palabra, usted sabe de contexto si estoy hablando de la reina Isabel, o la pieza de ajedrez, o la matriarca de una colmena, o RuPaul's Drag Race.
Esta capacidad de las palabras para tener múltiples significados se llama polisemia . Y realmente, es la regla y no la excepción. Lo que significa que puede ser determinado de manera confiable por el fraseo – "¡Dios salve a la reina!" Versus "¡Salvé a mi reina!" – y, por supuesto, todo esto informa el tema, la estructura de la oración, si se espera que responder, y así sucesivamente.
Los sistemas de aprendizaje automático, sin embargo, en realidad no tienen ese nivel de flexibilidad. La forma en que tienden a representar las palabras es mucho más simple: examina todas las diferentes definiciones de la palabra y presenta una especie de promedio, una representación compleja, sin duda, pero que no refleja su verdadera complejidad. Cuando es crítico que el significado correcto de una palabra llegue, no se puede confiar en ellos.
Un nuevo método llamado ELMo ("Embeddings from Language Models"), sin embargo, permite que el sistema maneje polysemy con facilidad; como prueba de su utilidad, fue galardonado con los mejores honores en papel en NAACL la semana pasada. En esencia, usa sus datos de entrenamiento (una gran colección de texto) para determinar si una palabra tiene múltiples significados y cómo se señalan esos diferentes significados en el lenguaje.
Por ejemplo, probablemente podrías decir en mis oraciones de ejemplo "queen" arriba, a pesar de ser muy similares, esa era acerca de la realeza y la otra sobre un juego. Eso es porque la forma en que están escritas contiene pistas sobre su propio motor de detección de contexto para decirle qué reina es cuál.
La información de un sistema de estas diferencias se puede hacer al anotar manualmente el corpus de texto del que aprende, pero quién quiere pasar por millones de palabras haciendo una nota sobre qué reina es cuál?
"Estábamos buscando un método que redujera significativamente la necesidad de anotación humana", explicó Mathew Peters, autor principal del artículo. "El objetivo era aprender todo lo que pudiéramos de los datos no etiquetados".
Además, dijo, los sistemas tradicionales de aprendizaje de idiomas "comprimen todo el significado de una sola palabra en un vector único". Así que comenzamos cuestionando la suposición básica: no aprendamos un solo vector, tengamos un número infinito de vectores. Debido a que el significado es altamente dependiente del contexto. "
ELMo aprende esta información al ingerir la oración completa en la que aparece la palabra; aprendería que cuando se menciona a un rey junto a una reina, es probable que sea realeza o un juego, pero nunca una colmena. Cuando ve un peón, sabe que es ajedrez; Jack implica cartas; y así sucesivamente.
Un motor de lenguaje equipado con ELMo no será tan bueno como un humano con años de experiencia analizando el lenguaje, pero incluso el conocimiento práctico de la polisemia es de gran ayuda para comprender un idioma.
No solo eso , pero tener en cuenta la oración completa en el sentido de una palabra también permite mapear más fácilmente la estructura de esa oración, etiquetando automáticamente cláusulas y partes del discurso.
Los sistemas que utilizan el método ELMo tuvieron beneficios inmediatos, mejorando incluso los últimos algoritmos de lenguaje natural hasta en un 25 por ciento, una gran ganancia para este campo. Y debido a que es un estilo de aprendizaje mejor y más sensible al contexto, pero no fundamentalmente diferente se puede integrar fácilmente incluso en sistemas comerciales existentes.
De hecho, Microsoft ya está utilizando con Bing. Después de todo, es crucial en la búsqueda para determinar la intención, lo que por supuesto requiere una lectura precisa de la consulta. ELMo también es de código abierto, como todo el trabajo del Allen Institute for AI, por lo que cualquier empresa con necesidades de procesamiento del lenguaje natural probablemente debería verificarlo.
El documento sienta las bases de utilizar ELMo para sistemas de idioma inglés, pero debido a que su poder se deriva esencialmente de una lectura más cercana de los datos que alimenta, no hay ninguna razón teórica por la que no deba aplicarse no solo para otros idiomas, sino también en otros dominios. En otras palabras, si le das un montón de textos sobre neurociencia, debería ser capaz de distinguir la temporal en lo que se refiere al tiempo y a la región del cerebro.
es solo un ejemplo de cómo el aprendizaje automático y el lenguaje se desarrollan rápidamente entre sí; aunque ya es bastante bueno para la traducción básica, voz a texto, etc., hay muchas más cosas que las computadoras podrían hacer a través de las interfaces de lenguaje natural, si solo saben cómo hacerlo.
[ad_2]
VendeTodito