Principales aplicaciones de BERT que debes conocer
Principales aplicaciones de BERT
El preentrenamiento del modelo de lenguaje ha avanzado significativamente en el campo del Procesamiento del Lenguaje Natural (PLN) y la Comprensión del Lenguaje Natural (CLN). Ha logrado mejorar exitosamente el rendimiento de varias tareas de PLN, como el análisis de sentimientos, la respuesta a preguntas, la inferencia de lenguaje natural, el reconocimiento de entidades nombradas y la similitud textual. Modelos como GPT, BERT y PaLM se están volviendo populares por todas las buenas razones. Imitan a los humanos generando contenido preciso, respondiendo preguntas, resumiendo párrafos de texto, traduciendo idiomas, y mucho más. El conocido modelo BERT, que significa Representaciones de Codificador Bidireccional de Transformadores, tiene una serie de aplicaciones sorprendentes.
BERTSUM
La resumización de texto requiere una comprensión más profunda del lenguaje que simplemente palabras y oraciones. Su objetivo es reducir un documento a una longitud manejable mientras se mantiene la mayoría de su significado. Dos paradigmas básicos que se pueden utilizar para resumir texto son extractivo y abstractivo. Cuando se utiliza la resumización extractiva, la tarea se aborda como un problema de clasificación binaria, y el modelo determina si incluir o no una determinada oración en el resumen. Por otro lado, la resumización abstractiva utiliza herramientas generadoras de lenguaje para proporcionar resúmenes que contienen palabras y frases originales que no se encuentran en el texto fuente.
Investigaciones recientes investigan el potencial de BERT para la resumización de texto. El equipo ha propuesto un codificador único basado en BERT a nivel de documento que puede representar tanto el documento completo como sus frases componentes para lograr esto. Para capturar información a nivel de documento para la extracción de oraciones en el modelo extractivo, han apilado numerosas capas de transformadores entre oraciones sobre este codificador. En el modelo abstractivo, se combinan el mismo codificador BERT preentrenado y un decodificador de transformadores con una inicialización aleatoria.
- Este artículo de IA propone Soft MoE un Transformador Espacial Tota...
- Cómo India está utilizando la inteligencia artificial de vanguardia...
- El Futuro de la Programación en Java 5 Tendencias a Observar en 2023
Búsqueda Inteligente de Google
La última investigación ha utilizado BERT para mejorar los resultados de búsqueda de Google para una consulta específica. Anteriormente, una búsqueda de “viajero de Brasil en 2019 que necesita una visa para los Estados Unidos” habría arrojado información sobre residentes estadounidenses que visitan Brasil. Por otro lado, BERT permite que el motor de búsqueda comprenda la pregunta de manera más precisa e identifique al usuario como un viajero brasileño en busca de información sobre los requisitos de visa para ingresar a los Estados Unidos. Como resultado, el usuario encontrará los resultados de búsqueda más útiles y relevantes.
La integración de BERT en el motor de búsqueda también tiene un impacto positivo en los fragmentos destacados, que son resúmenes condensados de datos que aparecen en la parte superior de los resultados de búsqueda y responden de manera sucinta a la consulta del usuario. Una mejor comprensión contextual de las consultas, gracias a BERT, resulta en fragmentos destacados más precisos y, en última instancia, una mejor experiencia de usuario. BERT no reemplaza las fórmulas de clasificación establecidas de Google. En cambio, actúa como una herramienta adicional para ayudar a los motores de búsqueda a comprender más completamente el contexto y el significado de las consultas de búsqueda, lo que les permite presentar resultados más pertinentes y conscientes de su contexto.
SciBERT
Un equipo de investigadores del Instituto Allen de Inteligencia Artificial en Seattle, WA, EE. UU., ha propuesto SCIBERT, que es un recurso único creado para mejorar el rendimiento en una variedad de tareas de PLN en el ámbito científico. Está basado en BERT y ha sido desarrollado utilizando un corpus considerable de material científico. La idea es modificar BERT para ayudarlo a comprender y manejar el lenguaje y vocabulario particulares utilizados en la escritura científica.
El propósito de este estudio fue investigar el rendimiento de arquitecturas específicas de tareas con incrustaciones congeladas versus ajuste fino. Los autores han examinado SciBERT en una variedad de tareas en el campo científico, y en muchas de estas tareas, han obtenido nuevos resultados de vanguardia. Esto demuestra cómo SCIBERT trabaja para mejorar el rendimiento y la comprensión del lenguaje científico en diferentes aplicaciones de PLN.
BioBERT
A medida que aumenta rápidamente el volumen de documentos biomédicos, el campo de la minería de texto biomédico se vuelve cada vez más importante. El aprendizaje profundo ha sido fundamental en la creación de modelos eficientes de minería de texto biomédico. En una investigación reciente, el equipo se ha centrado en cómo se puede modificar BERT para su uso con corpora biológicos. Han propuesto BioBERT (Representaciones de Codificador Bidireccional de Transformadores para Minería de Texto Biomédico) como una solución a esta limitación. Se ha preentrenado un modelo de representación de lenguaje específico de dominio llamado BioBERT utilizando un corpus biomédico considerable.
Se ajustará BERT para que funcione mejor con textos biomédicos con el fin de realizar tareas que involucren la minería de texto biomédico. Si bien BERT tiene un rendimiento comparable a los modelos de vanguardia anteriores, BioBERT los ha superado significativamente en tres tareas representativas de minería de texto biomédico: reconocimiento de entidades nombradas biomédicas, extracción de relaciones biomédicas y respuesta a preguntas biomédicas.
ClinicalBERT
Las notas clínicas son aquellas que incluyen información útil del paciente que no se encuentra en los datos estructurados, como resultados de pruebas o información de prescripciones. Debido a que son escasas y de alta dimensionalidad, extraer patrones y relaciones significativas de ellas es un desafío. Un equipo de investigadores ha analizado texto clínico utilizando BERT para lograr esto. Aunque el texto clínico difiere en gran medida de corpus típicos como Wikipedia y BookCorpus, los parámetros de BERT disponibles públicamente se entrenaron en estas fuentes. El equipo ha pre-entrenado BERT utilizando notas clínicas para adaptarlo exitosamente a las características únicas del lenguaje médico y abordar este problema.
Un modelo conocido como ClinicalBERT es el resultado final de este proceso de adaptación y ajuste fino. Este modelo es un recurso útil para comprender la escritura clínica porque identifica correlaciones entre conceptos médicos que son de alta calidad según lo determinado por profesionales médicos. Al predecir la readmisión hospitalaria a los 30 días utilizando tanto informes de alta como los primeros días de notas de la unidad de cuidados críticos, ClinicalBERT supera a varios puntos de referencia. El modelo tiene un mejor rendimiento de lo esperado en varios parámetros de evaluación clínicamente relevantes.
En conclusión, el popular modelo de lenguaje grande llamado BERT tiene muchas aplicaciones que se pueden utilizar y ofrece una nueva perspectiva para diversas tareas que consumen mucho tiempo.
