Conoce AdANNS Un Nuevo Marco de Trabajo que Aprovecha Representaciones Adaptativas para Diferentes Fases de las Tuberías ANNS para Mejorar el Equilibrio entre Precisión y Cálculo.
AdANNS Nuevo marco de trabajo que mejora el equilibrio entre precisión y cálculo en tuberías ANNS mediante representaciones adaptativas.
Para obtener información comparable a una consulta determinada, los motores de búsqueda web a gran escala entrenan un codificador para contener la consulta y luego conectan el codificador a una búsqueda de vecino más cercano aproximado (ANNS). Las representaciones aprendidas suelen ser vectores rígidos y de alta dimensión generalmente empleados tal cual a lo largo del ANNS. Pueden resultar en una recuperación computacionalmente costosa debido a su capacidad para capturar con precisión las consultas y los puntos de datos marginales.
Una parte integral de las tuberías de recuperación es una búsqueda semántica en representaciones aprendidas. Aprender una red neuronal para incrustar consultas y una gran cantidad (N) de puntos de datos en un espacio vectorial de d dimensiones es el mínimo indispensable para un enfoque de búsqueda semántica. Todos los pasos de un ANN usan la misma información aprendida por los algoritmos de búsqueda semántica existentes, que son representaciones rígidas (RRs). Es decir, mientras que los índices ANNS permiten una amplia gama de parámetros para buscar el espacio de diseño para maximizar el equilibrio entre la precisión y la computación, se cree habitualmente que la dimensionalidad de los datos de entrada es fija.
Diferentes etapas de ANNS pueden utilizar representaciones adaptativas de capacidades variables para lograr equilibrios significativamente mejores entre precisión y computación que serían posibles con representaciones rígidas, es decir, etapas de ANNS que puedan soportar cálculos más aproximados deben utilizar una representación de menor capacidad de un mismo punto de datos. Los investigadores ofrecen AdANNS, un nuevo marco de diseño ANNS que aprovecha la adaptabilidad proporcionada por las Representaciones Matryoshka.
Los investigadores muestran equilibrios entre precisión y computación de última generación utilizando piezas clave de construcción de ANNS basadas en AdANNS, como estructuras de datos de búsqueda (AdANNS-IVF) y cuantificación (AdANNS-OPQ). AdANNS-IVF, por ejemplo, logra una precisión un 1,5% mayor que la IVF basada en representaciones rígidas en la recuperación de ImageNet mientras utiliza el mismo presupuesto de cómputo y logra la paridad de precisión mientras se ejecuta 90 veces más rápido en el mismo conjunto de datos. AdANNS-OPQ, una variante de 32 bytes de OPQ construida con representaciones flexibles, logra la misma precisión que la línea de base de OPQ de 64 bytes para preguntas naturales. También demuestran que los beneficios de AdANNS pueden aplicarse a los índices compuestos ANNS de última generación utilizando tanto estructuras de búsqueda como cuantificación. Finalmente, muestran que los índices ANNS construidos sin adaptación utilizando representaciones matryoshka pueden ser buscados conscientes de la computación con AdANNS.
- AI Telefono – Una Batalla de Modelos Multimodales.
- Análisis y optimización del rendimiento del modelo PyTorch
- Clasificación y ubicación de diferentes formas de acoso sexual.
Visite https://github.com/RAIVNLab/AdANNS para obtener el código fuente.
Características clave
- La mejora de los equilibrios entre precisión y computación se logra mediante el uso de AdANNS para desarrollar nuevas estructuras de datos de búsqueda y técnicas de cuantificación.
- AdANNS-IVF se puede implementar un 90% más rápido que la IVF tradicional mientras aumenta la precisión hasta un 1,5%.
- AdANNS-OPQ tiene la misma precisión que el estándar de oro a una fracción del precio.
- La estructura de datos de búsqueda impulsada por AdANNS (AdANNS-IVF) y la cuantificación (AdANNS-OPQ) superan significativamente a las alternativas de última generación en cuanto al equilibrio entre precisión y computación.
- Además de permitir la búsqueda elástica consciente de la computación durante la inferencia, AdANNS se generaliza a los índices ANNS compuestos de última generación.
AdANNS – ANNS adaptativo
AdANNS es un sistema para mejorar el equilibrio entre precisión y computación de los componentes de búsqueda semántica que aprovecha la flexibilidad inherente de las representaciones Matryoshka. Hay dos partes principales en la tubería ANNS típica: (a) una estructura de datos de búsqueda que indexa y almacena puntos de datos; y (b) un método de computación de punto de consulta que proporciona la distancia (aproximada) entre una consulta y un conjunto de puntos de datos.
En este estudio, se demuestra que AdANNS se puede utilizar para mejorar el rendimiento de ambos subsistemas ANNS, y se cuantifican las mejoras en términos del equilibrio entre el esfuerzo computacional y la precisión. Específicamente, se introduce AdANNS-IVF, una estructura de índice basada en AdANNS que es similar a la estructura IVF más común y la estructura relacionada ScaNN. Además, se introduce la adaptabilidad de la representación en el OPQ, una cuantificación de facto estándar, con la ayuda de AdANNS-OPQ. AdANNS-IVFOPQ, una variante AdANNS de IVFOPQ, y AdANNS-DiskANN, una variante de DiskANN, son otros dos ejemplos de métodos híbridos demostrados por los investigadores. En comparación con los índices IVF construidos utilizando RRs, AdANNS-IVF se demuestra experimentalmente que es sustancialmente más óptimo en términos de precisión y computación. Se muestra que AdANNS-OPQ es tan preciso como el OPQ en RRs y mucho más económico.
AdANNS está diseñado con arquitecturas de búsqueda que pueden adaptarse a varios casos de uso a gran escala, cada uno con requisitos de recursos únicos para el entrenamiento y la inferencia. Sin embargo, en ocasiones, el usuario no puede buscar el espacio de diseño debido a problemas de creación y almacenamiento de índices.
En conclusión
AdANNS fue propuesto por un grupo de investigadores de la Universidad de Washington, Google Research y la Universidad de Harvard para mejorar el equilibrio precisión-cómputo mediante la utilización de representaciones adaptables en muchas etapas de las canalizaciones ANNS. En comparación con los bloques de construcción ANNS tradicionales, que emplean la misma representación inflexible en todo el proceso, AdANNS aprovecha la flexibilidad inherente de las representaciones matryoshka para construir bloques de construcción superiores. Para los dos bloques de construcción ANNS principales: estructuras de datos de búsqueda (AdANNS-IVF) y cuantificación (AdANNS-OPQ), AdANNS logra un equilibrio precisión-cómputo SOTA. Finalmente, combinando bloques de construcción basados en AdANNS, se pueden construir índices compuestos ANNS del mundo real mejorados, lo que permite una búsqueda elástica consciente de la computación y reduce los costos hasta en un 8x en comparación con las líneas de base sólidas.
