Despliega tu propio ChatGPT seguro y privado de la compañía con Azure OpenAI

Crea tu propio ChatGPT seguro y privado con Azure OpenAI

En este momento, probablemente ya sabes que no es una buena idea utilizar datos confidenciales de la empresa con ChatGPT. La posible filtración de secretos comerciales y propiedad intelectual de la empresa es una gran preocupación, tanto que incluso gigantes tecnológicos como Apple, Amazon y Samsung han restringido o prohibido el uso de este popular servicio de IA por parte de sus empleados.

Cuando utilizas ChatGPT, le das a OpenAI (la empresa detrás de ChatGPT) tu consentimiento expreso para utilizar los datos de tu interacción, lo cual incluye las preguntas que ingreses y las respuestas que el servicio devuelve, para su propio uso. Dado que esto incluye el uso de tus datos para entrenar futuras versiones de ChatGPT, existe el riesgo de que los secretos de la empresa se divulguen en las respuestas de ChatGPT. (¡Qué horror!) Lee aquí la explicación detallada de su política de uso de datos.

Microsoft Azure ha lanzado una solución para implementar una aplicación similar a ChatGPT alojada en el entorno de nube de los clientes. Esto dará a los empleados acceso a un asistente de chat seguro y compatible con la privacidad de los datos, que realmente pueden utilizar para trabajar, ya sea para generar, resumir o traducir textos que contengan información propietaria, revisar correos electrónicos confidenciales, escribir o resolver errores de código de bases de código internas y diversas otras tareas que pueden ayudar a mejorar la productividad de los empleados.

Esta solución es una aplicación web que utiliza llamadas de API a modelos de lenguaje grandes (LLM) como el ChatGPT original (o gpt-3.5) y gpt-4. Se puede acceder a ella utilizando navegadores en computadoras portátiles y dispositivos móviles. La aplicación fue lanzada como código abierto por Microsoft con una licencia muy permisiva, que incluye el uso comercial. Puedes encontrar el repositorio de GitHub aquí. Ofrece implementación con un solo clic en un servicio de aplicaciones alojado en la suscripción de Azure del cliente.

Azure ChatGPT está casi a la par con ChatGPT “retail” en cuanto a características. Incluye historial de chat del usuario, modo oscuro y respuestas formateadas según el contexto de la consulta, por ejemplo, listas, tablas, gráficos, fragmentos de código, JSON, CSV, etc. Viene con integración de Azure Active Directory (AD) como método principal para la autenticación de usuarios, por lo que esta es una implementación plug-and-play para los clientes de Microsoft cuyos usuarios ya utilizan Office365 con AD.

Seguridad y privacidad

Primero, hablemos sobre la seguridad de los datos del usuario, ya que esta es la propuesta de valor principal de esta solución.

Los LLM utilizados por esta aplicación son los mismos modelos (gpt-3.5/gpt-4) que se utilizan en ChatGPT, pero están alojados en los centros de datos de Azure utilizando los propios recursos informáticos de Azure para la inferencia (por ejemplo, GPUs).

Para comparación, los modelos que utiliza ChatGPT “retail” residen en los servidores de OpenAI.

Por lo tanto, cualquier dato del usuario, como preguntas y respuestas del bot, no pasará por ningún canal de OpenAI y residirá únicamente en el entorno de Azure. La política de privacidad de datos de Azure OpenAI establece explícitamente que los datos del usuario no se compartirán con OpenAI y no se utilizarán para entrenar futuros modelos de OpenAI. (Ver a continuación)

Fuente.

El historial de chat de cada usuario se almacena en un almacenamiento seguro de Azure (llamado Azure Cosmos DB) dentro del propio entorno de nube del cliente y también está cubierto por una estricta política de privacidad de datos. Los datos almacenados en Cosmos DB admiten opciones de redundancia que permiten hacer copias de seguridad de los datos en varios centros de datos de Azure en todo el mundo.

Características

Historial de chat

El historial de chat se almacena en Azure Cosmos DB para cada cuenta de usuario única.

Formatos de respuesta admitidos

Aquí están los formatos de salida admitidos que he probado hasta ahora. (Puede haber más.)

  1. Listas

2. Tablas

3. Código

4. Tablero de puntuación

5. JSON

6. CSV

7. SVG

Modo oscuro

Comparación con ChatGPT ‘retail’

Las características “Premium” como complementos, instrucciones personalizadas e intérpretes de código no están disponibles (aún) en esta solución.

Esta aplicación solo utiliza llamadas API a los modelos de Azure OpenAI y no implementa modelos alojados por el cliente en su propio entorno de nube. Los clientes son cobrados en función de los modelos utilizados y el consumo de tokens.