Las tecnologías de IA generativa están revolucionando la forma en que se conciben, producen y juegan los videojuegos. Los desarrolladores de juegos están explorando cómo estas tecnologías impactan en las tuberías de creación de contenido 2D y 3D durante la producción. Parte de la emoción proviene de la capacidad de crear experiencias de juego en tiempo de ejecución que habrían sido imposibles con soluciones anteriores.
La creación de personajes no jugables (NPCs) ha evolucionado a medida que los juegos se han vuelto más sofisticados. El número de líneas pregrabadas ha aumentado, el número de opciones que un jugador tiene para interactuar con los NPCs ha aumentado, y las animaciones faciales se han vuelto más realistas.
Sin embargo, las interacciones de los jugadores con los NPCs tienden a ser transaccionales, predefinidas y de corta duración, ya que las opciones de diálogo se agotan rápidamente, sirviendo solo para avanzar en la historia. Ahora, la IA generativa puede hacer que los NPCs sean más inteligentes al mejorar sus habilidades conversacionales, creando personalidades persistentes que evolucionan con el tiempo y permitiendo respuestas dinámicas que son únicas para el jugador.
En COMPUTEX 2023, NVIDIA anunció el futuro de los NPCs con el Motor de Nube NVIDIA Avatar (ACE) para Juegos. NVIDIA ACE para Juegos es un servicio personalizado de creación de modelos de IA que tiene como objetivo transformar los juegos al brindar inteligencia a los NPCs a través de interacciones de lenguaje natural impulsadas por IA.
Los desarrolladores de middleware, herramientas y juegos pueden utilizar NVIDIA ACE para Juegos para construir e implementar modelos de IA personalizados de habla, conversación y animación en software y juegos.
Los modelos de base de IA optimizados incluyen lo siguiente:
NVIDIA NeMo: Proporciona modelos de lenguaje de base y herramientas de personalización de modelos para que puedas ajustar aún más los modelos para los personajes del juego. Los modelos se pueden integrar de principio a fin o en cualquier combinación, según sea necesario. Este modelo de lenguaje grande (LLM) personalizable permite crear historias y personalidades específicas para los personajes que se adapten al mundo del juego.
NVIDIA Riva: Proporciona capacidades de reconocimiento automático de voz (ASR) y síntesis de voz (TTS) para permitir conversaciones en tiempo real con NVIDIA NeMo.
NVIDIA Omniverse Audio2Face: Crea al instante animaciones faciales expresivas para los personajes del juego a partir de una fuente de audio. Audio2Face cuenta con conectores Omniverse para Unreal Engine 5, lo que te permite agregar animación facial directamente a los personajes de MetaHuman.
Puedes dar vida a los NPCs mediante las técnicas de alineación de modelos NeMo. En primer lugar, utiliza la clonación de comportamiento para permitir que el modelo de lenguaje base realice tareas de interpretación de roles según las instrucciones. Para alinear aún más el comportamiento del NPC con las expectativas, en el futuro puedes aplicar el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) para recibir comentarios en tiempo real de los diseñadores durante el proceso de desarrollo.
Una vez que el NPC esté completamente alineado, el paso final es aplicar las barreras de seguridad de NeMo, que añaden reglas programables para los NPCs. Esta herramienta te ayuda a construir personajes de juego precisos, apropiados, relevantes y seguros. Las barreras de seguridad de NeMo son compatibles de forma nativa con LangChain, una herramienta para desarrollar aplicaciones impulsadas por LLM.
NVIDIA ofrece métodos de implementación flexibles para middleware, herramientas y desarrolladores de juegos de todas las dimensiones. Las redes neuronales que permiten NVIDIA ACE for Games están optimizadas para diferentes capacidades, con diferentes compensaciones de tamaño, rendimiento y calidad.
El servicio de la fundición ACE for Games te ayudará a ajustar los modelos para tus juegos y luego desplegarlos a través de NVIDIA DGX Cloud, PCs GeForce RTX o localmente para inferencias en tiempo real. También puedes validar la calidad de los modelos en tiempo real y probar el rendimiento y la latencia para asegurarte de que cumplan con los estándares específicos antes del despliegue.
Para mostrar cómo puedes aprovechar ACE for Games para construir NPCs, NVIDIA se asoció con Convai, una startup que está desarrollando una plataforma para crear y desplegar personajes de IA en juegos y mundos virtuales, para ayudar a optimizar e integrar los módulos ACE en su oferta.
“Con NVIDIA ACE for Games, las herramientas de Convai pueden lograr la latencia y la calidad necesarias para poner a disposición los personajes de IA no jugables a casi todos los desarrolladores de manera rentable”, dijo Purnendu Mukherjee, fundador y CEO de Convai.
Convai utilizó NVIDIA Riva para las capacidades de reconocimiento de voz y síntesis de voz, NVIDIA NeMo para el LLM que impulsa la conversación y Audio2Face para la animación facial impulsada por IA a partir de entradas de voz. Como se muestra en el video, estos módulos se integraron perfectamente en la plataforma de servicios de Convai y se alimentaron en Unreal Engine 5 y MetaHuman para dar vida al inmersivo NPC Jin. La escena del restaurante de ramen, creada por el equipo de arte de NVIDIA Lightspeed Studios, se ejecuta en la rama NVIDIA RTX de Unreal Engine 5 (NvRTX 5.1). La escena se renderiza utilizando RTX Direct Illumination (RTXDI) para iluminación y sombras trazadas con ray tracing, junto con NVIDIA DLSS 3 para obtener el máximo rendimiento. Los desarrolladores de juegos ya están utilizando las tecnologías existentes de generación de IA de NVIDIA para el desarrollo de juegos:
GSC Game World, uno de los principales desarrolladores de juegos de Europa, está adoptando Audio2Face en su próximo juego, S.T.A.L.K.E.R. 2: Heart of Chornobyl. Fallen Leaf, un desarrollador de juegos independiente, también está utilizando Audio2Face para la animación facial de personajes en Fort Solis, un juego de thriller de ciencia ficción en tercera persona que tiene lugar en Marte. Empresas enfocadas en la IA generativa, como Charisma.ai, están aprovechando Audio2Face para impulsar la animación en su motor de conversación.
Vía: NVidia
Nota del editor: No teman, no se van a quedar sin trabajo los desarrolladores, creo que, al contrario va a ahorrar mucho tiempo en proyectos.
