Helix, the ‘brain’ to the robot figure 02/Helix, el ‘cerebro’ trás el robot Figure 02
Source
Sometimes you can give the feeling that robots are still far from supplying humans in production tasks, personal assistance and domestic work. It is true that they can dance and do pirouettes that the common of mortals is not able to do, but they are not seen the agility and movements necessary to live with flesh and blood operators. I have worked all my life in an industrial environment and I do not believe that they fit in this environment as long as they have those movements that seem to be shitted on.
A veces puede dar la sensación de que los robots todavía están muy lejos de suplir a los humanos en tareas de producción, asistencia personal y labores domésticas. Es cierto que pueden bailar y hacer piruetas que el común de los mortales no somos capaces de hacer, pero no se les ve la agilidad y movimientos necesarios para convivir con operarios de carne y hueso. Yo he trabajado toda mi vida en un entorno industrial y no creo que encajen en este entorno mientras tengan esos andares que parece que se han cagado encima.
But reality seems to be against me, the robot figures 02 developed by the US company Figure Ai Inc, has managed to work autonomously for an hour without human assistance in a real environment. During this session, the robot operated without interruptions, demonstrating its ability to classify objects and perform precision tasks thanks to its advanced artificial intelligence system, which includes “touch” and “short -term memory” called Helix that controls this robot.
Pero la realidad parece que está en mi contra, el robot Figure 02 desarrollado por la compañía estadounidense Figure AI Inc, ha logrado trabajar de forma autónoma durante una hora sin asistencia humana en un entorno real. Durante esta sesión, el robot operó sin interrupciones, demostrando su capacidad para clasificar objetos y realizar tareas con precisión gracias a su sistema de inteligencia artificial avanzado, que incluye “tacto” y “memoria a corto plazo” llamado Helix que controla a este robot.
Source
Helix is a generalist vision-language-action model (VLA), this means that it integrates visual perception, understanding of natural language and motor control in a single unified system. All this allows the robot Figure 02 to receive voice orders, understand its environment through RGB cameras and execute complex actions, such as identifying and manipulating unknown objects, without the need for specific programming for each task and without the supervision of any human being.
Helix es un modelo generalista de Visión-Lenguaje-Acción (VLA), esto quiere decir que integra la percepción visual, la comprensión del lenguaje natural y el control motor en un solo sistema unificado. Todo esto permite que el robot Figure 02 reciba órdenes de voz, entienda su entorno a través de cámaras RGB y ejecute acciones complejas, como identificar y manipular objetos desconocidos, sin necesidad de programación específica para cada tarea y sin la supervisión de ningún ser humano.
Helix controls 35 degrees of freedom at the top of the robot's body, including precise movements of wrists, fingers, head and torso, at an adequate frequency. This coordination allows the robot to imitate complex human movements, such as turning the head to follow its hands or adjust the torso posture to reach objects optimally. It has two main components, a multimodal language model that processes visual and voice information, plus a motor control model that translates the instructions into precise movements.
Helix controla 35 grados de libertad (DoF) en la parte superior del cuerpo del robot, incluyendo movimientos precisos de muñecas, dedos, cabeza y torso, a una frecuencia adecuada. Esta coordinación permite que el robot imite movimientos humanos complejos, como girar la cabeza para seguir las manos o ajustar la postura del torso para alcanzar objetos de manera óptima. Tiene dos componentes principales, un modelo multimodal de lenguaje que procesa información visual y de voz, más un modelo de control motor que traduce las instrucciones en movimientos precisos.
Source
This model is trained in a “end-to-end” (end-to-end), directly mapering images and text commands to continuous actions, without the need for adjustment stages or action heads per task. Once a robot learns a task, that knowledge is transferred to all the robots figure 02 ("hyve-mind" or collective mind). This has demonstrated multi-robot coordination capabilities and collaborative manipulation of objects never seen before, simply from instructions in natural language.
El modelo se entrena de manera “end-to-end” (de extremo a extremo), mapeando directamente imágenes y comandos de texto a acciones continuas, sin necesidad de etapas de ajuste o cabezales de acción por tarea. Una vez que un robot aprende una tarea, ese conocimiento se transfiere a todos los robots Figure 02 (“hive-mind” o mente colectiva). Con esto ha demostrado capacidades de coordinación multi-robot y manipulación colaborativa de objetos nunca antes vistos, simplemente a partir de instrucciones en lenguaje natural.
Helix allows Figure 02 to solve domestic and labor manipulation tasks, such as collecting any small object of the home, organizing products in a kitchen or working in industrial environments. The system can identify abstract concepts ("the object of dessert") and associate them correctly with objects of the environment, even if you have never seen them before. This really scares, not because these robots are going to kill us all, but because they will make us something obsolete and expendable, and that intimidates a lot.
Helix permite que Figure 02 resuelva tareas de manipulación doméstica y laboral, como recoger cualquier objeto pequeño del hogar, organizar productos en una cocina o trabajar en entornos industriales. El sistema puede identificar conceptos abstractos (“el objeto de postre”) y asociarlos correctamente con objetos del entorno, incluso si nunca los ha visto antes. Realmente esto da bastante miedo, no porque estos robots nos vayan a matar a todos, sino porque nos volverán algo obsoleto y prescindible, y eso acojona mucho.
More information/Más información
https://www.figure.ai/news/scaling-helix-logistics