Phoenix 24
Las tecnologías como GPT-4, Grok 3 o DeepSeek R1 son algunas de las más innovadoras de los últimos años y prometen cambiar el mundo para siempre. Esta situación ha hecho que muchos humanos piensen si en algún momento lograrán la singularidad debido a sus capacidades.
Si bien salida de Operator de OpenAI es un paso grande e importante, todavía falta mucho tiempo como para saber eso. Al parecer, la inteligencia artificial está muy lejos de estar al nivel de los Homo sapiens.
Por supuesto, el proceso del entrenamiento de los modelos dan como resultado una potencia sin igual y proyectos como ChatGPT, Microsoft Copilot, Google Gemini u otros similares, lo han demostrado.
A pesar de esto, no pueden razonar de la misma manera que lo hace una persona, siendo una de las debilidades de esta tecnología. En efecto, los mismosinvestigadores de OpenAI han llegado a esta conclusión mediante un nuevo experimento.
Recientemente, OpenAI lanzó SWE-Lancer, un benchmark enfocado en las actividades de ingeniería de software freelance. La idea es que se pueda determinar el rendimiento de los modelos de inteligencia artificial con esta herramienta.
Esta vez, los mismos investigadores de la compañía liderada por Sam Altman han realizado un estudio para comprobar cómo se están comportando el razonamiento de los modelos de lenguaje (LLMs). Según Futurism, se hizo uso de GPT-4.o, o1 y Claude 3.5 Sonnet.
Con la capacidad de SWE-Lancer basado en un entrenamiento de más de 1.400 tareas que se usan en Upwork, determinaron que la manera en la que los humanos hacen las cosas todavía no puede ser ni simulada ni adquirida como conocimiento en las inteligencias artificiales.
Para ser más específicos, los mencionados LLMs pasaron por un par de evaluaciones. La primera, se centraba en identificar y solucionar posibles errores que se hayan tenido durante la creación de la tarea solicitada, mientras que la segunda se enfocaba en la gestión de proyectos con decisiones complicadas. Todo esto sin Internet.
En ambas, todos los modelos fueron muy rápidos en entregar, aunque tuvieron varias dificultades, dejando proyectos con muchos detalles. Los problemas encontrados tenían que ver con la incapacidad de encontrar los errores en las tareas grandes porque no comprendían bien el texto.
Lo único que pudieron hacer de forma correcta fue la resolución de inconvenientes superficiales de software, pero los investigadores comentan que fueron “soluciones que son incorrectas o insuficientemente completas”.
Otra de las cosas interesantes que mencionan es que Claude 3.5 Sonnet fue superior a los demás modelos, con un mayor rendimiento y obtención de dinero tras completar los trabajos, pero igual con muchas limitaciones.
¿Podrá la IA realizar trabajos freelance en el futuro?
Considerando lo que mencionan los expertos en el estudio, todavía falta muchísimo como para que la inteligencia artificial pueda realizar tareas perfectas con respecto a cuestiones de trabajos. En realidad, creen que hay que mejorar la fiabilidad de los modelos.
Los trabajos de codificaciones reales son peticiones muy complejas para estas tecnologías y no son del todo confiables para entregas masivas o proyectos grandes. Por lo tanto, los recientes avances no son suficientes como para reemplazar a los ingenieros de software humanos.
El problema es el razonamiento, el cual no puede ser simulado con exactitud por las inteligencias artificiales para actuar como lo haría un humano. Si bien ya hay muchas propuestas que están trayendo novedades importantes relacionadas con el tema, queda mucho por recorrer.
Al hablar de las profesiones inútiles en el futuro, se tiene muy claro que esta área no será tan fácil de sustituir. De hecho, el mismísimo Bill Gates ha hablado sobre los empleos que se quedarán tras el impacto de la IA y la mayoría están vinculados a la programación, biología y creatividad.
Entonces, para concluir, ni siquiera los modelos más avanzados son capaces de igualar las habilidades de resolución de problemas de un humano ingeniero profesional. Sin embargo, en una década o más probablemente se conviertan en buenos asistentes para los trabajadores.(CH).