Anthropic reveló cómo sus modelos de lenguaje están alcanzando habilidades cada vez más persuasivas, según una reciente investigación. Esto plantea interrogantes sobre el papel de la IA en la formación de opiniones y la influencia en decisiones humanas.
La startup de inteligencia artificial Anthropic afirma que sus modelos de lenguaje han mejorado de manera constante y rápida en su "persuasión", según una nueva investigación de la compañía.
La persuasión es una habilidad con amplias aplicaciones sociales, comerciales y políticas, pero que puede fomentar la desinformación y llevar a las personas a actuar en contra de sus propios intereses, según los autores del análisis.
Los investigadores encontraron que "cada generación de modelo sucesiva se considera más persuasiva que la anterior" y que el modelo más capaz de Anthropic, Claude 3 Opus, "produce argumentos que no difieren estadísticamente" de los argumentos escritos por humanos.
En Anthropic desarrollaron "un método básico para medir la persuasión" y lo utilizaron para comparar tres generaciones diferentes de modelos (Claude 1, 2 y 3). Seleccionaron 28 temas, con afirmaciones a favor y en contra de alrededor de 250 palabras para cada uno.
Para los argumentos generados por la IA, los investigadores utilizaron diferentes indicaciones para desarrollar diferentes estilos de argumentos, incluido el "engañoso", donde el modelo podía inventar cualquier razón que quisiera, independientemente de los hechos.
Más de 3.800 participantes recibieron cada afirmación y se les pidió que calificaran su nivel de acuerdo antes y después de revisar los argumentos creados por los modelos de IA y los humanos.
Vea también: Hambre de datos: el nuevo talón de Aquiles de la IA
El análisis encontró que:
Claude 3 Opus es aproximadamente tan persuasivo como los humanos. Si bien los argumentos escritos por humanos se consideraron los más persuasivos, el modelo Claude 3 Opus logra una puntuación de persuasión comparable, sin diferencias estadísticamente significativas.
Una tendencia general a escala: a medida que los modelos se hacen más grandes y más capaces, se vuelven más persuasivos. El modelo Claude 3 Opus está calificado como el modelo más persuasivo, acercándose a la persuasión a nivel humano, mientras que el modelo Claude Instant 1.2 se queda atrás con la puntuación de persuasión más baja entre los modelos.
El control funcionó según lo previsto. Como era de esperar, la puntuación de persuasión en la condición de control es cercana a cero: la gente no cambia sus opiniones sobre afirmaciones fácticas indiscutibles.
Por supuesto, el análisis tuvo varias limitaciones. Por empezar, el estudio evalúa la persuasión en función de la exposición a argumentos únicos e independientes en lugar de diálogos de múltiples turnos o discursos extendidos.
Por otra parte, los argumentos escritos por humanos fueron realizados por personas que no son expertas en persuasión, sin capacitación formal en técnicas de escritura persuasiva, retórica o psicología de la influencia. Esta es una consideración importante, ya que los verdaderos expertos en persuasión pueden ser capaces de elaborar argumentos aún más convincentes que podrían superar tanto a la IA como a los escritores humanos en nuestro estudio.
Además, el análisis no exploró la condición "humano + IA", en la que un humano edita el argumento generado por la IA para hacerlo potencialmente aún más persuasivo. Este enfoque colaborativo podría dar lugar a argumentos más persuasivos que los generados por humanos o por IA sola.
Si bien los investigadores se sorprendieron de que la IA fuera tan persuasiva como resultó ser, también optaron por centrarse en "temas menos polarizados", como las reglas para la exploración espacial y los usos apropiados del contenido generado por IA.
Aunque estos eran temas en los que muchas personas están abiertas a la persuasión, la investigación no arrojó luz sobre el impacto potencial de los chatbots de IA en los debates más polémicos en años de elecciones. Según los autores del informe, "la persuasión es difícil de estudiar en un entorno de laboratorio y nuestros resultados pueden no transferirse al mundo real".
Comments