Han pasado seis meses desde entonces. Google comencé a agregar Amnistía Internacional– El texto se genera en la parte superior de muchas consultas de búsqueda de Google de forma predeterminada, y esto una experiencia – Eso es lo que dice el descargo de responsabilidad al final de cada descripción general de la IA: no fue exactamente un gran éxito, como admitió Google en Mashable.
“Si bien las descripciones generales de la IA en general son conjuntos de cosas muy convincentes que ayudan a los usuarios, tenemos trabajo que hacer en el lado de la calidad, que es” Qué necesidad cada vez mayor “.
La descripción general de la IA se lanzó con una especie de eslogan: “Deja que Google haga la búsqueda por ti,” pero Después de cierta controversia al principio, particularmente durante las pocas semanas, las historias continuaron surgiendo. Una búsqueda en Google pide a la gente que coma piedras y le ponga pegamento a la pizza – Parece que la empresa ha retrocedido un poco. En el lanzamiento, AI Overviews apareció en aproximadamente el 15 por ciento de las páginas de resultados de búsqueda de Google, pero ese número se redujo a aproximadamente el 7 por ciento a finales de junio. Según Search Engine Land.
¿Ha mejorado la calidad en los últimos seis meses?
¿Están mejorando las descripciones generales de IA?
Sería difícil decir honestamente que ha habido un aumento significativo en la calidad. Las descripciones generales se implementan con menos frecuencia y los errores aún están generalizados, pero encontré evidencia muy limitada de mejoras: las descripciones generales de IA para consultas que destaqué para Google en este artículo mejoraron a medida que trabajé en ellas.
Por si sirve de algo, dice Budaraju, en todo tipo de consultas, desde las cotidianas hasta las extrañas, AI Overviews funciona, “especialmente cuando no hay una única respuesta y hay múltiples perspectivas”. O al menos eso es lo que piensa Google basándose en datos internos sobre la calidad, que provienen de las pruebas AB, pero no de grupos focales, dijo Buddaraju.
Según mi experiencia, las búsquedas diarias tienden a obtener una descripción general aceptable de la IA. “¿A qué saben las almendras?”, por ejemplo, podría dar una visión general razonable basada en IA como la que obtuve: “Las almendras pueden tener un sabor dulce, ligeramente amargo o amargo, dependiendo de su composición química”. bien.
Pero si eres un amante de la información y utilizas la búsqueda de Google más ampliamente, es muy probable que aún encuentres errores extraños. Este ejemplo de noviembre del usuario de BlueSkycoopercooperco es un buen resumen de la desafortunada tendencia de Google Gemini de poner la verdad en una licuadora de vez en cuando.
Mi amigo @craigbased.bsky.social hizo un comentario sobre Cole besando a Shelley, así que busqué en Google “en qué episodio Gordon Cole besa a Shelley” y esto es lo que me dio. Hoy da una respuesta ligeramente diferente y también errónea. Todos sabemos que el mortalmente peligroso Gordon Cole nunca haría nada como besar a una mujer.
[image or embed]
— F♯A♯∞, FKA ☕️ (@coopercooperco.bsky.social) 26 de noviembre de 2024 a las 8:59 am
Cuando se le preguntó sobre Picos gemelos En el episodio en el que Cole besa a Shelley, la descripción general de AI afirma con bastante confianza e incorrectamente que no existe tal escena. Sin saber con seguridad qué salió mal, sólo se puede suponer que los datos de entrenamiento del modelo incluyen al menos referencias pasajeras (si no el texto completo) del modelo. famoso Picos gemelos escena Acerca de (sonido de David Lynch gritando) “¡Dos adultos compartiendo un tierno momento!” en eso cole y shelley Bobby Briggs parece interrumpirlos, pero luego se besa clara e inequívocamente. El modelo probablemente no proviene de ningún blog falso o textos falsos que digan que Cole nunca besa a Shelley (¿con qué propósito alguien escribiría algo así?). Simplemente se lo están inventando y colocándolo en la parte superior de la página de resultados de búsqueda de Google.
Claramente, el usuario de Bluesky anterior está haciendo lo que está haciendo Google. llama a menudo “Consulta impopular”. Las alucinaciones “tienden a aparecer” cuando la pregunta no es popular, dijo Buddaraju. “Aunque los sistemas intentan ser útiles, existen algunos malentendidos y una falta inherente de información de alta calidad en la web”, explicó mientras hablaba con Mashable sobre una descripción general de la IA en general, no esta específicamente. muchas personas destacadas, Destaca la información de alta calidad en línea. Cole y Shelly se besan, por lo que la “mala interpretación” de la fallida interrupción de Bobby Briggs es más plausible como explicación.
Si realiza una búsqueda basándose en información incorrecta, las descripciones generales de IA pueden empeorar las cosas dramáticamente
Según Budaraju, mejorar la visión general de la IA implica “encuestas” que no son exactamente pruebas AB. “Simplemente estamos dando a las personas la opción de elegir entre uno u otro y obtener su expresión de satisfacción”, dijo.
Velocidad de la luz triturable
Pero el escenario de pesadilla para AI Overviews es aquel en el que el investigador comienza con información que no es ideal, y AI Overview la hace menos que ideal.
Si la base de la búsqueda es incorrecta o defectuosa y la descripción general de la IA no detecta el problema, es lógico que el usuario tampoco lo note. El resultado será un usuario satisfecho que ahora es incluso más ignorante que antes. Es cierto que el problema de utilizar la búsqueda de Google para encontrar información errónea es mucho más antiguo que AI Overviews, pero AI Overviews podría ser una fórmula para mejorar este proceso.
Para ver un ejemplo claro pero algo benigno de lo que quiero decir, aquí está el resultado de la consulta “cómo usar bicarbonato de sodio para espesar la sopa”. Alguien podría tener una vaga idea de que uno de los polvos del armario podría darle a la sopa una mejor sensación en la boca, pero su suposición podría estar equivocada. Según AI Overview, “el bicarbonato de sodio se puede utilizar para espesar sopas haciéndolas más y más suaves”.
Crédito: captura de pantalla Mashable a través de Google
Esto no funcionará y podría hacer que la sopa tenga un sabor extraño.
Cuando le mostré este ejemplo a un representante de Google, me dijeron que Google lo usaría para mejorar su producto.
Pero separar la información buena y mala se vuelve borroso si estás investigando lo paranormal. Por ejemplo, intenté buscar “cómo enseñarle a su perro a comunicarse telepáticamente”, comencé una descripción general de la inteligencia artificial con el título “Aquí hay algunos consejos para comunicarse telepáticamente con su perro” y luego proporcioné una lista con viñetas improvisada a partir de la escritos de creyentes paranormales, como “The Communicating Animal” de B. Horsley.
Crédito: captura de pantalla Mashable a través de Google
Si estás dispuesto a leerlo, una búsqueda en Google te dirigirá a él. Los escritos de personas como Horsley – De hecho, los recomiendo. Son entretenidos. Pero cuando la descripción general de la IA en la parte superior de la página de resultados de Google dice “Aquí hay algunos consejos para comunicarse telepáticamente con su perro”, les da a los usuarios la impresión de que esta información es confiable y digna de confianza, en lugar de “Sólo con fines de entretenimiento“.
Un representante de Google señaló que la descripción general de la IA es dinámica. Me mostraron una descripción general de la IA de la misma investigación, y no decía “Aquí hay algunos consejos para comunicarse telepáticamente con su perro”, sino que afirmaban que no había evidencia científica de que los perros puedan comunicarse telepáticamente, antes de pasar a otra Buzz Horsley. – Listado de instrucciones afectadas. Si intentara esta búsqueda hoy, obtendría un resultado mejorado similar.
Finalmente, ¿qué pasa si el usuario nota que la carne de res se llama “carne de res” y la carne de cerdo se llama “carne de cerdo” y se pregunta cómo se llama la carne de delfín? Han sucedido cosas extrañas. Cuando utilicé la búsqueda de Google para encontrar respuestas, la descripción general de la IA parecía haber revelado la oscura verdad sobre Mahi Mahi:
Crédito: captura de pantalla Mashable a través de Google
La descripción general de la IA comienza con “El nombre de la carne de delfín depende de la región y la especie de delfín” y luego proporciona una lista con viñetas. El primer elemento del menú es Mahi Mahi.
Si el usuario continúa leyendo, verá que al dorado también se le conoce como “pez delfín” (porque, para que quede claro, el dorado no es un delfín, es un pez). Pero el resultado es, cuanto menos, confuso. Cuando se lo mostré a un representante de Google, me dijeron que era una explicación razonable para la búsqueda; en otras palabras, un usuario que buscara “nombre de la carne de delfín” podría en realidad estar buscando el pez conocido como “pez delfín”.
Es una buena idea hacer clic en la fuente.
Dado que, como mencioné anteriormente, cada una de las búsquedas que produjeron la problemática descripción general de la IA que he presentado aquí mejoraron de alguna manera, habría pensado que Google las estaba limpiando a medida que avanzaba, pero Buddaraju afirma lo contrario. “No solucionamos las consultas una por una. En realidad, no es así como lo consideramos. ¿Qué patrones de problemas vemos y cómo podemos resolverlos a escala?”
Pero también me dijo que Google todavía se centra en dirigir a los usuarios hacia recursos de descripción general de IA: ya sabes, ¿los antiguos enlaces en la página de resultados de búsqueda de Google? “Hasta cierto punto, creo que también esperamos que nuestros usuarios tengan los enlaces correctos, enlaces que también puedan seguir”, dijo. Se pregunta si, en respuesta a una descripción general de la IA, un usuario “realmente seguirá ese camino y verá los enlaces que condujeron a la descripción general que creé”.
Si la función de descripciones generales de IA nunca va a desaparecer, para que nunca tengas alucinaciones, probablemente sea una buena idea aceptar esa sugerencia de Budaraju y adquirir el hábito de hacer clic en esos enlaces junto a tus descripciones generales de IA cuando verlos.
