La empresa matriz de TikTok tiene una herramienta que escanea la web 25 veces más rápido que OpenAI

tik tok La empresa matriz ByteDance recopila cantidades masivas de datos web más rápido que otros rastreadores web importantes.

Es posible que ByteDance esté planeando lanzar su propio LLM y esté utilizando agresivamente su rastreador web, Bytespider, para recopilar datos para entrenar sus modelos. suerte Mencioné.

Bytespider apareció en escena en abril y, desde entonces, su tasa de consumo avergüenza a las herramientas de web scraping de OpenAI, Google, Meta y Anthropic.

Sam Crowther, director ejecutivo de Kasada, una empresa de gestión de bots, dijo al medio que la tasa de raspado de Bytespider es 25 veces mayor que la de GPTbot de OpenAI y 3000 veces mayor que la de ClaudeBot, el rastreador web de Anthropic para Claude LLM. Crowther también dijo que Casada Data ha visto un “aumento significativo en la actividad de scraping” de Bytespider en las últimas seis semanas.

Mientras Bytespider consume vorazmente la web, el gobierno de EE. UU. está tratando de bloquear el posible acceso de los datos de los usuarios estadounidenses al gobierno chino. En abril, el presidente Biden firmé la factura Prohibición de TikTok a menos que ByteDance lo venda durante el año. Dado el tictac de ByteDance para vender TikTok, la sensación de urgencia es proporcional a la enorme tasa de actividad de rastreo web; ya sea para un LLM, un mejor algoritmo o algo más, no lo sabemos.

Queda por ver qué planea hacer ByteDance con todos sus datos recién extraídos. Pero TikTok ha lanzado varias funciones impulsadas por IA para la plataforma. En mayo, anunció un conjunto de herramientas que los anunciantes pueden crear. Anuncios generados por inteligencia artificialy Avatares creados por inteligencia artificial Para marcas y creadores. También se rumorea que TikTok está trabajando en Buscador internocon resultados impulsados ​​por IA, posiblemente utilizando ChatGPT.