Johan Empa @JohanEmpa

Recent searches

Search options

Only available when logged in.

**Grumpy Bunny** @randty@neopaquita.es · Apr 2

"La Fundación Wikimedia, propietaria de Wikipedia, dice que el coste del ancho de banda han aumentado un 50% desde enero de 2024, un aumento que atribuyen a los rastreadores de IA.

Las compañías de IA están matando la web abierta al robar visitantes de las fuentes de información y hacer que paguen por el privilegio."

Fuente: https://diff.wikimedia.org/2025/04/01/how-crawlers-impact-the-operations-of-the-wikimedia-projects/

(Cito para añadir ALT y fuente a este tut:
https://mastodon.social/@camwilson/114267595008201156 )

Since January 2024, we have seen the bandwidth used for downloading multimedia content grow by 50%. This increase is not coming from human readers, but largely from automated programs that scrape the Wikimedia Commons image catalog of openly licensed images to feed images to Al models. Our infrastructure is built to sustain sudden traffic spikes from humans during high-interest events, but the amount of traffic generated by scraper bots is unprecedented and presents growing risks and costs.

The graph below shows that the base bandwidth demand for multimedia content has been growing steadily since early 2024 — and there's no sign of this slowing down. This increase in baseline usage means that we have less room to accommodate exceptional events when a traffic surge might occur: a significant amount of our time and resources go into responding to non-human traffic.

#stopIA

**fanta ️** @fanta · Apr 2

Apr 2

fanta ️ @fanta

@randty recuerdo cuando los rastreadores no eran tan rastreros. Respetaban el robots.txt y tal. Incluso no eran tan agresivos en frecuencia.

Ahora es el salvaje oeste.

**Aurochs** @aurochs@todon.eu · Apr 3

Apr 3

Aurochs @aurochs@todon.eu

@fanta @randty Pregunta de idiota: Y poner unos captcha no ayuda?

**Hache** @Hache@masto.es · Apr 3 *

Apr 3 *

Hache @Hache@masto.es

@aurochs @fanta @randty algunas webs están poniendo unos cálculos matemáticos que solo un browser podría resolver, pero claro, eso ralentiza o directamente hace inaccesible esa web para un telefono móvil por ejemplo.

**Aurochs** @aurochs@todon.eu · Apr 3

Apr 3

Aurochs @aurochs@todon.eu

@Hache @fanta @randty Y ¿Se puede discriminar el tráfico por tipo de dispositivo? Por ejemplo: si el tráfico viene de un movil, se le deja pasar, si no, se le ponen esos cálculos matemáticos.

**Hache** @Hache@masto.es · Apr 3 *

Apr 3 *

Hache @Hache@masto.es

@aurochs @fanta @randty para esto se utilizaba (y utiliza) el ya comentado userAgent que indica que tipo de software o dispositivo es el que está accediendo.

El problema es que yo puedo poner lo que me de la gana y estos crawlers basura que no respetan nada estan falseando su userAgent diciendo que son Firefox o que son un telefono o cualquier cosa menos que son un crawler de IA