Atalaya: desde la tela de araña

Cultura en la red, reflexiones, relatos, tutoriales y paridas diversas

Problemas de escala, morir de éxito

2003-12-10 19:00 Muchos sitios que se hacen terriblemene populares acaban muriendo de éxito; ayer hablamos de ello.
Morir de éxito es un problema de escala. En dos palabras, lo que funciona bien a una escala determinada, funciona muy mal cuando aumentamos la escala. Un sitio funciona bien con mil visitas, pero con un millón, casca. Un insecto funciona bien si es pequeñito, pero si aumentara hasta el tamaño de una vaca, se asfixiaría. Un sistema P2P puede con diez mil nodos, pero si se meten un millón como le ocurre a Gnutella, acaba cascando. Barrapunto necesitó un cambio radical para poder resistir el número de peticiones que sufría al día. Y como a alguien le toque sufrir el efecto Slashdot, va apañao. Por no mencionar ataques intencionados de denegación de servicio.
Mirando a las estadísticas de PJorge (de las que habló en esta historia), o incluso a las de Blogalia, y supongo que a muchos otros sitios, cabe suponer que los problemas de escala se presentarán tarde o temprano. Blogalia ha triplicado sus visitas desde enero, y PJorge las ha quintuplicado. Si sigue así el tema (y puede que siga, puede que no, quién sabe), blogalia puede tener el año que viene por estas fechas casi doscientos mil hits, al día, y PJorge prácticamente lo mismo. No quiero hacer de Casandra aquí, pero ¿serán capaces de soportarlo? Ambas bitácoras se basan en una arquitectura dinámica, de forma que cada petición implica una o varias peticiones a una base de datos, y una construcción dinámica de la página usando servlets (en el caso de PJorge) o PHP (en el caso de blogalia). ¿Cuál es el máximo de peticiones que puede soportar la base de datos?¿Cuál es el máximo de hebras que puede soportar el contenedor de servlets que usa PJorge?
El problema es que, tanto en estos casos como en todos los demás, antes de alcanzar ese límite físico se topa con el límite económico: la tasa de transferencia máxima que es capaz de soportar el servidor por el precio contratado, por ejemplo. Blogalia transfirió casi 20 Gigas, y PJorge, 4 gigas. El problema técnico se convierte entonces en un problema económico: hay que pagar más ancho de banda. En realidad, casi siempre lo es: se trata de ampliar el sistema que sirve las peticiones, ampliando la memoria, o poniendo un disco duro más rápido, actualizando alguna parte crítica del sistema operativo que lo haga más rápido.
Muy probablemente me esté metiendo donde no me llaman, pero todo esto tiene una moraleja: si tienes un sitio web que se hace paulatinamente más popular, hay que planificar con tres o cuatro meses de antelación su ampliación, para que no te pille el toro. Si tienes una bitácora alojada en tu propia casa, tirando de un ADSL, piensa qué pasará cuando te pidan más de treinta y tantos Ks por segundo (que es bastante, pero puede suceder). Si la tienes en un servidor comercial, mira las estadísticas, y contrata más caudal antes de que tengas que "cerrar temporalmente por exceder el ancho de banda contratado".
Lo cual, claro está, lleva a la siguiente pregunta: ¿y cómo|quién paga eso?.

Referencias (TrackBacks)

URL de trackback de esta historia http://atalaya.blogalia.com//trackbacks/13780

Comentarios

1
De: fernand0 Fecha: 2003-12-10 19:08

Has dejado alguna etiqueta sin cerrar.

Una solución (que además creo que es razonable para sitios como estos) es generar las páginas en estático, lo cual aumenta mucho la capacidad de servir páginas pero, desde luego, si el ritmo de crecimiento sigue así hay que pensar en el futuro (olvidó usted nombrar eso de los 'increasing returns': cuantas más visitas tiene uno, es más fácil que todavía tenga más).

No hay que despreciar esa componente en el paso al modelo de pago de El País: al reducirse las visitas salvajemente, te cuestan mucho menos dinero y puedes dedicar tu dinero a mejorar el sitio en otros aspectos.



2
De: JJ Fecha: 2003-12-10 19:24

Está ya corregido, ¿no?
Lo de generar en estático es una solución; se hace en barrapunto y creo recordar que hubo una discusión en el sitio de Microsiervos al respecto. Blogspot, por ejemplo, lo hace así. Eso, sin embargo, sólo retrasa el problema, y resuelve el consumo de CPU, pero no de memoria ni de ancho de banda. Tienes razón en cuanto a lo de los increasing returns: más visitas, más gente te conoce, efecto red, etc, etc...
En cuanto a lo de El País, tienes razón. Pero no creo que pasar a un modelo de pago sea una solución de aplicación general.



3
De: Pjorge Fecha: 2003-12-10 19:30

Me alegra que me haga usted esa pregunta. Dos cosiñas:

1. El ancho de banda consumido en enero por pjorge.com ha sido de 4.42 GB, lo que ha hecho que mi compañía de hosting me cobrase por el exceso de 0.42 gigas. Ha sido un error, porque por mi plan, ya tengo 10GB/m de tranzferencia (por tanto espero que lo rectifiquen). Pero evidentemente, si hace unos meses pensaba que las visitas de pjorge.com podían quintuplicarse sin problemas, ahora me encuentro en la difícil situación de temer que la visitas simplemente se dupliquen. No creo que llegue a suceder, porque asumo que se alcanzará una meseta en algún momento. Sin embargo, ésa es una supoción mía y mientras sigas produciendo contenidos, la cosa puede seguir con esa tónica (por otra parte, en noviembre las visitas totales bajaron. Podría estar invirtiéndose la tendencia).

No me quejo. Me encanta recibir visitas y por el momento me lo puedo permitir. Pero evidentemente, si las visitas se cuadruplicasen, tendría que plantearme otra opción de hosting.

2. Evidentemente, el contenedor empieza a tener problemas y asumo que la máquina en la que corre pjorge.com empieza a notar los acceso a la base de datos. Se requiere un reestructuración urgente del sitio porque si no la cosa se vendrá abajo inevitablemente. No me gusta nada lo de generar página estáticas (hay miles de páginas ahí metidas), pero sí estoy estudiando varias posibilidades para reducir la carga. Entre otras cosas, cachés más inteligentes y demás.

Por otra pate, estoy introduciendo novedades que cargan aún más la máquina.

Bueno, como decían unos Sic transit... Cuando no se pueda seguir, pues no se podrá seguir y habrá que pensarse otra actividad para pasar el rato.



4
De: fernand0 Fecha: 2003-12-10 19:35

Efectivamente, pasar todo a estático igual es excesivo (aunque barato, creo) y se pueden montar sistemas de cache.

La pregunta es (siempre que uno no sea excesivamente espiritual y puro): ¿no habría nadie que patrocinase un sitio como pjorge.com o blogalia.com visto el número de visitas?

barrapunto si que tiene un patrocinador (al menos para el ancho de banda).



5
De: Pjorge Fecha: 2003-12-10 19:37

Lo del patrocinio es una cosa muy complicada. Por el momento no hace falta, por lo que sería excesivo quizá (aunque la verdad, tampoco me vendría mal el dinero :-) Por otra parte, nunca se sabe lo que voy a decir y no tengo tema concreto: ¿quién se arriesgaría a patrocinar algo tan caótico? Y por otra parte, ¿me impediría eso hablar de ciertas cosas o tratar ciertos temas?



6
De: fernand0 Fecha: 2003-12-10 19:45

A bp le patrocina un ISP, creo. No se quien se arriesga a esas cosas soy mal comerciante. Te impediría...? No lo se ;)



7
De: JJ Fecha: 2003-12-10 19:45

Pjorge, no digas que no se puede seguir, hombre... más bien que habrá que torear el toro por donde venga. Por lo menos, veo que tienes las cosas más o menos enjarretadas. Y en cuanto a la tendencia, no sólo tienes que tener en cuenta las medias mensuales, sino las puntas horarias. ¿Qué máximo puedes tener a la hora?
Y en cuanto al patrocinio, viene la próxima ola puntocom; habrá que subirse a ella antes de que lleguen los surfistas. Lo demás que planteas, es lo de siempre: cuando uno se vende, pues se vende. Fernando habló de eso hace tiempo, ¿no?



8
De: mini-d Fecha: 2003-12-10 19:48

Yo tuve el mismo problema, antes, tenía un sitio hermoso donde cada fecha era una pequeña imagen, tenía webcam, tenía archivos, etc. Todo eso en 3 meses tuvo que desaparecer... tuve que volarlo todo al carajo... una pena... pero había que cortar cabezas para seguir respirando y para que el sitio cargara rápido...

He tenido que mudar todo a un esquema más liviando, para que las descargas sean lo más cortas posibles, de hecho, gasto por día unos 200 MB de ancho de banda y el sitio es puro texto... y tiene algunos archivos, no muy pesados, pero por ejemplo, hay un artículo que tiene unos 4 pdfs de 400 y 600 kb que prácticamente todos los días se bajan una y otra vez, el PDF del curso de Mozilla también se los bajan mucho... etc.

Realmente gracias a sebastian no pago un duro de hosting, pero me gustaría donarle algo por su gesto, y de paso, ganarme algo de pasta. Lo de Google lo tengo en fase experimental, lo he puesto en el site pero lo he retirado de todos los sitios, menos del buscador, por día hago unas 789 impresiones de esa página.

Yo busco un patrocinio, así me olvido de los clics, impresiones y todo eso, me interesa patrocinar a gente que realmente lo vale y de paso me olvido de muchas cosas...

PD: no lo habrán notado, pero el último cambio que hice para arrorme unos 3 MB más de ancho de banda fue dividir y limpiar mis CSS. :)



9
De: Pjorge Fecha: 2003-12-10 19:49

Tienes razón: cuando uno se vende se vende. Y no es que esté en contra de la idea del patrocinio (estoy con minid: es mucho más interesante que la publicidad), simplemente no tengo claro que a ningún patrocinador le interese pjorge.com. Lo de la próxima ola puntocom me apetece mucho; ya tarda.

Otra cosa que estaría genial es que Nokia me mandase una muestra de cada uno de los modelos nuevos que saca :-) Eso me compensaría los gastos :-)



10
De: rvr Fecha: 2003-12-10 19:49

En el caso de Blogalia, de momento miro hacia el futuro:

- La CPU parece aguantar la carga del PostgreSQL, que no es mucha, pero podría ser menos. Mi experiencia (o más bien la de un antiguo cliente) con MySQL, es que la CPU se dispara cuando hay muchos accesos concurrentes.

- El ancho de banda lo estamos consumiendo a buen ritmo, pero en EEUU es bastante barato.

- Y en todo caso, cuando haga falta más, mientras pueda permitírmelo, Blogalia tendrá recursos suficientes. El día que mi casero me eche de casa por impago, ya veremos ;)



11
De: Pjorge Fecha: 2003-12-10 19:51

Parece que el máximo de hits en una hora durante noviembre fue de algo más de 700. Ignoro si es mucho o poco.



12
De: JJ Fecha: 2003-12-10 20:09

El problema con los problemas de escala es que nunca sabes cuando te vas a salir de ella... Que conste que esto no era una petición de explicaciones, rvr, pero gracias por darlas.
PJorge: 700 a la hora son ciento y pico al minuto, unos dos cada segundo. No es mucho. Cuando empieces a tener más peticiones al segundo que hebras sueles tener funcionando, es cuando hay que empezar a preocuparse
Minid: deberíamos hacer una feria para buscar patrocinadores. Un blogger tampoco sale tan caro. Fíjate yo, no necesito ni los últimos Nokia. Con un libro de vez en cuando para mi the pila tengo bastante.



13
De: Pjorge Fecha: 2003-12-10 20:15

Eh, eh, que yo pago un montón por hosting :-) Pero bueno, tienes razón, con un montón de libros gratis o un Nokia al año me conformo :-)

Y ahora una pregunta para los expertos: ¿cuál sería una buena tarifa de patrocionio para una bitácora? ¿100 euros al mes?

Yo sirvo unas 120.000 páginas en un mes. Eso haría que cada impresión saliese a 0.08 céntimos (menos de una décima parte de céntimo). ¿Es mucho o poco?



14
De: JJ Fecha: 2003-12-10 20:27

Es difícil de decir; tal como está el mercado de publicidad, quizás sea mucho; pero habría que evaluar qué segmento de audiencia tienes y todas esas cosas...



15
De: Pjorge Fecha: 2003-12-10 22:57

Pues volvemos al problema inicial. Una página que va de cualquier cosa que pueda interesar a su autor no tiene segmento de audiencia por definición. Vamos, que me parece que las bitácoras temáticas lo tienen mucho más fácil.



16
De: JJ Fecha: 2003-12-10 23:12

Alguno tendrá que tener, hombre. Si no un segmento, dos o tres. La moda de un conjunto existe siempre.



17
De: Pjorge Fecha: 2003-12-11 00:17

Sólo falta que esa moda signifique algo :-)



18
De: mini-d Fecha: 2003-12-11 01:40

A mi me gustaria que me regalaran un IBook G4. Eso por ejemplo valdría un año de slave-adversiting en mi sitio :).



19
De: JJ Fecha: 2003-12-11 02:44

Vamos a tener que poner la wishlist en algún sitio... :-)



20
De: Pjorge Fecha: 2003-12-11 02:46

Yo ya tengo :-)



21
De: fernand0 Fecha: 2003-12-11 03:06

Y yo :)



22
De: Anónimo Fecha: 2008-12-03 00:11

son estupidos



Se comenta en...

  • JJ en [Libro #1] Harry Potter and the Cursed Child, de JK Rowling, John Tiffany y Jack Thorne
  • Anonima en [Libro #1] Harry Potter and the Cursed Child, de JK Rowling, John Tiffany y Jack Thorne
  • JJ en [Libro #29] El guardián invisible, de Dolores Redondo
  • Jorge en [Libro #29] El guardián invisible, de Dolores Redondo
  • JJ en [Libro #30] Code simplicity, de Max Kanat-Alexander
  • rvr en [Libro #30] Code simplicity, de Max Kanat-Alexander
  • JJ en [Libro #22] Fantasía, de Emilia Pardo Bazán
  • Palimp en [Libro #22] Fantasía, de Emilia Pardo Bazán
  • marta en [Libro #21] Birchwood, de John Banville
  • JJ en [Libro #10] The son, de Jo Nesbo
  • Sobre Atalaya

    Esta es la bitácora o blog de Juan Julián Merelo. Si quieres contactar con el autor, usa su correo electrónico jjmerelo (arroba) gmail.com, o simplemente deja un comentario. Y si quieres leer alguna cosa más de las que escribe, prueba esta novela

    Listas de deseos

    A veces leo

    Otras veces escribo en

    Blogalia Blogalia