Un poquito de programación rápida para comenzar la semana. El otro día me di cuenta que estaba creando sesiones a lo pavote para TODOS los que entraban al blog, algo normal para contabilizar de donde, cuantos activos y esas cosas que sirven a modo estadístico.
Con usuarios normales no es un problema, salvo ataques DDOS donde ese sería el último de mis problemas, jeje, pero con los bots de los buscadores... ah, eso sí que es un drama.
Cuando tu site recibe mucho tráfico o se actualiza seguido los spiders de los buscadores pasan también más seguido, así que te revisan cada rincón, aumenta el tráfico y las sesiones, lo que hice fue buscar una función (aquí en PHacks) para detectarlos y evitar tanto peso en el servidor, en PHP, es sencillo:
Tan sólo cuando entra pregunto si es un bot, ¿Por qué no guardar la lista en una DB? justamente porque lo que quiero eliminar son requests a la base de datos, con un hermoso y cochino if enorme podemos contener la mayoría de los bots que andan dando vueltas.
Contra toda la teoría de sistemas que te enseñan en la facultad, el "hardcodeo" es necesario cuando buscás performance, no está mal, es que hay que saber usarlo, en este caso es algo que se modifica rara vez y para aquellos que modificamos nuestro propio código, es más eficiente. En términos de eficiencia pura esto apenas consume un poquito más de memoria (unos bytes) en el script pero te quita una conexión TCP al servidor MySQL y la posible congestión de este, si la lista fuese más grande, bueno, sería otra historia.
Con esta pequeña función me ahorré un 90% de requests inútiles a la base de datos por parte de los buscadores cuando pasan a explorar el blog, a continuación les dejo una lista de muchos nombres posibles, yo sólo le cargué al mío los más comunes, Google y Bing, más otros tantos.
Update: Con el tiempo me armé mi propia función y, luego de diez años, ha acumulado una enorme cantidad de datos de buscadores y spiders varios, la pueden descargar libremente de mi GitHub
Si te gustó esta nota podés...
tapichi dijo:
podrias utilizar sqlite para guardar los datos...
30/04/2013 - 08:38:42
Pero así estarías evitando que aparezcan tus posts cuando alguien busque en google, por ejemplo, un tema relacionado, no?
Fabio Baccaglioni dijo:
tapichi dijo:
podrias utilizar sqlite para guardar los datos...
y cuanto procesador requerís de SQLlite contra un if?
un buscador te puede mandar en cinco minutos un 300% más requests que cualquier otra andanada de tráfico, si encima necesitás tanto overhead para cargar SQLite y luego ejecutar la consulta ahí adentro, estas en la misma, para eso usás mysql y listo.
flacoargento dijo:
Pero así estarías evitando que aparezcan tus posts cuando alguien busque en google, por ejemplo, un tema relacionado, no?
Fabio Baccaglioni dijo:
tapichi dijo:
podrias utilizar sqlite para guardar los datos...
y cuanto procesador requerís de SQLlite contra un if?
un buscador te puede mandar en cinco minutos un 300% más requests que cualquier otra andanada de tráfico, si encima necesitás tanto overhead para cargar SQLite y luego ejecutar la consulta ahí adentro, estas en la misma, para eso usás mysql y listo.
¿Y si accedés una sola vez y guardás en caché? Nomás para no hardcodear y sentirte menos villero.
eso si que es villero!!
Lo lindo es que todo eso que te enseñaban de normalizar todo, dejarlo pipi-cucu y todo eso, a la hora de querer obtener performance se va bien al carajo.
incluso usando bases de datos, lo que suelo hacer es obtener todos los datos ordenaditos y lindos, y bajarlos a un archivo, para despues levantarlo a memoria y laburar desde memoria... unos 18GB de datos...
y como en mi laburo que machacamos datos a lo loco, estas cosas son necesarias...
30/04/2013 - 17:25:00
muy lindo el codigo pero en donde se coloca eso para que funcione? en my_sitio/bots.php ? index.html ? donde va eso?
dani dijo:
muy lindo el codigo pero en donde se coloca eso para que funcione? en my_sitio/bots.php ? index.html ? donde va eso?
Lo lindo es que todo eso que te enseñaban de normalizar todo, dejarlo pipi-cucu y todo eso, a la hora de querer obtener performance se va bien al carajo.
incluso usando bases de datos, lo que suelo hacer es obtener todos los datos ordenaditos y lindos, y bajarlos a un archivo, para despues levantarlo a memoria y laburar desde memoria... unos 18GB de datos...
y como en mi laburo que machacamos datos a lo loco, estas cosas son necesarias...
02/05/2013 - 01:46:32
Fabio Baccaglioni dijo:
la normalización es la mentira de toda la carrera de sistemas
Grandioso lo que has compartido, aunque sinceramente se puede mejorar, voy a ver si puedo cambiarlo para sacarle más partido y cualquier cosa aviso.
Saludos fabio.!
Hanna Montaner dijo:
Fabio Baccaglioni dijo:
la normalización es la mentira de toda la carrera de sistemas
Eso generalmente ocurre con lenguajes mal diseñados como PHP. Andá a pedirle a google que use PHP
07/03/2014 - 21:36:04
Usando apc para que sea php desde la memoria? que tal si fueran mas datos, que tal una tabla de las tipo memory? haria una cosulta pero ya no seria al disco si no a la memoria, solo digo 
A Targeted Individual is someone that has been selected by the Deep State (usually FBI or CIA) to unwillingly participate in a government experimental torture program. This program is designed to break down the individual and "neutralize the person," using psychological, physical, and emotional stress. The ultimate goal of this program is to control the entire global population. Political activists and whistleblowers are two of the main targets. Family and spousal relationships are usually destroyed, as part of this torture.
