Chargement...
 
[Voir/Cacher menus de gauche]
[Voir/Cacher menus de droite]

3 - Le site : philosophie, organisation, problèmes...

> Forums de discussion > 3 - Le site : philosophie, organisation, problèmes... > [périmé] a déplacer là ou il convient (le sujet)
Dernier post

[périmé] a déplacer là ou il convient (le sujet)

je me posait des questions sur la relation du module/le crash du 8/1/2013/la gestion des caches/

Tout ce qui est mis en cache tels que les lien externes alourdissent le système.
Et je me suis documenter un minimum sur cette affaire et je ne vois pas dans tiki le moyen d'automatiser la chose (pour le moment).

le meme modules est en activité sur le dev et ne pose aucun problème

désactiver la fonction smarty pourrait être une solution (je reviendrait ici mettre le lien qui va bien).
les fichier robots sont à éditer avec grande précaution
vous ne pouez pas empêche google de chercher
si google trouve il met les pages en cache sur son propre serveur et pas conséquent accélère l'affichage.

Ceci est le fruit d'une réflexion suite aux conséquences de
forum à plat/modules last_topic/ crash et caches
peut être que je me trompe mais techniquement le module fonctionne.

donc après toute intervention sur un modules quel qu'il soit (j'insiste hum) on purge le cache! (lien pour admins)

sur ce
bonne journée à tous

pianolivier utilisateur non connecté France
Pour la cache j'attend de tes nouvelles

En ce qui concerne google et cie, si, on peut bien l'empecher d'indexer le site. Le googlebot suit les instructions du fichier robots.txt , en témoigne les stats du site depuis que l'acces est interdit (Disallow: /tikiwiki/).
Le seul paramètre que googlebot ne suit pas, contrairement aux autres (bing...), c'est le Crawl-Delay, la seule manière de ralentir ce robot (lorsqu'il est autorisé) est d'utiliser les google webmaster tools, comme expliqué sur le site de google. (je te retrouverai le lien si tu y tient)

oliv'

il ya des subtilités qu'il faudra que je t'explique
ce qui est disalow ce sont des fichier sur le ftp
Au contraire laisse le indexer.
comme ça tu te sert de son cache et pas du serveur du site ;) du coup sa réparti la charge ;)
en plus il te référence par "les voies naturelles " du trafic web ;)
réfléchis-y bien!

pianolivier utilisateur non connecté France
1/ je n'ai pas acces en écriture au fichier robots.txt
2/ arnaud à décidé de "disallow tout", point barre (tu vois ce que je veux dire...)

oliv'

ha bon?
Etonnant et vous vous étonner de ne plus être référencé?


il faut disalows les répertoires sauf la racine du site
bien sur
et le reste il y a un fichier ".htaccess" ficelé au petit oignons.

avec dessus tel robot regardez la page 5OO et passez votre chemin .
plus on corse les sécurités plus on est sur d'être attaqué
ou de tout planter...
il faut faire la part des choses...

(mais bon la aussi je peux me tromper... )

pianolivier utilisateur non connecté France
Qui a parlé d'étonnement ?
Personnellement, je suis juste dépité.
Installe toi confortablement et prend une grande respiration, voici l'histoire...

Il était une fois... linuxmao
Les robots avaient le droit de référencer le site, tout allait bien sauf que googlebot, en particulier, représentait environ la moitié de la charge du site.
Quand je suis arrivé, en 2009, le site était déjà lent, je ne sais pas s'il a un jour été rapide mais on peut le supposer.
Des problèmes ont commencé à apparaitre fin 2010 avec des crash en série, ne me demande pas pourquoi.
Gilles à effectué, en janvier 2011, la première mise-à-jour majeure du site. Tout à donc changé, et googlebot s'est mis à pomper énormément le site pour mettre à jour son propre cache.
S'en est suivit de nouveaux crashs en série, comme tu pourras le voir dans ces sujets de forum :
tiki-view_forum_thread.php?comments_parentId=35150&forumId=1
tiki-view_forum_thread.php?comments_parentId=29086&forumId=1
Arnaud (il me semble) a identifié le problème comme venant de googlebot, et a par étape augmenté la valeur du paramètre crawldelay défini dans le fichier robots.txt pour ralentir ses hits.
C'était sans compter que googlebot ne prend pas en compte ce paramètre, comme il était clairement indiqué à l'époque dans la doc officielle de google (je ne retrouve plus le lien qui va bien, peut etre que cela a changé depuis, mais tu aura confirmation en lisant ceci par exemple).
Ce paramètre à donc varié d'environ 20 sec (valeur max standard) jusqu'à... 120 secondes (jamais vu ça ailleur) !!
Cela a donc été sans effet (à part pour les autres robots indexeurs qui ne posaient finalement pas problème), et arnaud à finalement décidé d'empécher tout robot indexeur de faire son travail, purement et simplement. (User-agent: * Disallow: /tikiwiki/).
Ce qui devait arriver arriva, la fréquentation du site tomba en chute libre, en partie car googlebot en représentait une bonne partie de cette fréquentation, et en autre partie car il est devenu beaucoup plus difficile de découvrir le site.
tiki-view_forum_thread.php?comments_parentId=33386&forumId=1
J'ai essayé d'en parler à Arnaud, proposé de bloquer momentanément seulement googlebot (useragent googlebot Disallow: /tikiwiki/) et de re-réduire le crawldelay pour les autre robots qui à ma connaissance ne posaient pas problème, ce à quoi il me répondit "non" sans aucune forme d'argumentation.
Olinuxx à quand à lui argumenté que de toute facon, la majorité des gens découvraient le site grace à des liens sur d'autres sites comme ubuntu.fr (ce qui n'est pas ce que j'interprete personnellement des stats d'avant 2010), que la fréquentation perdue était seulement celle de googlebot et que de plus google c'est le diable, et qu'il n'y avait donc pas de problème.

On en est là, j'ai arrêté d'essayer d'en parler, mes emails à Arnaud restant sans réponse.

oliv'

en fait ce que j'essais de dire c'est que le fichiers robot.txt n'arretera les robot de cette manière car il sert à empêcher de "voir" le contenu physique du site
(ce qui est sur le ftp)

par contre si on travail sur le htaccess c'est bien plus efficace mais pour ça faut avoir accès au ftp*

cherche avec google protection de site par htaccess tu comprendra peut être mieux selon qui te l'expliquera. Car j'esquive les termes technique trop subtils pour moi

en clair tu poeu avoir le fichier robot le plus blindé tout seul il ne vaut rien mais associé au htacces là je dis pas

par contre certaine ligne fonctionnent ou pas selon la configue super root (ungi)
et pour que ça soit hyper efficace il faut une affaire de permissions bien ficelée sur le site physique (tout son répertoire

tu peux avoir la serrure de la banque de france sur ta porte si celle ci est juste en bois il suffit de défoncer le bois pour passer à coté de la serrure je crois que l'image est assez réaliste...

pianolivier utilisateur non connecté France
ok je vois, j'irai me documenter sur le sujet, merci !

oliv'

ps : des serrures dans le style, il en existe plus qu'on ne le pense smile

xzu utilisateur non connecté France
Merci utilisateur_anonyme pour toutes ces infos.

Afficher les articles :
Aller au forum :

Documentation [Afficher / Cacher]

Faire un don
[Afficher / Cacher]

Connexion
[Afficher / Cacher]



Mégaphone [Afficher / Cacher]

calixtus06, 14:33, jeu. 28 mars 2024: Bonjour et bienvenue à b.vl :-)
calixtus06, 09:30, mer. 27 mars 2024: Bonjour et bienvenue à Noar :-)
olinuxx, 18:50, lun. 25 mars 2024: Bonjour et bienvenue à Ted Demore cool
olinuxx, 17:52, dim. 24 mars 2024: Bonjour et bienvenue à Noitavon cool
calixtus06, 11:07, jeu. 21 mars 2024: Bonjour et bienvenue à obds, ceric :-)
obds, 16:12, mar. 19 mars 2024: Cet édito est juste parfait. Trop beau !
olinuxx, 11:48, ven. 15 mars 2024: Bonjour et bienvenue à Jerry cool
calixtus06, 18:03, mer. 13 mars 2024: Bonjour et bienvenue à tanguero :-)
olinuxx, 11:01, dim. 10 mars 2024: Bonjour et bienvenue à lolo cool
bda, 16:59, sam. 09 mars 2024: Chapeau pour l'édito. Vous êtes au top les gars :-)
allany, 07:20, jeu. 07 mars 2024: Ça ne fait jamais de mal, c'est l'éditorial ! [Lien]
olinuxx, 19:52, mer. 06 mars 2024: Bonjour et bienvenue à TrkNrk cool