Performance, accélérer Drupal 7 avec Apache et Varnish

Performance, accélérer Drupal 7 avec Apache et Varnish

Varnish est un accélérateur de web app. Il va vous permettre d'augmenter la vitesse de votre site web, pour peu que vous soyez sous un serveur dédié évidemment !

Je vais vous proposer dans cet article la procédure pour mettre en place Varnish 3.0 sur un drupal 7.

 

Résumé de ce que fait Varnish

Varnish va mettre en cache certaines requêtes afin que le serveur web (apache) n'ait pas à toutes les traiter. Cela est important car normalement un process apache est utilisé pour chaque requête. Chacune de ces requête coute très chère en Ram / Cpu à votre serveur, car apache contrôle tout.

Cependant, dans certains cas, comme, les images, les css, les js, les pages html statics ... bref les ressources utilisés par votre site, ces requêtes n'ont pas besoin d'un traitement aussi lourd qu'apache, c'est là  qu'intervient Varnish. Il va mettre en cache ces ressources afin que lorsqu'un visiteur en fait la demande, ça ne soit pas apache qui délivre cette ressource mais Vanish, beaucoup moins gourmand en ressource système, et donc plus rapide.

 

Installation de Varnish

Je vais supposer qu'apache est déjà installé sur votre serveur.

apt-get install varnish

 

Configuration Apache

On va configurer votre apache afin d'écouter sur un autre port que le 80 afin de laisser ce port 80 à Varnish plus tard.

vi /etc/apache2/ports.conf
NameVirtualHost *:8000
Listen 127.0.0.1:8000

Vous allez devoir ensuite changer vos virtualhost si vous avez définit leur port d'écoute en 80 par 8000.

<VirtualHost *:80>

par

<VirtualHost *:8000>

 

Configuration Varnish

Changer les lignes suivante :

vi /etc/default/varnish
DAEMON_OPTS="-a :80 \
             -T localhost:6082 \
             -f /etc/varnish/NOM_DE_VOTRE_FICHIER_DE_CONF.vcl \
             -S /etc/varnish/secret \
             -s malloc,256m"

Changer la ligne defaut.vcl par un nom de fichier que l'on créera ensuite.

Editer ensuite ce nouveau fichier de configuration de Vanish

Configue VCL tiré du site fourkitchens.atlassian.net

vi /etc/varnish/NOM_DE_VOTRE_FICHIER_DE_CONF.vcl
{syntaxhighlighter brush:bash;}# This is a basic VCL configuration file for varnish.  See the vcl(7)
# man page for details on VCL syntax and semantics.
#

# TODO: Update internal subnet ACL and security.

# Define the internal network subnet.
# These are used below to allow internal access to certain files while not
# allowing access from the public internet.
# acl internal {
#  "192.10.0.0"/24;
# }

# Default backend definition.  Set this to point to your content
# server.
#
backend default {
  .host = "127.0.0.1";
  .port = "8000";
}

# Respond to incoming requests.
sub vcl_recv {
  # Use anonymous, cached pages if all backends are down.
  if (!req.backend.healthy) {
    unset req.http.Cookie;
  }

  # Allow the backend to serve up stale content if it is responding slowly.
  set req.grace = 6h;

  # Pipe these paths directly to Apache for streaming.
  #if (req.url ~ "^/admin/content/backup_migrate/export") {
  #  return (pipe);
  #}

  # Do not cache these paths.
  if (req.url ~ "^/status\.php$" ||
      req.url ~ "^/update\.php$" ||
      req.url ~ "^/admin$" ||
      req.url ~ "^/admin/.*$" ||
      req.url ~ "^/flag/.*$" ||
      req.url ~ "^.*/ajax/.*$" ||
      req.url ~ "^.*/ahah/.*$") {
       return (pass);
  }

  # Do not allow outside access to cron.php or install.php.
  #if (req.url ~ "^/(cron|install)\.php$" && !client.ip ~ internal) {
    # Have Varnish throw the error directly.
  #  error 404 "Page not found.";
    # Use a custom error page that you've defined in Drupal at the path "404".
    # set req.url = "/404";
  #}

  # Always cache the following file types for all users. This list of extensions
  # appears twice, once here and again in vcl_fetch so make sure you edit both
  # and keep them equal.
  if (req.url ~ "(?i)\.(pdf|asc|dat|txt|doc|xls|ppt|tgz|csv|png|gif|jpeg|jpg|ico|swf|css|js)(\?.*)?$") {
    unset req.http.Cookie;
  }

  # Remove all cookies that Drupal doesn't need to know about. We explicitly
  # list the ones that Drupal does need, the SESS and NO_CACHE. If, after
  # running this code we find that either of these two cookies remains, we
  # will pass as the page cannot be cached.
  if (req.http.Cookie) {
    # 1. Append a semi-colon to the front of the cookie string.
    # 2. Remove all spaces that appear after semi-colons.
    # 3. Match the cookies we want to keep, adding the space we removed
    #    previously back. (\1) is first matching group in the regsuball.
    # 4. Remove all other cookies, identifying them by the fact that they have
    #    no space after the preceding semi-colon.
    # 5. Remove all spaces and semi-colons from the beginning and end of the
    #    cookie string.
    set req.http.Cookie = ";" + req.http.Cookie;
    set req.http.Cookie = regsuball(req.http.Cookie, "; +", ";");   
    set req.http.Cookie = regsuball(req.http.Cookie, ";(SESS[a-z0-9]+|SSESS[a-z0-9]+|NO_CACHE)=", "; \1=");
    set req.http.Cookie = regsuball(req.http.Cookie, ";[^ ][^;]*", "");
    set req.http.Cookie = regsuball(req.http.Cookie, "^[; ]+|[; ]+$", "");

    if (req.http.Cookie == "") {
      # If there are no remaining cookies, remove the cookie header. If there
      # aren't any cookie headers, Varnish's default behavior will be to cache
      # the page.
      unset req.http.Cookie;
    }
    else {
      # If there is any cookies left (a session or NO_CACHE cookie), do not
      # cache the page. Pass it on to Apache directly.
      return (pass);
    }
  }
}

# Set a header to track a cache HIT/MISS.
sub vcl_deliver {
  if (obj.hits > 0) {
    set resp.http.X-Varnish-Cache = "HIT";
  }
  else {
    set resp.http.X-Varnish-Cache = "MISS";
  }
}

# Code determining what to do when serving items from the Apache servers.
# beresp == Back-end response from the web server.
sub vcl_fetch {
  # We need this to cache 404s, 301s, 500s. Otherwise, depending on backend but
  # definitely in Drupal's case these responses are not cacheable by default.
  if (beresp.status == 404 || beresp.status == 301 || beresp.status == 500) {
    set beresp.ttl = 10m;
  }

  # Don't allow static files to set cookies.
  # (?i) denotes case insensitive in PCRE (perl compatible regular expressions).
  # This list of extensions appears twice, once here and again in vcl_recv so
  # make sure you edit both and keep them equal.
  if (req.url ~ "(?i)\.(pdf|asc|dat|txt|doc|xls|ppt|tgz|csv|png|gif|jpeg|jpg|ico|swf|css|js)(\?.*)?$") {
    unset beresp.http.set-cookie;
  }

  # Allow items to be stale if needed.
  set beresp.grace = 6h;
}

# In the event of an error, show friendlier messages.
sub vcl_error {
  # Redirect to some other URL in the case of a homepage failure.
  #if (req.url ~ "^/?$") {
  #  set obj.status = 302;
  #  set obj.http.Location = "http://backup.example.com/";
  #}

  # Otherwise redirect to the homepage, which will likely be in the cache.
  set obj.http.Content-Type = "text/html; charset=utf-8";
  synthetic {"
<html>
<head>
  <title>Page Unavailable</title>
  <style>
    body { background: #303030; text-align: center; color: white; }
    #page { border: 1px solid #CCC; width: 500px; margin: 100px auto 0; padding: 30px; background: #323232; }
    a, a:link, a:visited { color: #CCC; }
    .error { color: #222; }
  </style>
</head>
<body onload="setTimeout(function() { window.location = '/' }, 5000)">
  <div id="page">
    <h1 class="title">Page Unavailable</h1>
    <p>The page you requested is temporarily unavailable.</p>
    <p>We're redirecting you to the <a href="/">homepage</a> in 5 seconds.</p>
    <div class="error">(Error "} + obj.status + " " + obj.response + {")</div>
  </div>
</body>
</html>
"};
  return (deliver);
}{/syntaxhighlighter}

 

Module Varnish Drupal

Télécharger le module Varnish HTTP Accelerator Integration, installer le module dans sites/all/modules, activer le module dans drupal.

Editer le fichier /sites/default/settings.php et ajouter les lignes :

<?php
// Add Varnish as the page cache handler.
$conf['cache_backends'] = array('sites/all/modules/varnish/varnish.cache.inc');
$conf['cache_class_cache_page'] = 'VarnishCache';
// Drupal 7 does not cache pages when we invoke hooks during bootstrap. This needs
// to be disabled.
$conf['page_cache_invoke_hooks'] = FALSE;
?>

Aller à l'adresse /admin/config/development/varnish de votre drupal.

Mettre la version 3.x de Varnish,

Renseigner la Clé de control Varnish qui se trouve sur le serveur 

cat /etc/varnish/secret

Vérification présence de Varnish

Avec chrome, inspecter le site qui se trouve sur votre serveur avec la touche F12.

Dans l'onglet network, vous allez vérifier que vos ressources png ou css dispose bien de l'entete X-Varnish-Cache. HIT va signifier que la ressource vient du cache, et MISS qu'elle ne vient pas du cache.

Accept-Ranges:bytes
Age:4388
Cache-Control:max-age=1209600
Connection:keep-alive
Content-Encoding:gzip
Content-Length:389
Content-Type:text/css
Date:Wed, 15 Aug 2012 11:02:43 GMT
ETag:"3e0fde-400-4c2e47a7a2580"
Expires:Wed, 29 Aug 2012 09:49:34 GMT
Last-Modified:Wed, 20 Jun 2012 10:01:10 GMT
Server:Apache
Vary:Accept-Encoding
Via:1.1 varnish
X-Varnish:1363926136 1363923807
X-Varnish-Cache:HIT

Sinon il y a aussi le site http://www.isvarnishworking.com/, qui fait exactement le même travail :)

Voilà, vous savez maintenant installer et configurer Varnish sur votre serveur avec Drupal 7.

Performances lenteur Drupal 7, Theme Zen, Theme development settings

Performances lenteur Drupal 7, Theme Zen, Theme development settings

31 juill. 2012Drupal 7.x, performance, thème, Zen

Des performances en chute libre !

Il est possible que certains d'entre vous aient des problèmes de lenteurs sur leur drupal après l'installation et la mise en place de certains modules/themes. Evidemment, plus vous allez activer de modules, plus votre site sera "lent", mais ne vous inquiétez pas cela reste dans une limite acceptable.

Cependant, certains modules (indispensables) si vous ne les configurez pas correctement vont faire de votre site un calvaire pour vos utilisateurs et pour vous en DEV.

Si votre site est lent de temps en temps, genre toute les 1h à 3h, reportez vous à l'article parlant de la gestion du cron de drupal 7.

Si par contre sur votre site, le site mais longtemps à générer une page, il est possible que vous ayez oublié quelque chose.

Les thèmes basé sur Zen

Zen est un template de base qui va vous permettre de créer vos propres templates custom en bénéficiant de nombreuses fonctionnalités importé de ce thème de base.

Cependant si vous omettez de configurer votre thème, vous pouvez oublier une option très importante dans la phase de dev, mais plus du tout en prod !

Rendez-vous dans la configuration de votre thème, Apparence / Paramètres / Votre thème.

Vous devez avoir un onglet Theme development settings disponible avec par défaut une checkbox Rebuild theme registry on every page coché. Ceci va vous permettre lorsque vous développer un nouveau thème, d'avoir à vider le cache drupal afin de le forcer à vérifier les nouveaux fichiers .tpl, ou hook que vous avez ajouté. Cependant, ceci va évidement ralentir la navigation de votre site ! Personnellement, je préfère donc décocher cette option et vider le cache quand j'en ai besoin pour la prise en compte d'un nouveau fichier ou fonction.

Voilà, ce n'est pas une astuce ni un paramètre que vous trouverez sur tous les drupal puisque que ceci ne s'applique qu'aux templates Zen. Mais bon, si votre site est lent... peut-être que vous avez oublié cette petite option ;)

Performances lenteur Drupal 7, le Cron

Performances lenteur Drupal 7, le Cron

23 janv. 2012Drupal 7.x, performance

Problème de performance, lenteur Drupal6 vs Drupal 7

Il est connu de tout le monde que drupal 7 est plus lent que drupal 6 .... ceci est normal me direz vous ... et bien oui, l'ajout de fonctionnalité dans le core ne se font évidement pas sans une contrepartie.

Cependant, j'ai remarqué sur mes sites en Dev des performances horribles sur le 1er accès au site. Alors moi je me dis que ce n'étais pas possible que les dev drupal aient laissé un temps d'initialisation du framework aussi important ! D'autant que le problème ne se produit que très rarement sur les mêmes sites, passés en production, sur même config serveur dédié.

Les temps de latence remarquées étaient de l'ordre de 15-20sec pour générer la 1ère page ... une horreur quand on fait la demo client ^^

Mais c'est pas possible il est lent votre site ! Non non ne vous inquiétez pas c'est la version de DEV .... :)

Du coup j'ai décidé de me plongé sur ce problème. 

Cron est la solution

Résultat, il s'avère qu'en fait, le problème venait simplement du cron ... vous savez le process qui permet de faire tout un tas de choses, comme un clean DB ou mise à jour du moteur de recherche. 

Sur drupal 6, le cron était dissocié du site, je veux dire par là que si vous ne configuriez pas une tâche cron un de vos dédié ou votre machine perso qui allait visiter l'url cron toutes les  x heures, votre cron n'était jamais lancé.

Et bien sur drupal 7 .. ils ont associé le cron aux visites du site. De base le cron doit se déclencher toutes les 3heures. Sauf que si vous n'avez pas beaucoup de visiteurs cas des sites en dev ^^) et bien toutes les 3 heures à chaque visite d'une page, le cron se lance lors du chargement de votre page ... d'où les 15-20sec d'attentes avec une belle page blanche.

Donc si, comme moi, vous ne pouvez  pas vous permettre que vos clients ou visiteurs ne se tape ce foutu délais, je vous conseille de régler l'exécution du cron de drupal 7 à jamais

Désactivation du cron drupal

admin/config/system/cron

Evidement vous devrez dans ce cas lancer votre cron depuis un process externe.  cette fois ce sera une vrai tache cron linux, ou autre pour les autres ^^

Voici comme configurer votre serveur dédié linux ou machine perso dans le cas d'un hébergement mutualisé.

Vous devez d'abord récupérer le lien à exécuter pour lancer le cron, vous le trouverez dans votre tableau de bord drupal 7

Récupération du lien pour lancer le cron drupal

/admin/reports/statu​s

Edition du crontab linux

 crontab -e

Ajoutez la ligne pour lancer votre cron toutes les 5 heures.

0  */5 *   *   *     /usr/bin/lynx -source http://www.urlsite.fr/cron.php?cron_key=d561az56d16az54df546ze564v6sd854v68frez8g

Ctrl + x pour sauvegarder votre crontab.

Et voilà. Désormais, les tâches lancées dans votre cron drupal seront exécutés par un processus indépendant de vos visiteurs et c'est beaucoup mieux ! 

Subscribe to RSS - performance