lib/queuehandler.php

   1 <?php
   2 /*
   3  * Laconica - a distributed open-source microblogging tool
   4  * Copyright (C) 2008, Controlez-Vous, Inc.
   5  *
   6  * This program is free software: you can redistribute it and/or modify
   7  * it under the terms of the GNU Affero General Public License as published by
   8  * the Free Software Foundation, either version 3 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU Affero General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Affero General Public License
  17  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  18  */
  19
  20 define('CLAIM_TIMEOUT', 1200);
  21
  22 if (!defined('LACONICA')) { exit(1); }
  23
  24 require_once(INSTALLDIR.'/lib/daemon.php');
  25 require_once(INSTALLDIR.'/classes/Queue_item.php');
  26 require_once(INSTALLDIR.'/classes/Notice.php');
  27
  28 class QueueHandler extends Daemon
  29 {
  30
  31     var $_id = 'generic';
  32
  33     function QueueHandler($id=null)
  34     {
  35         if ($id) {
  36             $this->set_id($id);
  37         }
  38     }
  39
  40     function class_name()
  41     {
  42         return ucfirst($this->transport()) . 'Handler';
  43     }
  44
  45     function name()
  46     {
  47         return strtolower($this->class_name().'.'.$this->get_id());
  48     }
  49
  50     function get_id()
  51     {
  52         return $this->_id;
  53     }
  54
  55     function set_id($id)
  56     {
  57         $this->_id = $id;
  58     }
  59
  60     function transport()
  61     {
  62         return null;
  63     }
  64
  65     function start()
  66     {
  67     }
  68
  69     function finish()
  70     {
  71     }
  72
  73     function handle_notice($notice)
  74     {
  75         return true;
  76     }
  77
  78     function db_dispatch() {
  79         do {
  80             $qi = Queue_item::top($this->transport());
  81             if ($qi) {
  82                 $this->log(LOG_INFO, 'Got item enqueued '.common_exact_date($qi->created));
  83                 $notice = Notice::staticGet($qi->notice_id);
  84                 if ($notice) {
  85                     $this->log(LOG_INFO, 'broadcasting notice ID = ' . $notice->id);
  86                     # XXX: what to do if broadcast fails?
  87                     $result = $this->handle_notice($notice);
  88                     if (!$result) {
  89                         $this->log(LOG_WARNING, 'Failed broadcast for notice ID = ' . $notice->id);
  90                         $orig = $qi;
  91                         $qi->claimed = null;
  92                         $qi->update($orig);
  93                         $this->log(LOG_WARNING, 'Abandoned claim for notice ID = ' . $notice->id);
  94                         continue;
  95                     }
  96                     $this->log(LOG_INFO, 'finished broadcasting notice ID = ' . $notice->id);
  97                     $notice->free();
  98                     unset($notice);
  99                     $notice = null;
 100                 } else {
 101                     $this->log(LOG_WARNING, 'queue item for notice that does not exist');
 102                 }
 103                 $qi->delete();
 104                 $qi->free();
 105                 unset($qi);
 106                 $this->idle(0);
 107             } else {
 108                 $this->clear_old_claims();
 109                 $this->idle(5);
 110             }
 111         } while (true);
 112     }
 113
 114     function stomp_dispatch() {
 115         require("Stomp.php");
 116         $con = new Stomp(common_config('queue','stomp_server'));
 117         if (!$con->connect()) {
 118             $this->log(LOG_ERR, 'Failed to connect to queue server');
 119             return false;
 120         }
 121         $queue_basename = common_config('queue','queue_basename');
 122         // subscribe to the relevant queue (format: basename-transport)
 123         $con->subscribe('/queue/'.$queue_basename.'-'.$this->transport());
 124
 125         do {
 126             $frame = $con->readFrame();
 127             if ($frame) {
 128                 $this->log(LOG_INFO, 'Got item enqueued '.common_exact_date($frame->headers['created']));
 129
 130                 // XXX: Now the queue handler receives only the ID of the
 131                 // notice, and it has to get it from the DB
 132                 // A massive improvement would be avoid DB query by transmitting
 133                 // all the notice details via queue server...
 134                 $notice = Notice::staticGet($frame->body);
 135
 136                 if ($notice) {
 137                     $this->log(LOG_INFO, 'broadcasting notice ID = ' . $notice->id);
 138                     $result = $this->handle_notice($notice);
 139                     if ($result) {
 140                         // if the msg has been handled positively, ack it
 141                         // and the queue server will remove it from the queue
 142                         $con->ack($frame);
 143                         $this->log(LOG_INFO, 'finished broadcasting notice ID = ' . $notice->id);
 144                     }
 145                     else {
 146                         // no ack
 147                         $this->log(LOG_WARNING, 'Failed broadcast for notice ID = ' . $notice->id);
 148                     }
 149                     $notice->free();
 150                     unset($notice);
 151                     $notice = null;
 152                 } else {
 153                     $this->log(LOG_WARNING, 'queue item for notice that does not exist');
 154                 }
 155             }
 156         } while (true);
 157
 158         $con->disconnect();
 159     }
 160
 161     function run()
 162     {
 163         if (!$this->start()) {
 164             return false;
 165         }
 166         $this->log(LOG_INFO, 'checking for queued notices');
 167         if (common_config('queue','subsystem') == 'stomp') {
 168             $this->stomp_dispatch();
 169         }
 170         else {
 171             $this->db_dispatch();
 172         }
 173         if (!$this->finish()) {
 174             return false;
 175         }
 176         return true;
 177     }
 178
 179     function idle($timeout=0)
 180     {
 181         if ($timeout>0) {
 182             sleep($timeout);
 183         }
 184     }
 185
 186     function clear_old_claims()
 187     {
 188         $qi = new Queue_item();
 189         $qi->transport = $this->transport();
 190         $qi->whereAdd('now() - claimed > '.CLAIM_TIMEOUT);
 191         $qi->update(DB_DATAOBJECT_WHEREADD_ONLY);
 192         $qi->free();
 193         unset($qi);
 194     }
 195
 196     function log($level, $msg)
 197     {
 198         common_log($level, $this->class_name() . ' ('. $this->get_id() .'): '.$msg);
 199     }
 200 }
 201