plugins/OStatus/lib/ostatusqueuehandler.php

   1 <?php
   2 /*
   3  * StatusNet - the distributed open-source microblogging tool
   4  * Copyright (C) 2010, StatusNet, Inc.
   5  *
   6  * This program is free software: you can redistribute it and/or modify
   7  * it under the terms of the GNU Affero General Public License as published by
   8  * the Free Software Foundation, either version 3 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU Affero General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Affero General Public License
  17  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  18  */
  19
  20 if (!defined('STATUSNET')) {
  21     exit(1);
  22 }
  23
  24 /**
  25  * Prepare PuSH and Salmon distributions for an outgoing message.
  26  *
  27  * @package OStatusPlugin
  28  * @author Brion Vibber <brion@status.net>
  29  */
  30 class OStatusQueueHandler extends QueueHandler
  31 {
  32     // If we have more than this many subscribing sites on a single feed,
  33     // break up the PuSH distribution into smaller batches which will be
  34     // rolled into the queue progressively. This reduces disruption to
  35     // other, shorter activities being enqueued while we work.
  36     const MAX_UNBATCHED = 50;
  37
  38     // Each batch (a 'hubprep' entry) will have this many items.
  39     // Selected to provide a balance between queue packet size
  40     // and number of batches that will end up getting processed.
  41     // For 20,000 target sites, 1000 should work acceptably.
  42     const BATCH_SIZE = 1000;
  43
  44     function transport()
  45     {
  46         return 'ostatus';
  47     }
  48
  49     function handle($notice)
  50     {
  51         assert($notice instanceof Notice);
  52
  53         $this->notice = $notice;
  54         $this->user = User::staticGet($notice->profile_id);
  55
  56         $this->pushUser();
  57
  58         foreach ($notice->getGroups() as $group) {
  59             $oprofile = Ostatus_profile::staticGet('group_id', $group->id);
  60             if ($oprofile) {
  61                 $this->pingReply($oprofile);
  62             } else {
  63                 $this->pushGroup($group->id);
  64             }
  65         }
  66
  67         foreach ($notice->getReplies() as $profile_id) {
  68             $oprofile = Ostatus_profile::staticGet('profile_id', $profile_id);
  69             if ($oprofile) {
  70                 $this->pingReply($oprofile);
  71             }
  72         }
  73
  74         if (!empty($this->notice->reply_to)) {
  75             $replyTo = Notice::staticGet('id', $this->notice->reply_to);
  76             if (!empty($replyTo)) {
  77                 foreach($replyTo->getReplies() as $profile_id) {
  78                     $oprofile = Ostatus_profile::staticGet('profile_id', $profile_id);
  79                     if ($oprofile) {
  80                         $this->pingReply($oprofile);
  81                     }
  82                 }
  83             }
  84         }
  85         return true;
  86     }
  87
  88     function pushUser()
  89     {
  90         if ($this->user) {
  91             // For local posts, ping the PuSH hub to update their feed.
  92             // http://identi.ca/api/statuses/user_timeline/1.atom
  93             $feed = common_local_url('ApiTimelineUser',
  94                                      array('id' => $this->user->id,
  95                                            'format' => 'atom'));
  96             $this->pushFeed($feed, array($this, 'userFeedForNotice'));
  97         }
  98     }
  99
 100     function pushGroup($group_id)
 101     {
 102         // For a local group, ping the PuSH hub to update its feed.
 103         // Updates may come from either a local or a remote user.
 104         $feed = common_local_url('ApiTimelineGroup',
 105                                  array('id' => $group_id,
 106                                        'format' => 'atom'));
 107         $this->pushFeed($feed, array($this, 'groupFeedForNotice'), $group_id);
 108     }
 109
 110     function pingReply($oprofile)
 111     {
 112         if ($this->user) {
 113             // For local posts, send a Salmon ping to the mentioned
 114             // remote user or group.
 115             // @fixme as an optimization we can skip this if the
 116             // remote profile is subscribed to the author.
 117             $oprofile->notifyDeferred($this->notice, $this->user);
 118         }
 119     }
 120
 121     /**
 122      * @param string $feed URI to the feed
 123      * @param callable $callback function to generate Atom feed update if needed
 124      *        any additional params are passed to the callback.
 125      */
 126     function pushFeed($feed, $callback)
 127     {
 128         $hub = common_config('ostatus', 'hub');
 129         if ($hub) {
 130             $this->pushFeedExternal($feed, $hub);
 131         }
 132
 133         $sub = new HubSub();
 134         $sub->topic = $feed;
 135         if ($sub->find()) {
 136             $args = array_slice(func_get_args(), 2);
 137             $atom = call_user_func_array($callback, $args);
 138             $this->pushFeedInternal($atom, $sub);
 139         } else {
 140             common_log(LOG_INFO, "No PuSH subscribers for $feed");
 141         }
 142         return true;
 143     }
 144
 145     /**
 146      * Ping external hub about this update.
 147      * The hub will pull the feed and check for new items later.
 148      * Not guaranteed safe in an environment with database replication.
 149      *
 150      * @param string $feed feed topic URI
 151      * @param string $hub PuSH hub URI
 152      * @fixme can consolidate pings for user & group posts
 153      */
 154     function pushFeedExternal($feed, $hub)
 155     {
 156         $client = new HTTPClient();
 157         try {
 158             $data = array('hub.mode' => 'publish',
 159                           'hub.url' => $feed);
 160             $response = $client->post($hub, array(), $data);
 161             if ($response->getStatus() == 204) {
 162                 common_log(LOG_INFO, "PuSH ping to hub $hub for $feed ok");
 163                 return true;
 164             } else {
 165                 common_log(LOG_ERR, "PuSH ping to hub $hub for $feed failed with HTTP " .
 166                                     $response->getStatus() . ': ' .
 167                                     $response->getBody());
 168             }
 169         } catch (Exception $e) {
 170             common_log(LOG_ERR, "PuSH ping to hub $hub for $feed failed: " . $e->getMessage());
 171             return false;
 172         }
 173     }
 174
 175     /**
 176      * Queue up direct feed update pushes to subscribers on our internal hub.
 177      * If there are a large number of subscriber sites, intermediate bulk
 178      * distribution triggers may be queued.
 179      *
 180      * @param string $atom update feed, containing only new/changed items
 181      * @param HubSub $sub open query of subscribers
 182      */
 183     function pushFeedInternal($atom, $sub)
 184     {
 185         common_log(LOG_INFO, "Preparing $sub->N PuSH distribution(s) for $sub->topic");
 186         $n = 0;
 187         $batch = array();
 188         while ($sub->fetch()) {
 189             $n++;
 190             if ($n < self::MAX_UNBATCHED) {
 191                 $sub->distribute($atom);
 192             } else {
 193                 $batch[] = $sub->callback;
 194                 if (count($batch) >= self::BATCH_SIZE) {
 195                     $sub->bulkDistribute($atom, $batch);
 196                     $batch = array();
 197                 }
 198             }
 199         }
 200         if (count($batch) >= 0) {
 201             $sub->bulkDistribute($atom, $batch);
 202         }
 203     }
 204
 205     /**
 206      * Build a single-item version of the sending user's Atom feed.
 207      * @return string
 208      */
 209     function userFeedForNotice()
 210     {
 211         $atom = new AtomUserNoticeFeed($this->user);
 212         $atom->addEntryFromNotice($this->notice);
 213         $feed = $atom->getString();
 214
 215         return $feed;
 216     }
 217
 218     function groupFeedForNotice($group_id)
 219     {
 220         $group = User_group::staticGet('id', $group_id);
 221
 222         $atom = new AtomGroupNoticeFeed($group);
 223         $atom->addEntryFromNotice($this->notice);
 224         $feed = $atom->getString();
 225
 226         return $feed;
 227     }
 228 }