plugins/TwitterBridge/daemons/twitterstatusfetcher.php

   1 #!/usr/bin/env php
   2 <?php
   3 /**
   4  * StatusNet - the distributed open-source microblogging tool
   5  * Copyright (C) 2008-2010, StatusNet, Inc.
   6  *
   7  * This program is free software: you can redistribute it and/or modify
   8  * it under the terms of the GNU Affero General Public License as published by
   9  * the Free Software Foundation, either version 3 of the License, or
  10  * (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.     See the
  15  * GNU Affero General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Affero General Public License
  18  * along with this program.     If not, see <http://www.gnu.org/licenses/>.
  19  */
  20
  21 define('INSTALLDIR', realpath(dirname(__FILE__) . '/../../..'));
  22
  23 // Tune number of processes and how often to poll Twitter
  24 // XXX: Should these things be in config.php?
  25 define('MAXCHILDREN', 2);
  26 define('POLL_INTERVAL', 60); // in seconds
  27
  28 $shortoptions = 'di::';
  29 $longoptions = array('id::', 'debug');
  30
  31 $helptext = <<<END_OF_TRIM_HELP
  32 Batch script for retrieving Twitter messages from foreign service.
  33
  34   -i --id              Identity (default 'generic')
  35   -d --debug           Debug (lots of log output)
  36
  37 END_OF_TRIM_HELP;
  38
  39 require_once INSTALLDIR . '/scripts/commandline.inc';
  40 require_once INSTALLDIR . '/lib/common.php';
  41 require_once INSTALLDIR . '/lib/daemon.php';
  42 require_once INSTALLDIR . '/plugins/TwitterBridge/twitter.php';
  43 require_once INSTALLDIR . '/plugins/TwitterBridge/twitteroauthclient.php';
  44
  45 /**
  46  * Fetch statuses from Twitter
  47  *
  48  * Fetches statuses from Twitter and inserts them as notices
  49  *
  50  * NOTE: an Avatar path MUST be set in config.php for this
  51  * script to work, e.g.:
  52  *     $config['avatar']['path'] = $config['site']['path'] . '/avatar/';
  53  *
  54  * @todo @fixme @gar Fix the above. For some reason $_path is always empty when
  55  * this script is run, so the default avatar path is always set wrong in
  56  * default.php. Therefore it must be set explicitly in config.php. --Z
  57  *
  58  * @category Twitter
  59  * @package  StatusNet
  60  * @author   Zach Copley <zach@status.net>
  61  * @author   Evan Prodromou <evan@status.net>
  62  * @license  http://www.fsf.org/licensing/licenses/agpl-3.0.html GNU Affero General Public License version 3.0
  63  * @link     http://status.net/
  64  */
  65
  66 class TwitterStatusFetcher extends ParallelizingDaemon
  67 {
  68     /**
  69      *  Constructor
  70      *
  71      * @param string  $id           the name/id of this daemon
  72      * @param int     $interval     sleep this long before doing everything again
  73      * @param int     $max_children maximum number of child processes at a time
  74      * @param boolean $debug        debug output flag
  75      *
  76      * @return void
  77      *
  78      **/
  79     function __construct($id = null, $interval = 60,
  80                          $max_children = 2, $debug = null)
  81     {
  82         parent::__construct($id, $interval, $max_children, $debug);
  83     }
  84
  85     /**
  86      * Name of this daemon
  87      *
  88      * @return string Name of the daemon.
  89      */
  90
  91     function name()
  92     {
  93         return ('twitterstatusfetcher.'.$this->_id);
  94     }
  95
  96     /**
  97      * Find all the Twitter foreign links for users who have requested
  98      * importing of their friends' timelines
  99      *
 100      * @return array flinks an array of Foreign_link objects
 101      */
 102
 103     function getObjects()
 104     {
 105         global $_DB_DATAOBJECT;
 106
 107         $flink = new Foreign_link();
 108         $conn = &$flink->getDatabaseConnection();
 109
 110         $flink->service = TWITTER_SERVICE;
 111         $flink->orderBy('last_noticesync');
 112         $flink->find();
 113
 114         $flinks = array();
 115
 116         while ($flink->fetch()) {
 117
 118             if (($flink->noticesync & FOREIGN_NOTICE_RECV) ==
 119                 FOREIGN_NOTICE_RECV) {
 120                 $flinks[] = clone($flink);
 121                 common_log(LOG_INFO, "sync: foreign id $flink->foreign_id");
 122             } else {
 123                 common_log(LOG_INFO, "nothing to sync");
 124             }
 125         }
 126
 127         $flink->free();
 128         unset($flink);
 129
 130         $conn->disconnect();
 131         unset($_DB_DATAOBJECT['CONNECTIONS']);
 132
 133         return $flinks;
 134     }
 135
 136     function childTask($flink) {
 137
 138         // Each child ps needs its own DB connection
 139
 140         // Note: DataObject::getDatabaseConnection() creates
 141         // a new connection if there isn't one already
 142
 143         $conn = &$flink->getDatabaseConnection();
 144
 145         $this->getTimeline($flink);
 146
 147         $flink->last_friendsync = common_sql_now();
 148         $flink->update();
 149
 150         $conn->disconnect();
 151
 152         // XXX: Couldn't find a less brutal way to blow
 153         // away a cached connection
 154
 155         global $_DB_DATAOBJECT;
 156         unset($_DB_DATAOBJECT['CONNECTIONS']);
 157     }
 158
 159     function getTimeline($flink)
 160     {
 161         if (empty($flink)) {
 162             common_log(LOG_WARNING, $this->name() .
 163                        " - Can't retrieve Foreign_link for foreign ID $fid");
 164             return;
 165         }
 166
 167         common_debug($this->name() . ' - Trying to get timeline for Twitter user ' .
 168                      $flink->foreign_id);
 169
 170         // XXX: Biggest remaining issue - How do we know at which status
 171         // to start importing?  How many statuses?  Right now I'm going
 172         // with the default last 20.
 173
 174         $client = null;
 175
 176         if (TwitterOAuthClient::isPackedToken($flink->credentials)) {
 177             $token = TwitterOAuthClient::unpackToken($flink->credentials);
 178             $client = new TwitterOAuthClient($token->key, $token->secret);
 179             common_debug($this->name() . ' - Grabbing friends timeline with OAuth.');
 180         } else {
 181             common_debug("Skipping friends timeline for $flink->foreign_id since not OAuth.");
 182         }
 183
 184         $timeline = null;
 185
 186         try {
 187             $timeline = $client->statusesHomeTimeline();
 188         } catch (Exception $e) {
 189             common_log(LOG_WARNING, $this->name() .
 190                        ' - Twitter client unable to get friends timeline for user ' .
 191                        $flink->user_id . ' - code: ' .
 192                        $e->getCode() . 'msg: ' . $e->getMessage());
 193         }
 194
 195         if (empty($timeline)) {
 196             common_log(LOG_WARNING, $this->name() .  " - Empty timeline.");
 197             return;
 198         }
 199
 200         common_debug(LOG_INFO, $this->name() . ' - Retrieved ' . sizeof($timeline) . ' statuses from Twitter.');
 201
 202         // Reverse to preserve order
 203
 204         foreach (array_reverse($timeline) as $status) {
 205
 206             // Hacktastic: filter out stuff coming from this StatusNet
 207
 208             $source = mb_strtolower(common_config('integration', 'source'));
 209
 210             if (preg_match("/$source/", mb_strtolower($status->source))) {
 211                 common_debug($this->name() . ' - Skipping import of status ' .
 212                              $status->id . ' with source ' . $source);
 213                 continue;
 214             }
 215
 216             // Don't save it if the user is protected
 217             // FIXME: save it but treat it as private
 218
 219             if ($status->user->protected) {
 220                 continue;
 221             }
 222
 223             $notice = $this->saveStatus($status);
 224
 225             if (!empty($notice)) {
 226                 Inbox::insertNotice($flink->user_id, $notice->id);
 227             }
 228         }
 229
 230         // Okay, record the time we synced with Twitter for posterity
 231
 232         $flink->last_noticesync = common_sql_now();
 233         $flink->update();
 234     }
 235
 236     function saveStatus($status)
 237     {
 238         $profile = $this->ensureProfile($status->user);
 239
 240         if (empty($profile)) {
 241             common_log(LOG_ERR, $this->name() .
 242                 ' - Problem saving notice. No associated Profile.');
 243             return null;
 244         }
 245
 246         $statusUri = $this->makeStatusURI($status->user->screen_name, $status->id);
 247
 248         // check to see if we've already imported the status
 249
 250         $n2s = Notice_to_status::staticGet('status_id', $status->id);
 251
 252         if (!empty($n2s)) {
 253             common_log(
 254                 LOG_INFO,
 255                 $this->name() .
 256                 " - Ignoring duplicate import: {$status->id}"
 257             );
 258             return Notice::staticGet('id', $n2s->notice_id);
 259         }
 260
 261         common_debug("Saving status {$status->id} with data " . print_r($status, true));
 262
 263         // If it's a retweet, save it as a repeat!
 264
 265         if (!empty($status->retweeted_status)) {
 266             common_log(LOG_INFO, "Status {$status->id} is a retweet of {$status->retweeted_status->id}.");
 267             $original = $this->saveStatus($status->retweeted_status);
 268             if (empty($original)) {
 269                 return null;
 270             } else {
 271                 $author = $original->getProfile();
 272                 // TRANS: Message used to repeat a notice. RT is the abbreviation of 'retweet'.
 273                 // TRANS: %1$s is the repeated user's name, %2$s is the repeated notice.
 274                 $content = sprintf(_('RT @%1$s %2$s'),
 275                                    $author->nickname,
 276                                    $original->content);
 277                 $repeat = Notice::saveNew($profile->id,
 278                                           $content,
 279                                           'twitter',
 280                                           array('repeat_of' => $original->id,
 281                                                 'uri' => $statusUri,
 282                                                 'is_local' => Notice::GATEWAY));
 283                 common_log(LOG_INFO, "Saved {$repeat->id} as a repeat of {$original->id}");
 284                 Notice_to_status::saveNew($repeat->id, $status->id);
 285                 return $repeat;
 286             }
 287         }
 288
 289         $notice = new Notice();
 290
 291         $notice->profile_id = $profile->id;
 292         $notice->uri        = $statusUri;
 293         $notice->url        = $statusUri;
 294         $notice->created    = strftime(
 295             '%Y-%m-%d %H:%M:%S',
 296             strtotime($status->created_at)
 297         );
 298
 299         $notice->source     = 'twitter';
 300
 301         $notice->reply_to   = null;
 302
 303         if (!empty($status->in_reply_to_status_id)) {
 304             common_log(LOG_INFO, "Status {$status->id} is a reply to status {$status->in_reply_to_status_id}");
 305             $n2s = Notice_to_status::staticGet('status_id', $status->in_reply_to_status_id);
 306             if (empty($n2s)) {
 307                 common_log(LOG_INFO, "Couldn't find local notice for status {$status->in_reply_to_status_id}");
 308             } else {
 309                 $reply = Notice::staticGet('id', $n2s->notice_id);
 310                 if (empty($reply)) {
 311                     common_log(LOG_INFO, "Couldn't find local notice for status {$status->in_reply_to_status_id}");
 312                 } else {
 313                     common_log(LOG_INFO, "Found local notice {$reply->id} for status {$status->in_reply_to_status_id}");
 314                     $notice->reply_to     = $reply->id;
 315                     $notice->conversation = $reply->conversation;
 316                 }
 317             }
 318         }
 319
 320         if (empty($notice->conversation)) {
 321             $conv = Conversation::create();
 322             $notice->conversation = $conv->id;
 323             common_log(LOG_INFO, "No known conversation for status {$status->id} so making a new one {$conv->id}.");
 324         }
 325
 326         $notice->is_local   = Notice::GATEWAY;
 327
 328         $notice->content    = common_shorten_links($status->text);
 329         $notice->rendered   = common_render_content(
 330             $notice->content,
 331             $notice
 332         );
 333
 334         if (Event::handle('StartNoticeSave', array(&$notice))) {
 335
 336             $id = $notice->insert();
 337
 338             if (!$id) {
 339                 common_log_db_error($notice, 'INSERT', __FILE__);
 340                 common_log(LOG_ERR, $this->name() .
 341                     ' - Problem saving notice.');
 342             }
 343
 344             Event::handle('EndNoticeSave', array($notice));
 345         }
 346
 347         Notice_to_status::saveNew($notice->id, $status->id);
 348         $notice->blowOnInsert();
 349
 350         return $notice;
 351     }
 352
 353     /**
 354      * Make an URI for a status.
 355      *
 356      * @param object $status status object
 357      *
 358      * @return string URI
 359      */
 360
 361     function makeStatusURI($username, $id)
 362     {
 363         return 'http://twitter.com/'
 364           . $username
 365           . '/status/'
 366           . $id;
 367     }
 368
 369     /**
 370      * Look up a Profile by profileurl field.  Profile::staticGet() was
 371      * not working consistently.
 372      *
 373      * @param string $nickname   local nickname of the Twitter user
 374      * @param string $profileurl the profile url
 375      *
 376      * @return mixed value the first Profile with that url, or null
 377      */
 378
 379     function getProfileByUrl($nickname, $profileurl)
 380     {
 381         $profile = new Profile();
 382         $profile->nickname = $nickname;
 383         $profile->profileurl = $profileurl;
 384         $profile->limit(1);
 385
 386         if ($profile->find()) {
 387             $profile->fetch();
 388             return $profile;
 389         }
 390
 391         return null;
 392     }
 393
 394     /**
 395      * Check to see if this Twitter status has already been imported
 396      *
 397      * @param Profile $profile   Twitter user's local profile
 398      * @param string  $statusUri URI of the status on Twitter
 399      *
 400      * @return mixed value a matching Notice or null
 401      */
 402
 403     function checkDupe($profile, $statusUri)
 404     {
 405         $notice = new Notice();
 406         $notice->uri = $statusUri;
 407         $notice->profile_id = $profile->id;
 408         $notice->limit(1);
 409
 410         if ($notice->find()) {
 411             $notice->fetch();
 412             return $notice;
 413         }
 414
 415         return null;
 416     }
 417
 418     function ensureProfile($user)
 419     {
 420         // check to see if there's already a profile for this user
 421
 422         $profileurl = 'http://twitter.com/' . $user->screen_name;
 423         $profile = $this->getProfileByUrl($user->screen_name, $profileurl);
 424
 425         if (!empty($profile)) {
 426             common_debug($this->name() .
 427                          " - Profile for $profile->nickname found.");
 428
 429             // Check to see if the user's Avatar has changed
 430
 431             $this->checkAvatar($user, $profile);
 432             return $profile;
 433
 434         } else {
 435
 436             common_debug($this->name() . ' - Adding profile and remote profile ' .
 437                          "for Twitter user: $profileurl.");
 438
 439             $profile = new Profile();
 440             $profile->query("BEGIN");
 441
 442             $profile->nickname = $user->screen_name;
 443             $profile->fullname = $user->name;
 444             $profile->homepage = $user->url;
 445             $profile->bio = $user->description;
 446             $profile->location = $user->location;
 447             $profile->profileurl = $profileurl;
 448             $profile->created = common_sql_now();
 449
 450             try {
 451                 $id = $profile->insert();
 452             } catch(Exception $e) {
 453                 common_log(LOG_WARNING, $this->name . ' Couldn\'t insert profile - ' . $e->getMessage());
 454             }
 455
 456             if (empty($id)) {
 457                 common_log_db_error($profile, 'INSERT', __FILE__);
 458                 $profile->query("ROLLBACK");
 459                 return false;
 460             }
 461
 462             // check for remote profile
 463
 464             $remote_pro = Remote_profile::staticGet('uri', $profileurl);
 465
 466             if (empty($remote_pro)) {
 467
 468                 $remote_pro = new Remote_profile();
 469
 470                 $remote_pro->id = $id;
 471                 $remote_pro->uri = $profileurl;
 472                 $remote_pro->created = common_sql_now();
 473
 474                 try {
 475                     $rid = $remote_pro->insert();
 476                 } catch (Exception $e) {
 477                     common_log(LOG_WARNING, $this->name() . ' Couldn\'t save remote profile - ' . $e->getMessage());
 478                 }
 479
 480                 if (empty($rid)) {
 481                     common_log_db_error($profile, 'INSERT', __FILE__);
 482                     $profile->query("ROLLBACK");
 483                     return false;
 484                 }
 485             }
 486
 487             $profile->query("COMMIT");
 488
 489             $this->saveAvatars($user, $id);
 490
 491             return $profile;
 492         }
 493     }
 494
 495     function checkAvatar($twitter_user, $profile)
 496     {
 497         global $config;
 498
 499         $path_parts = pathinfo($twitter_user->profile_image_url);
 500
 501         $newname = 'Twitter_' . $twitter_user->id . '_' .
 502             $path_parts['basename'];
 503
 504         $oldname = $profile->getAvatar(48)->filename;
 505
 506         if ($newname != $oldname) {
 507             common_debug($this->name() . ' - Avatar for Twitter user ' .
 508                          "$profile->nickname has changed.");
 509             common_debug($this->name() . " - old: $oldname new: $newname");
 510
 511             $this->updateAvatars($twitter_user, $profile);
 512         }
 513
 514         if ($this->missingAvatarFile($profile)) {
 515             common_debug($this->name() . ' - Twitter user ' .
 516                          $profile->nickname .
 517                          ' is missing one or more local avatars.');
 518             common_debug($this->name() ." - old: $oldname new: $newname");
 519
 520             $this->updateAvatars($twitter_user, $profile);
 521         }
 522     }
 523
 524     function updateAvatars($twitter_user, $profile) {
 525
 526         global $config;
 527
 528         $path_parts = pathinfo($twitter_user->profile_image_url);
 529
 530         $img_root = substr($path_parts['basename'], 0, -11);
 531         $ext = $path_parts['extension'];
 532         $mediatype = $this->getMediatype($ext);
 533
 534         foreach (array('mini', 'normal', 'bigger') as $size) {
 535             $url = $path_parts['dirname'] . '/' .
 536                 $img_root . '_' . $size . ".$ext";
 537             $filename = 'Twitter_' . $twitter_user->id . '_' .
 538                 $img_root . "_$size.$ext";
 539
 540             $this->updateAvatar($profile->id, $size, $mediatype, $filename);
 541             $this->fetchAvatar($url, $filename);
 542         }
 543     }
 544
 545     function missingAvatarFile($profile) {
 546         foreach (array(24, 48, 73) as $size) {
 547             $filename = $profile->getAvatar($size)->filename;
 548             $avatarpath = Avatar::path($filename);
 549             if (file_exists($avatarpath) == FALSE) {
 550                 return true;
 551             }
 552         }
 553         return false;
 554     }
 555
 556     function getMediatype($ext)
 557     {
 558         $mediatype = null;
 559
 560         switch (strtolower($ext)) {
 561         case 'jpg':
 562             $mediatype = 'image/jpg';
 563             break;
 564         case 'gif':
 565             $mediatype = 'image/gif';
 566             break;
 567         default:
 568             $mediatype = 'image/png';
 569         }
 570
 571         return $mediatype;
 572     }
 573
 574     function saveAvatars($user, $id)
 575     {
 576         global $config;
 577
 578         $path_parts = pathinfo($user->profile_image_url);
 579         $ext = $path_parts['extension'];
 580         $end = strlen('_normal' . $ext);
 581         $img_root = substr($path_parts['basename'], 0, -($end+1));
 582         $mediatype = $this->getMediatype($ext);
 583
 584         foreach (array('mini', 'normal', 'bigger') as $size) {
 585             $url = $path_parts['dirname'] . '/' .
 586                 $img_root . '_' . $size . ".$ext";
 587             $filename = 'Twitter_' . $user->id . '_' .
 588                 $img_root . "_$size.$ext";
 589
 590             if ($this->fetchAvatar($url, $filename)) {
 591                 $this->newAvatar($id, $size, $mediatype, $filename);
 592             } else {
 593                 common_log(LOG_WARNING, $id() .
 594                            " - Problem fetching Avatar: $url");
 595             }
 596         }
 597     }
 598
 599     function updateAvatar($profile_id, $size, $mediatype, $filename) {
 600
 601         common_debug($this->name() . " - Updating avatar: $size");
 602
 603         $profile = Profile::staticGet($profile_id);
 604
 605         if (empty($profile)) {
 606             common_debug($this->name() . " - Couldn't get profile: $profile_id!");
 607             return;
 608         }
 609
 610         $sizes = array('mini' => 24, 'normal' => 48, 'bigger' => 73);
 611         $avatar = $profile->getAvatar($sizes[$size]);
 612
 613         // Delete the avatar, if present
 614
 615         if ($avatar) {
 616             $avatar->delete();
 617         }
 618
 619         $this->newAvatar($profile->id, $size, $mediatype, $filename);
 620     }
 621
 622     function newAvatar($profile_id, $size, $mediatype, $filename)
 623     {
 624         global $config;
 625
 626         $avatar = new Avatar();
 627         $avatar->profile_id = $profile_id;
 628
 629         switch($size) {
 630         case 'mini':
 631             $avatar->width  = 24;
 632             $avatar->height = 24;
 633             break;
 634         case 'normal':
 635             $avatar->width  = 48;
 636             $avatar->height = 48;
 637             break;
 638         default:
 639
 640             // Note: Twitter's big avatars are a different size than
 641             // StatusNet's (StatusNet's = 96)
 642
 643             $avatar->width  = 73;
 644             $avatar->height = 73;
 645         }
 646
 647         $avatar->original = 0; // we don't have the original
 648         $avatar->mediatype = $mediatype;
 649         $avatar->filename = $filename;
 650         $avatar->url = Avatar::url($filename);
 651
 652         $avatar->created = common_sql_now();
 653
 654         try {
 655             $id = $avatar->insert();
 656         } catch (Exception $e) {
 657             common_log(LOG_WARNING, $this->name() . ' Couldn\'t insert avatar - ' . $e->getMessage());
 658         }
 659
 660         if (empty($id)) {
 661             common_log_db_error($avatar, 'INSERT', __FILE__);
 662             return null;
 663         }
 664
 665         common_debug($this->name() .
 666                      " - Saved new $size avatar for $profile_id.");
 667
 668         return $id;
 669     }
 670
 671     /**
 672      * Fetch a remote avatar image and save to local storage.
 673      *
 674      * @param string $url avatar source URL
 675      * @param string $filename bare local filename for download
 676      * @return bool true on success, false on failure
 677      */
 678     function fetchAvatar($url, $filename)
 679     {
 680         common_debug($this->name() . " - Fetching Twitter avatar: $url");
 681
 682         $request = HTTPClient::start();
 683         $response = $request->get($url);
 684         if ($response->isOk()) {
 685             $avatarfile = Avatar::path($filename);
 686             $ok = file_put_contents($avatarfile, $response->getBody());
 687             if (!$ok) {
 688                 common_log(LOG_WARNING, $this->name() .
 689                            " - Couldn't open file $filename");
 690                 return false;
 691             }
 692         } else {
 693             return false;
 694         }
 695
 696         return true;
 697     }
 698 }
 699
 700 $id    = null;
 701 $debug = null;
 702
 703 if (have_option('i')) {
 704     $id = get_option_value('i');
 705 } else if (have_option('--id')) {
 706     $id = get_option_value('--id');
 707 } else if (count($args) > 0) {
 708     $id = $args[0];
 709 } else {
 710     $id = null;
 711 }
 712
 713 if (have_option('d') || have_option('debug')) {
 714     $debug = true;
 715 }
 716
 717 $fetcher = new TwitterStatusFetcher($id, 60, 2, $debug);
 718 $fetcher->runOnce();
 719