]> git.mxchange.org Git - quix0rs-gnu-social.git/blob - plugins/TwitterBridge/daemons/twitterstatusfetcher.php
add back in # and @ for links
[quix0rs-gnu-social.git] / plugins / TwitterBridge / daemons / twitterstatusfetcher.php
1 #!/usr/bin/env php
2 <?php
3 /**
4  * StatusNet - the distributed open-source microblogging tool
5  * Copyright (C) 2008-2010, StatusNet, Inc.
6  *
7  * This program is free software: you can redistribute it and/or modify
8  * it under the terms of the GNU Affero General Public License as published by
9  * the Free Software Foundation, either version 3 of the License, or
10  * (at your option) any later version.
11  *
12  * This program is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.     See the
15  * GNU Affero General Public License for more details.
16  *
17  * You should have received a copy of the GNU Affero General Public License
18  * along with this program.     If not, see <http://www.gnu.org/licenses/>.
19  */
20
21 define('INSTALLDIR', realpath(dirname(__FILE__) . '/../../..'));
22
23 // Tune number of processes and how often to poll Twitter
24 // XXX: Should these things be in config.php?
25 define('MAXCHILDREN', 2);
26 define('POLL_INTERVAL', 60); // in seconds
27
28 $shortoptions = 'di::';
29 $longoptions = array('id::', 'debug');
30
31 $helptext = <<<END_OF_TRIM_HELP
32 Batch script for retrieving Twitter messages from foreign service.
33
34   -i --id              Identity (default 'generic')
35   -d --debug           Debug (lots of log output)
36
37 END_OF_TRIM_HELP;
38
39 require_once INSTALLDIR . '/scripts/commandline.inc';
40 require_once INSTALLDIR . '/lib/common.php';
41 require_once INSTALLDIR . '/lib/daemon.php';
42 require_once INSTALLDIR . '/plugins/TwitterBridge/twitter.php';
43 require_once INSTALLDIR . '/plugins/TwitterBridge/twitteroauthclient.php';
44
45 /**
46  * Fetch statuses from Twitter
47  *
48  * Fetches statuses from Twitter and inserts them as notices
49  *
50  * NOTE: an Avatar path MUST be set in config.php for this
51  * script to work, e.g.:
52  *     $config['avatar']['path'] = $config['site']['path'] . '/avatar/';
53  *
54  * @todo @fixme @gar Fix the above. For some reason $_path is always empty when
55  * this script is run, so the default avatar path is always set wrong in
56  * default.php. Therefore it must be set explicitly in config.php. --Z
57  *
58  * @category Twitter
59  * @package  StatusNet
60  * @author   Zach Copley <zach@status.net>
61  * @author   Evan Prodromou <evan@status.net>
62  * @license  http://www.fsf.org/licensing/licenses/agpl-3.0.html GNU Affero General Public License version 3.0
63  * @link     http://status.net/
64  */
65
66 class TwitterStatusFetcher extends ParallelizingDaemon
67 {
68     /**
69      *  Constructor
70      *
71      * @param string  $id           the name/id of this daemon
72      * @param int     $interval     sleep this long before doing everything again
73      * @param int     $max_children maximum number of child processes at a time
74      * @param boolean $debug        debug output flag
75      *
76      * @return void
77      *
78      **/
79     function __construct($id = null, $interval = 60,
80                          $max_children = 2, $debug = null)
81     {
82         parent::__construct($id, $interval, $max_children, $debug);
83     }
84
85     /**
86      * Name of this daemon
87      *
88      * @return string Name of the daemon.
89      */
90
91     function name()
92     {
93         return ('twitterstatusfetcher.'.$this->_id);
94     }
95
96     /**
97      * Find all the Twitter foreign links for users who have requested
98      * importing of their friends' timelines
99      *
100      * @return array flinks an array of Foreign_link objects
101      */
102
103     function getObjects()
104     {
105         global $_DB_DATAOBJECT;
106
107         $flink = new Foreign_link();
108         $conn = &$flink->getDatabaseConnection();
109
110         $flink->service = TWITTER_SERVICE;
111         $flink->orderBy('last_noticesync');
112         $flink->find();
113
114         $flinks = array();
115
116         while ($flink->fetch()) {
117
118             if (($flink->noticesync & FOREIGN_NOTICE_RECV) ==
119                 FOREIGN_NOTICE_RECV) {
120                 $flinks[] = clone($flink);
121                 common_log(LOG_INFO, "sync: foreign id $flink->foreign_id");
122             } else {
123                 common_log(LOG_INFO, "nothing to sync");
124             }
125         }
126
127         $flink->free();
128         unset($flink);
129
130         $conn->disconnect();
131         unset($_DB_DATAOBJECT['CONNECTIONS']);
132
133         return $flinks;
134     }
135
136     function childTask($flink) {
137
138         // Each child ps needs its own DB connection
139
140         // Note: DataObject::getDatabaseConnection() creates
141         // a new connection if there isn't one already
142
143         $conn = &$flink->getDatabaseConnection();
144
145         $this->getTimeline($flink);
146
147         $flink->last_friendsync = common_sql_now();
148         $flink->update();
149
150         $conn->disconnect();
151
152         // XXX: Couldn't find a less brutal way to blow
153         // away a cached connection
154
155         global $_DB_DATAOBJECT;
156         unset($_DB_DATAOBJECT['CONNECTIONS']);
157     }
158
159     function getTimeline($flink)
160     {
161         if (empty($flink)) {
162             common_log(LOG_WARNING, $this->name() .
163                        " - Can't retrieve Foreign_link for foreign ID $fid");
164             return;
165         }
166
167         common_debug($this->name() . ' - Trying to get timeline for Twitter user ' .
168                      $flink->foreign_id);
169
170         // XXX: Biggest remaining issue - How do we know at which status
171         // to start importing?  How many statuses?  Right now I'm going
172         // with the default last 20.
173
174         $client = null;
175
176         if (TwitterOAuthClient::isPackedToken($flink->credentials)) {
177             $token = TwitterOAuthClient::unpackToken($flink->credentials);
178             $client = new TwitterOAuthClient($token->key, $token->secret);
179             common_debug($this->name() . ' - Grabbing friends timeline with OAuth.');
180         } else {
181             common_debug("Skipping friends timeline for $flink->foreign_id since not OAuth.");
182         }
183
184         $timeline = null;
185
186         try {
187             $timeline = $client->statusesHomeTimeline();
188         } catch (Exception $e) {
189             common_log(LOG_WARNING, $this->name() .
190                        ' - Twitter client unable to get friends timeline for user ' .
191                        $flink->user_id . ' - code: ' .
192                        $e->getCode() . 'msg: ' . $e->getMessage());
193         }
194
195         if (empty($timeline)) {
196             common_log(LOG_WARNING, $this->name() .  " - Empty timeline.");
197             return;
198         }
199
200         common_debug(LOG_INFO, $this->name() . ' - Retrieved ' . sizeof($timeline) . ' statuses from Twitter.');
201
202         // Reverse to preserve order
203
204         foreach (array_reverse($timeline) as $status) {
205
206             // Hacktastic: filter out stuff coming from this StatusNet
207
208             $source = mb_strtolower(common_config('integration', 'source'));
209
210             if (preg_match("/$source/", mb_strtolower($status->source))) {
211                 common_debug($this->name() . ' - Skipping import of status ' .
212                              $status->id . ' with source ' . $source);
213                 continue;
214             }
215
216             // Don't save it if the user is protected
217             // FIXME: save it but treat it as private
218
219             if ($status->user->protected) {
220                 continue;
221             }
222
223             $notice = $this->saveStatus($status);
224
225             if (!empty($notice)) {
226                 Inbox::insertNotice($flink->user_id, $notice->id);
227             }
228         }
229
230         // Okay, record the time we synced with Twitter for posterity
231
232         $flink->last_noticesync = common_sql_now();
233         $flink->update();
234     }
235
236     function saveStatus($status)
237     {
238         $profile = $this->ensureProfile($status->user);
239
240         if (empty($profile)) {
241             common_log(LOG_ERR, $this->name() .
242                 ' - Problem saving notice. No associated Profile.');
243             return null;
244         }
245
246         $statusUri = $this->makeStatusURI($status->user->screen_name, $status->id);
247
248         // check to see if we've already imported the status
249
250         $n2s = Notice_to_status::staticGet('status_id', $status->id);
251
252         if (!empty($n2s)) {
253             common_log(
254                 LOG_INFO,
255                 $this->name() .
256                 " - Ignoring duplicate import: {$status->id}"
257             );
258             return Notice::staticGet('id', $n2s->notice_id);
259         }
260
261         common_debug("Saving status {$status->id} with data " . print_r($status, true));
262
263         // If it's a retweet, save it as a repeat!
264
265         if (!empty($status->retweeted_status)) {
266             common_log(LOG_INFO, "Status {$status->id} is a retweet of {$status->retweeted_status->id}.");
267             $original = $this->saveStatus($status->retweeted_status);
268             if (empty($original)) {
269                 return null;
270             } else {
271                 $author = $original->getProfile();
272                 // TRANS: Message used to repeat a notice. RT is the abbreviation of 'retweet'.
273                 // TRANS: %1$s is the repeated user's name, %2$s is the repeated notice.
274                 $content = sprintf(_('RT @%1$s %2$s'),
275                                    $author->nickname,
276                                    $original->content);
277
278                 if (Notice::contentTooLong($content)) {
279                     $contentlimit = Notice::maxContent();
280                     $content = mb_substr($content, 0, $contentlimit - 4) . ' ...';
281                 }
282
283                 $repeat = Notice::saveNew($profile->id,
284                                           $content,
285                                           'twitter',
286                                           array('repeat_of' => $original->id,
287                                                 'uri' => $statusUri,
288                                                 'is_local' => Notice::GATEWAY));
289                 common_log(LOG_INFO, "Saved {$repeat->id} as a repeat of {$original->id}");
290                 Notice_to_status::saveNew($repeat->id, $status->id);
291                 return $repeat;
292             }
293         }
294
295         $notice = new Notice();
296
297         $notice->profile_id = $profile->id;
298         $notice->uri        = $statusUri;
299         $notice->url        = $statusUri;
300         $notice->created    = strftime(
301             '%Y-%m-%d %H:%M:%S',
302             strtotime($status->created_at)
303         );
304
305         $notice->source     = 'twitter';
306
307         $notice->reply_to   = null;
308
309         if (!empty($status->in_reply_to_status_id)) {
310             common_log(LOG_INFO, "Status {$status->id} is a reply to status {$status->in_reply_to_status_id}");
311             $n2s = Notice_to_status::staticGet('status_id', $status->in_reply_to_status_id);
312             if (empty($n2s)) {
313                 common_log(LOG_INFO, "Couldn't find local notice for status {$status->in_reply_to_status_id}");
314             } else {
315                 $reply = Notice::staticGet('id', $n2s->notice_id);
316                 if (empty($reply)) {
317                     common_log(LOG_INFO, "Couldn't find local notice for status {$status->in_reply_to_status_id}");
318                 } else {
319                     common_log(LOG_INFO, "Found local notice {$reply->id} for status {$status->in_reply_to_status_id}");
320                     $notice->reply_to     = $reply->id;
321                     $notice->conversation = $reply->conversation;
322                 }
323             }
324         }
325
326         if (empty($notice->conversation)) {
327             $conv = Conversation::create();
328             $notice->conversation = $conv->id;
329             common_log(LOG_INFO, "No known conversation for status {$status->id} so making a new one {$conv->id}.");
330         }
331
332         $notice->is_local   = Notice::GATEWAY;
333
334         $notice->content  = html_entity_decode($status->text);
335         $notice->rendered = $this->linkify($status);
336
337         if (Event::handle('StartNoticeSave', array(&$notice))) {
338
339             $id = $notice->insert();
340
341             if (!$id) {
342                 common_log_db_error($notice, 'INSERT', __FILE__);
343                 common_log(LOG_ERR, $this->name() .
344                     ' - Problem saving notice.');
345             }
346
347             Event::handle('EndNoticeSave', array($notice));
348         }
349
350         Notice_to_status::saveNew($notice->id, $status->id);
351         $notice->blowOnInsert();
352
353         return $notice;
354     }
355
356     /**
357      * Make an URI for a status.
358      *
359      * @param object $status status object
360      *
361      * @return string URI
362      */
363
364     function makeStatusURI($username, $id)
365     {
366         return 'http://twitter.com/'
367           . $username
368           . '/status/'
369           . $id;
370     }
371
372     /**
373      * Look up a Profile by profileurl field.  Profile::staticGet() was
374      * not working consistently.
375      *
376      * @param string $nickname   local nickname of the Twitter user
377      * @param string $profileurl the profile url
378      *
379      * @return mixed value the first Profile with that url, or null
380      */
381
382     function getProfileByUrl($nickname, $profileurl)
383     {
384         $profile = new Profile();
385         $profile->nickname = $nickname;
386         $profile->profileurl = $profileurl;
387         $profile->limit(1);
388
389         if ($profile->find()) {
390             $profile->fetch();
391             return $profile;
392         }
393
394         return null;
395     }
396
397     /**
398      * Check to see if this Twitter status has already been imported
399      *
400      * @param Profile $profile   Twitter user's local profile
401      * @param string  $statusUri URI of the status on Twitter
402      *
403      * @return mixed value a matching Notice or null
404      */
405
406     function checkDupe($profile, $statusUri)
407     {
408         $notice = new Notice();
409         $notice->uri = $statusUri;
410         $notice->profile_id = $profile->id;
411         $notice->limit(1);
412
413         if ($notice->find()) {
414             $notice->fetch();
415             return $notice;
416         }
417
418         return null;
419     }
420
421     function ensureProfile($user)
422     {
423         // check to see if there's already a profile for this user
424
425         $profileurl = 'http://twitter.com/' . $user->screen_name;
426         $profile = $this->getProfileByUrl($user->screen_name, $profileurl);
427
428         if (!empty($profile)) {
429             common_debug($this->name() .
430                          " - Profile for $profile->nickname found.");
431
432             // Check to see if the user's Avatar has changed
433
434             $this->checkAvatar($user, $profile);
435             return $profile;
436
437         } else {
438
439             common_debug($this->name() . ' - Adding profile and remote profile ' .
440                          "for Twitter user: $profileurl.");
441
442             $profile = new Profile();
443             $profile->query("BEGIN");
444
445             $profile->nickname = $user->screen_name;
446             $profile->fullname = $user->name;
447             $profile->homepage = $user->url;
448             $profile->bio = $user->description;
449             $profile->location = $user->location;
450             $profile->profileurl = $profileurl;
451             $profile->created = common_sql_now();
452
453             try {
454                 $id = $profile->insert();
455             } catch(Exception $e) {
456                 common_log(LOG_WARNING, $this->name . ' Couldn\'t insert profile - ' . $e->getMessage());
457             }
458
459             if (empty($id)) {
460                 common_log_db_error($profile, 'INSERT', __FILE__);
461                 $profile->query("ROLLBACK");
462                 return false;
463             }
464
465             // check for remote profile
466
467             $remote_pro = Remote_profile::staticGet('uri', $profileurl);
468
469             if (empty($remote_pro)) {
470
471                 $remote_pro = new Remote_profile();
472
473                 $remote_pro->id = $id;
474                 $remote_pro->uri = $profileurl;
475                 $remote_pro->created = common_sql_now();
476
477                 try {
478                     $rid = $remote_pro->insert();
479                 } catch (Exception $e) {
480                     common_log(LOG_WARNING, $this->name() . ' Couldn\'t save remote profile - ' . $e->getMessage());
481                 }
482
483                 if (empty($rid)) {
484                     common_log_db_error($profile, 'INSERT', __FILE__);
485                     $profile->query("ROLLBACK");
486                     return false;
487                 }
488             }
489
490             $profile->query("COMMIT");
491
492             $this->saveAvatars($user, $id);
493
494             return $profile;
495         }
496     }
497
498     function checkAvatar($twitter_user, $profile)
499     {
500         global $config;
501
502         $path_parts = pathinfo($twitter_user->profile_image_url);
503
504         $newname = 'Twitter_' . $twitter_user->id . '_' .
505             $path_parts['basename'];
506
507         $oldname = $profile->getAvatar(48)->filename;
508
509         if ($newname != $oldname) {
510             common_debug($this->name() . ' - Avatar for Twitter user ' .
511                          "$profile->nickname has changed.");
512             common_debug($this->name() . " - old: $oldname new: $newname");
513
514             $this->updateAvatars($twitter_user, $profile);
515         }
516
517         if ($this->missingAvatarFile($profile)) {
518             common_debug($this->name() . ' - Twitter user ' .
519                          $profile->nickname .
520                          ' is missing one or more local avatars.');
521             common_debug($this->name() ." - old: $oldname new: $newname");
522
523             $this->updateAvatars($twitter_user, $profile);
524         }
525     }
526
527     function updateAvatars($twitter_user, $profile) {
528
529         global $config;
530
531         $path_parts = pathinfo($twitter_user->profile_image_url);
532
533         $img_root = substr($path_parts['basename'], 0, -11);
534         $ext = $path_parts['extension'];
535         $mediatype = $this->getMediatype($ext);
536
537         foreach (array('mini', 'normal', 'bigger') as $size) {
538             $url = $path_parts['dirname'] . '/' .
539                 $img_root . '_' . $size . ".$ext";
540             $filename = 'Twitter_' . $twitter_user->id . '_' .
541                 $img_root . "_$size.$ext";
542
543             $this->updateAvatar($profile->id, $size, $mediatype, $filename);
544             $this->fetchAvatar($url, $filename);
545         }
546     }
547
548     function missingAvatarFile($profile) {
549         foreach (array(24, 48, 73) as $size) {
550             $filename = $profile->getAvatar($size)->filename;
551             $avatarpath = Avatar::path($filename);
552             if (file_exists($avatarpath) == FALSE) {
553                 return true;
554             }
555         }
556         return false;
557     }
558
559     function getMediatype($ext)
560     {
561         $mediatype = null;
562
563         switch (strtolower($ext)) {
564         case 'jpg':
565             $mediatype = 'image/jpg';
566             break;
567         case 'gif':
568             $mediatype = 'image/gif';
569             break;
570         default:
571             $mediatype = 'image/png';
572         }
573
574         return $mediatype;
575     }
576
577     function saveAvatars($user, $id)
578     {
579         global $config;
580
581         $path_parts = pathinfo($user->profile_image_url);
582         $ext = $path_parts['extension'];
583         $end = strlen('_normal' . $ext);
584         $img_root = substr($path_parts['basename'], 0, -($end+1));
585         $mediatype = $this->getMediatype($ext);
586
587         foreach (array('mini', 'normal', 'bigger') as $size) {
588             $url = $path_parts['dirname'] . '/' .
589                 $img_root . '_' . $size . ".$ext";
590             $filename = 'Twitter_' . $user->id . '_' .
591                 $img_root . "_$size.$ext";
592
593             if ($this->fetchAvatar($url, $filename)) {
594                 $this->newAvatar($id, $size, $mediatype, $filename);
595             } else {
596                 common_log(LOG_WARNING, $id() .
597                            " - Problem fetching Avatar: $url");
598             }
599         }
600     }
601
602     function updateAvatar($profile_id, $size, $mediatype, $filename) {
603
604         common_debug($this->name() . " - Updating avatar: $size");
605
606         $profile = Profile::staticGet($profile_id);
607
608         if (empty($profile)) {
609             common_debug($this->name() . " - Couldn't get profile: $profile_id!");
610             return;
611         }
612
613         $sizes = array('mini' => 24, 'normal' => 48, 'bigger' => 73);
614         $avatar = $profile->getAvatar($sizes[$size]);
615
616         // Delete the avatar, if present
617
618         if ($avatar) {
619             $avatar->delete();
620         }
621
622         $this->newAvatar($profile->id, $size, $mediatype, $filename);
623     }
624
625     function newAvatar($profile_id, $size, $mediatype, $filename)
626     {
627         global $config;
628
629         $avatar = new Avatar();
630         $avatar->profile_id = $profile_id;
631
632         switch($size) {
633         case 'mini':
634             $avatar->width  = 24;
635             $avatar->height = 24;
636             break;
637         case 'normal':
638             $avatar->width  = 48;
639             $avatar->height = 48;
640             break;
641         default:
642
643             // Note: Twitter's big avatars are a different size than
644             // StatusNet's (StatusNet's = 96)
645
646             $avatar->width  = 73;
647             $avatar->height = 73;
648         }
649
650         $avatar->original = 0; // we don't have the original
651         $avatar->mediatype = $mediatype;
652         $avatar->filename = $filename;
653         $avatar->url = Avatar::url($filename);
654
655         $avatar->created = common_sql_now();
656
657         try {
658             $id = $avatar->insert();
659         } catch (Exception $e) {
660             common_log(LOG_WARNING, $this->name() . ' Couldn\'t insert avatar - ' . $e->getMessage());
661         }
662
663         if (empty($id)) {
664             common_log_db_error($avatar, 'INSERT', __FILE__);
665             return null;
666         }
667
668         common_debug($this->name() .
669                      " - Saved new $size avatar for $profile_id.");
670
671         return $id;
672     }
673
674     /**
675      * Fetch a remote avatar image and save to local storage.
676      *
677      * @param string $url avatar source URL
678      * @param string $filename bare local filename for download
679      * @return bool true on success, false on failure
680      */
681     function fetchAvatar($url, $filename)
682     {
683         common_debug($this->name() . " - Fetching Twitter avatar: $url");
684
685         $request = HTTPClient::start();
686         $response = $request->get($url);
687         if ($response->isOk()) {
688             $avatarfile = Avatar::path($filename);
689             $ok = file_put_contents($avatarfile, $response->getBody());
690             if (!$ok) {
691                 common_log(LOG_WARNING, $this->name() .
692                            " - Couldn't open file $filename");
693                 return false;
694             }
695         } else {
696             return false;
697         }
698
699         return true;
700     }
701
702     const URL = 1;
703     const HASHTAG = 2;
704     const MENTION = 3;
705
706     function linkify($status)
707     {
708         $text = $status->text;
709
710         if (empty($status->entities)) {
711             return $text;
712         }
713
714         // Move all the entities into order so we can
715         // replace them in reverse order and thus
716         // not mess up their indices
717
718         $toReplace = array();
719
720         if (!empty($status->entities->urls)) {
721             foreach ($status->entities->urls as $url) {
722                 $toReplace[$url->indices[0]] = array(self::URL, $url);
723             }
724         }
725
726         if (!empty($status->entities->hashtags)) {
727             foreach ($status->entities->hashtags as $hashtag) {
728                 $toReplace[$hashtag->indices[0]] = array(self::HASHTAG, $hashtag);
729             }
730         }
731
732         if (!empty($status->entities->user_mentions)) {
733             foreach ($status->entities->user_mentions as $mention) {
734                 $toReplace[$mention->indices[0]] = array(self::MENTION, $mention);
735             }
736         }
737
738         // sort in reverse order by key
739
740         krsort($toReplace);
741
742         foreach ($toReplace as $part) {
743             list($type, $object) = $part;
744             switch($type) {
745             case self::URL:
746                 $linkText = $this->makeUrlLink($object);
747                 break;
748             case self::HASHTAG:
749                 $linkText = $this->makeHashtagLink($object);
750                 break;
751             case self::MENTION:
752                 $linkText = $this->makeMentionLink($object);
753                 break;
754             default:
755                 continue;
756             }
757             $text = substr_replace($text,
758                                    $linkText,
759                                    $object->indices[0],
760                                    $object->indices[1] - $object->indices[0]);
761         }
762         return $text;
763     }
764
765     function makeUrlLink($object)
766     {
767         return "<a href='{$object->url}' class='extlink'>{$object->url}</a>";
768     }
769
770     function makeHashtagLink($object)
771     {
772         return "#<a href='https://twitter.com/search?q=%23{$object->text}' class='hashtag'>{$object->text}</a>";
773     }
774
775     function makeMentionLink($object)
776     {
777         return "@<a href='http://twitter.com/{$object->screen_name}' title='{$object->name}'>{$object->screen_name}</a>";
778     }
779 }
780
781 $id    = null;
782 $debug = null;
783
784 if (have_option('i')) {
785     $id = get_option_value('i');
786 } else if (have_option('--id')) {
787     $id = get_option_value('--id');
788 } else if (count($args) > 0) {
789     $id = $args[0];
790 } else {
791     $id = null;
792 }
793
794 if (have_option('d') || have_option('debug')) {
795     $debug = true;
796 }
797
798 $fetcher = new TwitterStatusFetcher($id, 60, 2, $debug);
799 $fetcher->runOnce();
800