]> git.mxchange.org Git - quix0rs-gnu-social.git/blob - classes/Notice.php
remove transaction for Notice save; causes deadlocks
[quix0rs-gnu-social.git] / classes / Notice.php
1 <?php
2 /**
3  * StatusNet - the distributed open-source microblogging tool
4  * Copyright (C) 2008, 2009, StatusNet, Inc.
5  *
6  * This program is free software: you can redistribute it and/or modify
7  * it under the terms of the GNU Affero General Public License as published by
8  * the Free Software Foundation, either version 3 of the License, or
9  * (at your option) any later version.
10  *
11  * This program is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.     See the
14  * GNU Affero General Public License for more details.
15  *
16  * You should have received a copy of the GNU Affero General Public License
17  * along with this program.     If not, see <http://www.gnu.org/licenses/>.
18  *
19  * @category Notices
20  * @package  StatusNet
21  * @author   Brenda Wallace <shiny@cpan.org>
22  * @author   Christopher Vollick <psycotica0@gmail.com>
23  * @author   CiaranG <ciaran@ciarang.com>
24  * @author   Craig Andrews <candrews@integralblue.com>
25  * @author   Evan Prodromou <evan@controlezvous.ca>
26  * @author   Gina Haeussge <osd@foosel.net>
27  * @author   Jeffery To <jeffery.to@gmail.com>
28  * @author   Mike Cochrane <mikec@mikenz.geek.nz>
29  * @author   Robin Millette <millette@controlyourself.ca>
30  * @author   Sarven Capadisli <csarven@controlyourself.ca>
31  * @author   Tom Adams <tom@holizz.com>
32  * @license  GNU Affero General Public License http://www.gnu.org/licenses/
33  */
34
35 if (!defined('STATUSNET') && !defined('LACONICA')) {
36     exit(1);
37 }
38
39 /**
40  * Table Definition for notice
41  */
42 require_once INSTALLDIR.'/classes/Memcached_DataObject.php';
43
44 /* We keep the first three 20-notice pages, plus one for pagination check,
45  * in the memcached cache. */
46
47 define('NOTICE_CACHE_WINDOW', 61);
48
49 define('MAX_BOXCARS', 128);
50
51 class Notice extends Memcached_DataObject
52 {
53     ###START_AUTOCODE
54     /* the code below is auto generated do not remove the above tag */
55
56     public $__table = 'notice';                          // table name
57     public $id;                              // int(4)  primary_key not_null
58     public $profile_id;                      // int(4)  multiple_key not_null
59     public $uri;                             // varchar(255)  unique_key
60     public $content;                         // text
61     public $rendered;                        // text
62     public $url;                             // varchar(255)
63     public $created;                         // datetime  multiple_key not_null default_0000-00-00%2000%3A00%3A00
64     public $modified;                        // timestamp   not_null default_CURRENT_TIMESTAMP
65     public $reply_to;                        // int(4)
66     public $is_local;                        // int(4)
67     public $source;                          // varchar(32)
68     public $conversation;                    // int(4)
69     public $lat;                             // decimal(10,7)
70     public $lon;                             // decimal(10,7)
71     public $location_id;                     // int(4)
72     public $location_ns;                     // int(4)
73     public $repeat_of;                       // int(4)
74
75     /* Static get */
76     function staticGet($k,$v=NULL)
77     {
78         return Memcached_DataObject::staticGet('Notice',$k,$v);
79     }
80
81     /* the code above is auto generated do not remove the tag below */
82     ###END_AUTOCODE
83
84     /* Notice types */
85     const LOCAL_PUBLIC    =  1;
86     const REMOTE_OMB      =  0;
87     const LOCAL_NONPUBLIC = -1;
88     const GATEWAY         = -2;
89
90     function getProfile()
91     {
92         return Profile::staticGet('id', $this->profile_id);
93     }
94
95     function delete()
96     {
97         $this->blowCaches(true);
98         $this->blowFavesCache(true);
99         $this->blowSubsCache(true);
100
101         // For auditing purposes, save a record that the notice
102         // was deleted.
103
104         $deleted = new Deleted_notice();
105
106         $deleted->id         = $this->id;
107         $deleted->profile_id = $this->profile_id;
108         $deleted->uri        = $this->uri;
109         $deleted->created    = $this->created;
110         $deleted->deleted    = common_sql_now();
111
112         $this->query('BEGIN');
113
114         $deleted->insert();
115
116         //Null any notices that are replies to this notice
117         $this->query(sprintf("UPDATE notice set reply_to = null WHERE reply_to = %d", $this->id));
118
119         //Null any notices that are repeats of this notice
120         //XXX: probably need to uncache these, too
121
122         $this->query(sprintf("UPDATE notice set repeat_of = null WHERE repeat_of = %d", $this->id));
123
124         $related = array('Reply',
125                          'Fave',
126                          'Notice_tag',
127                          'Group_inbox',
128                          'Queue_item');
129
130         foreach ($related as $cls) {
131             $inst = new $cls();
132             $inst->notice_id = $this->id;
133             $inst->delete();
134         }
135         $result = parent::delete();
136         $this->query('COMMIT');
137     }
138
139     function saveTags()
140     {
141         /* extract all #hastags */
142         $count = preg_match_all('/(?:^|\s)#([\pL\pN_\-\.]{1,64})/', strtolower($this->content), $match);
143         if (!$count) {
144             return true;
145         }
146
147         //turn each into their canonical tag
148         //this is needed to remove dupes before saving e.g. #hash.tag = #hashtag
149         $hashtags = array();
150         for($i=0; $i<count($match[1]); $i++) {
151             $hashtags[] = common_canonical_tag($match[1][$i]);
152         }
153
154         /* Add them to the database */
155         foreach(array_unique($hashtags) as $hashtag) {
156             /* elide characters we don't want in the tag */
157             $this->saveTag($hashtag);
158         }
159         return true;
160     }
161
162     function saveTag($hashtag)
163     {
164         $tag = new Notice_tag();
165         $tag->notice_id = $this->id;
166         $tag->tag = $hashtag;
167         $tag->created = $this->created;
168         $id = $tag->insert();
169
170         if (!$id) {
171             throw new ServerException(sprintf(_('DB error inserting hashtag: %s'),
172                                               $last_error->message));
173             return;
174         }
175     }
176
177     /**
178      * Save a new notice and push it out to subscribers' inboxes.
179      * Poster's permissions are checked before sending.
180      *
181      * @param int $profile_id Profile ID of the poster
182      * @param string $content source message text; links may be shortened
183      *                        per current user's preference
184      * @param string $source source key ('web', 'api', etc)
185      * @param array $options Associative array of optional properties:
186      *              string 'created' timestamp of notice; defaults to now
187      *              int 'is_local' source/gateway ID, one of:
188      *                  Notice::LOCAL_PUBLIC    - Local, ok to appear in public timeline
189      *                  Notice::REMOTE_OMB      - Sent from a remote OMB service;
190      *                                            hide from public timeline but show in
191      *                                            local "and friends" timelines
192      *                  Notice::LOCAL_NONPUBLIC - Local, but hide from public timeline
193      *                  Notice::GATEWAY         - From another non-OMB service;
194      *                                            will not appear in public views
195      *              float 'lat' decimal latitude for geolocation
196      *              float 'lon' decimal longitude for geolocation
197      *              int 'location_id' geoname identifier
198      *              int 'location_ns' geoname namespace to interpret location_id
199      *              int 'reply_to'; notice ID this is a reply to
200      *              int 'repeat_of'; notice ID this is a repeat of
201      *              string 'uri' permalink to notice; defaults to local notice URL
202      *
203      * @return Notice
204      * @throws ClientException
205      */
206     static function saveNew($profile_id, $content, $source, $options=null) {
207         $defaults = array('uri' => null,
208                           'reply_to' => null,
209                           'repeat_of' => null);
210
211         if (!empty($options)) {
212             $options = $options + $defaults;
213             extract($options);
214         }
215
216         if (!isset($is_local)) {
217             $is_local = Notice::LOCAL_PUBLIC;
218         }
219
220         $profile = Profile::staticGet($profile_id);
221
222         $final = common_shorten_links($content);
223
224         if (Notice::contentTooLong($final)) {
225             throw new ClientException(_('Problem saving notice. Too long.'));
226         }
227
228         if (empty($profile)) {
229             throw new ClientException(_('Problem saving notice. Unknown user.'));
230         }
231
232         if (common_config('throttle', 'enabled') && !Notice::checkEditThrottle($profile_id)) {
233             common_log(LOG_WARNING, 'Excessive posting by profile #' . $profile_id . '; throttled.');
234             throw new ClientException(_('Too many notices too fast; take a breather '.
235                                         'and post again in a few minutes.'));
236         }
237
238         if (common_config('site', 'dupelimit') > 0 && !Notice::checkDupes($profile_id, $final)) {
239             common_log(LOG_WARNING, 'Dupe posting by profile #' . $profile_id . '; throttled.');
240             throw new ClientException(_('Too many duplicate messages too quickly;'.
241                                         ' take a breather and post again in a few minutes.'));
242         }
243
244         if (!$profile->hasRight(Right::NEWNOTICE)) {
245             common_log(LOG_WARNING, "Attempted post from user disallowed to post: " . $profile->nickname);
246             throw new ClientException(_('You are banned from posting notices on this site.'));
247         }
248
249         $notice = new Notice();
250         $notice->profile_id = $profile_id;
251
252         $autosource = common_config('public', 'autosource');
253
254         # Sandboxed are non-false, but not 1, either
255
256         if (!$profile->hasRight(Right::PUBLICNOTICE) ||
257             ($source && $autosource && in_array($source, $autosource))) {
258             $notice->is_local = Notice::LOCAL_NONPUBLIC;
259         } else {
260             $notice->is_local = $is_local;
261         }
262
263         if (!empty($created)) {
264             $notice->created = $created;
265         } else {
266             $notice->created = common_sql_now();
267         }
268
269         $notice->content = $final;
270         $notice->rendered = common_render_content($final, $notice);
271         $notice->source = $source;
272         $notice->uri = $uri;
273
274         // Handle repeat case
275
276         if (isset($repeat_of)) {
277             $notice->repeat_of = $repeat_of;
278             $notice->reply_to = $repeat_of;
279         } else {
280             $notice->reply_to = self::getReplyTo($reply_to, $profile_id, $source, $final);
281         }
282
283         if (!empty($notice->reply_to)) {
284             $reply = Notice::staticGet('id', $notice->reply_to);
285             $notice->conversation = $reply->conversation;
286         }
287
288         if (!empty($lat) && !empty($lon)) {
289             $notice->lat = $lat;
290             $notice->lon = $lon;
291         }
292
293         if (!empty($location_ns) && !empty($location_id)) {
294             $notice->location_id = $location_id;
295             $notice->location_ns = $location_ns;
296         }
297
298         if (Event::handle('StartNoticeSave', array(&$notice))) {
299
300             // XXX: some of these functions write to the DB
301
302             $id = $notice->insert();
303
304             if (!$id) {
305                 common_log_db_error($notice, 'INSERT', __FILE__);
306                 throw new ServerException(_('Problem saving notice.'));
307             }
308
309             // Update ID-dependent columns: URI, conversation
310
311             $orig = clone($notice);
312
313             $changed = false;
314
315             if (empty($uri)) {
316                 $notice->uri = common_notice_uri($notice);
317                 $changed = true;
318             }
319
320             // If it's not part of a conversation, it's
321             // the beginning of a new conversation.
322
323             if (empty($notice->conversation)) {
324                 $notice->conversation = $notice->id;
325                 $changed = true;
326             }
327
328             if ($changed) {
329                 if (!$notice->update($orig)) {
330                     common_log_db_error($notice, 'UPDATE', __FILE__);
331                     throw new ServerException(_('Problem saving notice.'));
332                 }
333             }
334
335             // XXX: do we need to change this for remote users?
336
337             $notice->saveTags();
338
339             $notice->addToInboxes();
340
341             $notice->saveUrls();
342
343             Event::handle('EndNoticeSave', array($notice));
344         }
345
346         # Clear the cache for subscribed users, so they'll update at next request
347         # XXX: someone clever could prepend instead of clearing the cache
348
349         $notice->blowCaches();
350
351         return $notice;
352     }
353
354     /** save all urls in the notice to the db
355      *
356      * follow redirects and save all available file information
357      * (mimetype, date, size, oembed, etc.)
358      *
359      * @return void
360      */
361     function saveUrls() {
362         common_replace_urls_callback($this->content, array($this, 'saveUrl'), $this->id);
363     }
364
365     function saveUrl($data) {
366         list($url, $notice_id) = $data;
367         File::processNew($url, $notice_id);
368     }
369
370     static function checkDupes($profile_id, $content) {
371         $profile = Profile::staticGet($profile_id);
372         if (empty($profile)) {
373             return false;
374         }
375         $notice = $profile->getNotices(0, NOTICE_CACHE_WINDOW);
376         if (!empty($notice)) {
377             $last = 0;
378             while ($notice->fetch()) {
379                 if (time() - strtotime($notice->created) >= common_config('site', 'dupelimit')) {
380                     return true;
381                 } else if ($notice->content == $content) {
382                     return false;
383                 }
384             }
385         }
386         # If we get here, oldest item in cache window is not
387         # old enough for dupe limit; do direct check against DB
388         $notice = new Notice();
389         $notice->profile_id = $profile_id;
390         $notice->content = $content;
391         if (common_config('db','type') == 'pgsql')
392           $notice->whereAdd('extract(epoch from now() - created) < ' . common_config('site', 'dupelimit'));
393         else
394           $notice->whereAdd('now() - created < ' . common_config('site', 'dupelimit'));
395
396         $cnt = $notice->count();
397         return ($cnt == 0);
398     }
399
400     static function checkEditThrottle($profile_id) {
401         $profile = Profile::staticGet($profile_id);
402         if (empty($profile)) {
403             return false;
404         }
405         # Get the Nth notice
406         $notice = $profile->getNotices(common_config('throttle', 'count') - 1, 1);
407         if ($notice && $notice->fetch()) {
408             # If the Nth notice was posted less than timespan seconds ago
409             if (time() - strtotime($notice->created) <= common_config('throttle', 'timespan')) {
410                 # Then we throttle
411                 return false;
412             }
413         }
414         # Either not N notices in the stream, OR the Nth was not posted within timespan seconds
415         return true;
416     }
417
418     function getUploadedAttachment() {
419         $post = clone $this;
420         $query = 'select file.url as up, file.id as i from file join file_to_post on file.id = file_id where post_id=' . $post->escape($post->id) . ' and url like "%/notice/%/file"';
421         $post->query($query);
422         $post->fetch();
423         if (empty($post->up) || empty($post->i)) {
424             $ret = false;
425         } else {
426             $ret = array($post->up, $post->i);
427         }
428         $post->free();
429         return $ret;
430     }
431
432     function hasAttachments() {
433         $post = clone $this;
434         $query = "select count(file_id) as n_attachments from file join file_to_post on (file_id = file.id) join notice on (post_id = notice.id) where post_id = " . $post->escape($post->id);
435         $post->query($query);
436         $post->fetch();
437         $n_attachments = intval($post->n_attachments);
438         $post->free();
439         return $n_attachments;
440     }
441
442     function attachments() {
443         // XXX: cache this
444         $att = array();
445         $f2p = new File_to_post;
446         $f2p->post_id = $this->id;
447         if ($f2p->find()) {
448             while ($f2p->fetch()) {
449                 $f = File::staticGet($f2p->file_id);
450                 $att[] = clone($f);
451             }
452         }
453         return $att;
454     }
455
456     function blowCaches($blowLast=false)
457     {
458         $this->blowSubsCache($blowLast);
459         $this->blowNoticeCache($blowLast);
460         $this->blowRepliesCache($blowLast);
461         $this->blowPublicCache($blowLast);
462         $this->blowTagCache($blowLast);
463         $this->blowGroupCache($blowLast);
464         $this->blowConversationCache($blowLast);
465         $this->blowRepeatCache();
466         $profile = Profile::staticGet($this->profile_id);
467         $profile->blowNoticeCount();
468     }
469
470     function blowRepeatCache()
471     {
472         if (!empty($this->repeat_of)) {
473             $cache = common_memcache();
474             if (!empty($cache)) {
475                 // XXX: only blow if <100 in cache
476                 $ck = common_cache_key('notice:repeats:'.$this->repeat_of);
477                 $result = $cache->delete($ck);
478
479                 $user = User::staticGet('id', $this->profile_id);
480
481                 if (!empty($user)) {
482                     $uk = common_cache_key('user:repeated_by_me:'.$user->id);
483                     $cache->delete($uk);
484                     $user->free();
485                     unset($user);
486                 }
487
488                 $original = Notice::staticGet('id', $this->repeat_of);
489
490                 if (!empty($original)) {
491                     $originalUser = User::staticGet('id', $original->profile_id);
492                     if (!empty($originalUser)) {
493                         $ouk = common_cache_key('user:repeats_of_me:'.$originalUser->id);
494                         $cache->delete($ouk);
495                         $originalUser->free();
496                         unset($originalUser);
497                     }
498                     $original->free();
499                     unset($original);
500                 }
501
502                 $ni->free();
503                 unset($ni);
504             }
505         }
506     }
507
508     function blowConversationCache($blowLast=false)
509     {
510         $cache = common_memcache();
511         if ($cache) {
512             $ck = common_cache_key('notice:conversation_ids:'.$this->conversation);
513             $cache->delete($ck);
514             if ($blowLast) {
515                 $cache->delete($ck.';last');
516             }
517         }
518     }
519
520     function blowGroupCache($blowLast=false)
521     {
522         $cache = common_memcache();
523         if ($cache) {
524             $group_inbox = new Group_inbox();
525             $group_inbox->notice_id = $this->id;
526             if ($group_inbox->find()) {
527                 while ($group_inbox->fetch()) {
528                     $cache->delete(common_cache_key('user_group:notice_ids:' . $group_inbox->group_id));
529                     if ($blowLast) {
530                         $cache->delete(common_cache_key('user_group:notice_ids:' . $group_inbox->group_id.';last'));
531                     }
532                     $member = new Group_member();
533                     $member->group_id = $group_inbox->group_id;
534                     if ($member->find()) {
535                         while ($member->fetch()) {
536                             $cache->delete(common_cache_key('notice_inbox:by_user:' . $member->profile_id));
537                             $cache->delete(common_cache_key('notice_inbox:by_user_own:' . $member->profile_id));
538                             if (empty($this->repeat_of)) {
539                                 $cache->delete(common_cache_key('user:friends_timeline:' . $member->profile_id));
540                                 $cache->delete(common_cache_key('user:friends_timeline_own:' . $member->profile_id));
541                             }
542                             if ($blowLast) {
543                                 $cache->delete(common_cache_key('notice_inbox:by_user:' . $member->profile_id . ';last'));
544                                 $cache->delete(common_cache_key('notice_inbox:by_user_own:' . $member->profile_id . ';last'));
545                                 if (empty($this->repeat_of)) {
546                                     $cache->delete(common_cache_key('user:friends_timeline:' . $member->profile_id . ';last'));
547                                     $cache->delete(common_cache_key('user:friends_timeline_own:' . $member->profile_id . ';last'));
548                                 }
549                             }
550                         }
551                     }
552                 }
553             }
554             $group_inbox->free();
555             unset($group_inbox);
556         }
557     }
558
559     function blowTagCache($blowLast=false)
560     {
561         $cache = common_memcache();
562         if ($cache) {
563             $tag = new Notice_tag();
564             $tag->notice_id = $this->id;
565             if ($tag->find()) {
566                 while ($tag->fetch()) {
567                     $tag->blowCache($blowLast);
568                     $ck = 'profile:notice_ids_tagged:' . $this->profile_id . ':' . $tag->tag;
569
570                     $cache->delete($ck);
571                     if ($blowLast) {
572                         $cache->delete($ck . ';last');
573                     }
574                 }
575             }
576             $tag->free();
577             unset($tag);
578         }
579     }
580
581     function blowSubsCache($blowLast=false)
582     {
583         $cache = common_memcache();
584         if ($cache) {
585             $user = new User();
586
587             $UT = common_config('db','type')=='pgsql'?'"user"':'user';
588             $user->query('SELECT id ' .
589
590                          "FROM $UT JOIN subscription ON $UT.id = subscription.subscriber " .
591                          'WHERE subscription.subscribed = ' . $this->profile_id);
592
593             while ($user->fetch()) {
594                 $cache->delete(common_cache_key('notice_inbox:by_user:'.$user->id));
595                 $cache->delete(common_cache_key('notice_inbox:by_user_own:'.$user->id));
596                 if (empty($this->repeat_of)) {
597                     $cache->delete(common_cache_key('user:friends_timeline:'.$user->id));
598                     $cache->delete(common_cache_key('user:friends_timeline_own:'.$user->id));
599                 }
600                 if ($blowLast) {
601                     $cache->delete(common_cache_key('notice_inbox:by_user:'.$user->id.';last'));
602                     $cache->delete(common_cache_key('notice_inbox:by_user_own:'.$user->id.';last'));
603                     if (empty($this->repeat_of)) {
604                         $cache->delete(common_cache_key('user:friends_timeline:'.$user->id.';last'));
605                         $cache->delete(common_cache_key('user:friends_timeline_own:'.$user->id.';last'));
606                     }
607                 }
608             }
609             $user->free();
610             unset($user);
611         }
612     }
613
614     function blowNoticeCache($blowLast=false)
615     {
616         if ($this->is_local) {
617             $cache = common_memcache();
618             if (!empty($cache)) {
619                 $cache->delete(common_cache_key('profile:notice_ids:'.$this->profile_id));
620                 if ($blowLast) {
621                     $cache->delete(common_cache_key('profile:notice_ids:'.$this->profile_id.';last'));
622                 }
623             }
624         }
625     }
626
627     function blowRepliesCache($blowLast=false)
628     {
629         $cache = common_memcache();
630         if ($cache) {
631             $reply = new Reply();
632             $reply->notice_id = $this->id;
633             if ($reply->find()) {
634                 while ($reply->fetch()) {
635                     $cache->delete(common_cache_key('reply:stream:'.$reply->profile_id));
636                     if ($blowLast) {
637                         $cache->delete(common_cache_key('reply:stream:'.$reply->profile_id.';last'));
638                     }
639                 }
640             }
641             $reply->free();
642             unset($reply);
643         }
644     }
645
646     function blowPublicCache($blowLast=false)
647     {
648         if ($this->is_local == Notice::LOCAL_PUBLIC) {
649             $cache = common_memcache();
650             if ($cache) {
651                 $cache->delete(common_cache_key('public'));
652                 if ($blowLast) {
653                     $cache->delete(common_cache_key('public').';last');
654                 }
655             }
656         }
657     }
658
659     function blowFavesCache($blowLast=false)
660     {
661         $cache = common_memcache();
662         if ($cache) {
663             $fave = new Fave();
664             $fave->notice_id = $this->id;
665             if ($fave->find()) {
666                 while ($fave->fetch()) {
667                     $cache->delete(common_cache_key('fave:ids_by_user:'.$fave->user_id));
668                     $cache->delete(common_cache_key('fave:by_user_own:'.$fave->user_id));
669                     if ($blowLast) {
670                         $cache->delete(common_cache_key('fave:ids_by_user:'.$fave->user_id.';last'));
671                         $cache->delete(common_cache_key('fave:by_user_own:'.$fave->user_id.';last'));
672                     }
673                 }
674             }
675             $fave->free();
676             unset($fave);
677         }
678     }
679
680     function getStreamByIds($ids)
681     {
682         $cache = common_memcache();
683
684         if (!empty($cache)) {
685             $notices = array();
686             foreach ($ids as $id) {
687                 $n = Notice::staticGet('id', $id);
688                 if (!empty($n)) {
689                     $notices[] = $n;
690                 }
691             }
692             return new ArrayWrapper($notices);
693         } else {
694             $notice = new Notice();
695             if (empty($ids)) {
696                 //if no IDs requested, just return the notice object
697                 return $notice;
698             }
699             $notice->whereAdd('id in (' . implode(', ', $ids) . ')');
700
701             $notice->find();
702
703             $temp = array();
704
705             while ($notice->fetch()) {
706                 $temp[$notice->id] = clone($notice);
707             }
708
709             $wrapped = array();
710
711             foreach ($ids as $id) {
712                 if (array_key_exists($id, $temp)) {
713                     $wrapped[] = $temp[$id];
714                 }
715             }
716
717             return new ArrayWrapper($wrapped);
718         }
719     }
720
721     function publicStream($offset=0, $limit=20, $since_id=0, $max_id=0, $since=null)
722     {
723         $ids = Notice::stream(array('Notice', '_publicStreamDirect'),
724                               array(),
725                               'public',
726                               $offset, $limit, $since_id, $max_id, $since);
727
728         return Notice::getStreamByIds($ids);
729     }
730
731     function _publicStreamDirect($offset=0, $limit=20, $since_id=0, $max_id=0, $since=null)
732     {
733         $notice = new Notice();
734
735         $notice->selectAdd(); // clears it
736         $notice->selectAdd('id');
737
738         $notice->orderBy('id DESC');
739
740         if (!is_null($offset)) {
741             $notice->limit($offset, $limit);
742         }
743
744         if (common_config('public', 'localonly')) {
745             $notice->whereAdd('is_local = ' . Notice::LOCAL_PUBLIC);
746         } else {
747             # -1 == blacklisted, -2 == gateway (i.e. Twitter)
748             $notice->whereAdd('is_local !='. Notice::LOCAL_NONPUBLIC);
749             $notice->whereAdd('is_local !='. Notice::GATEWAY);
750         }
751
752         if ($since_id != 0) {
753             $notice->whereAdd('id > ' . $since_id);
754         }
755
756         if ($max_id != 0) {
757             $notice->whereAdd('id <= ' . $max_id);
758         }
759
760         if (!is_null($since)) {
761             $notice->whereAdd('created > \'' . date('Y-m-d H:i:s', $since) . '\'');
762         }
763
764         $ids = array();
765
766         if ($notice->find()) {
767             while ($notice->fetch()) {
768                 $ids[] = $notice->id;
769             }
770         }
771
772         $notice->free();
773         $notice = NULL;
774
775         return $ids;
776     }
777
778     function conversationStream($id, $offset=0, $limit=20, $since_id=0, $max_id=0, $since=null)
779     {
780         $ids = Notice::stream(array('Notice', '_conversationStreamDirect'),
781                               array($id),
782                               'notice:conversation_ids:'.$id,
783                               $offset, $limit, $since_id, $max_id, $since);
784
785         return Notice::getStreamByIds($ids);
786     }
787
788     function _conversationStreamDirect($id, $offset=0, $limit=20, $since_id=0, $max_id=0, $since=null)
789     {
790         $notice = new Notice();
791
792         $notice->selectAdd(); // clears it
793         $notice->selectAdd('id');
794
795         $notice->conversation = $id;
796
797         $notice->orderBy('id DESC');
798
799         if (!is_null($offset)) {
800             $notice->limit($offset, $limit);
801         }
802
803         if ($since_id != 0) {
804             $notice->whereAdd('id > ' . $since_id);
805         }
806
807         if ($max_id != 0) {
808             $notice->whereAdd('id <= ' . $max_id);
809         }
810
811         if (!is_null($since)) {
812             $notice->whereAdd('created > \'' . date('Y-m-d H:i:s', $since) . '\'');
813         }
814
815         $ids = array();
816
817         if ($notice->find()) {
818             while ($notice->fetch()) {
819                 $ids[] = $notice->id;
820             }
821         }
822
823         $notice->free();
824         $notice = NULL;
825
826         return $ids;
827     }
828
829     function whoGets()
830     {
831         $users = $this->getSubscribedUsers();
832
833         // FIXME: kind of ignoring 'transitional'...
834         // we'll probably stop supporting inboxless mode
835         // in 0.9.x
836
837         $ni = array();
838
839         foreach ($users as $id) {
840             $ni[$id] = NOTICE_INBOX_SOURCE_SUB;
841         }
842
843         $groups = $this->saveGroups();
844         $profile = $this->getProfile();
845
846         foreach ($groups as $group) {
847             $users = $group->getUserMembers();
848             foreach ($users as $id) {
849                 if (!array_key_exists($id, $ni)) {
850                     $user = User::staticGet('id', $id);
851                     if (!$user->hasBlocked($profile)) {
852                         $ni[$id] = NOTICE_INBOX_SOURCE_GROUP;
853                     }
854                 }
855             }
856         }
857
858         $recipients = $this->saveReplies();
859
860         foreach ($recipients as $recipient) {
861
862             if (!array_key_exists($recipient, $ni)) {
863                 $recipientUser = User::staticGet('id', $recipient);
864                 if (!empty($recipientUser)) {
865                     $ni[$recipient] = NOTICE_INBOX_SOURCE_REPLY;
866                 }
867             }
868         }
869
870         return $ni;
871     }
872
873     function addToInboxes()
874     {
875         $ni = $this->whoGets();
876
877         Inbox::bulkInsert($this->id, array_keys($ni));
878
879         return;
880     }
881
882     function getSubscribedUsers()
883     {
884         $user = new User();
885
886         if(common_config('db','quote_identifiers'))
887           $user_table = '"user"';
888         else $user_table = 'user';
889
890         $qry =
891           'SELECT id ' .
892           'FROM '. $user_table .' JOIN subscription '.
893           'ON '. $user_table .'.id = subscription.subscriber ' .
894           'WHERE subscription.subscribed = %d ';
895
896         $user->query(sprintf($qry, $this->profile_id));
897
898         $ids = array();
899
900         while ($user->fetch()) {
901             $ids[] = $user->id;
902         }
903
904         $user->free();
905
906         return $ids;
907     }
908
909     function saveGroups()
910     {
911         $groups = array();
912
913         /* extract all !group */
914         $count = preg_match_all('/(?:^|\s)!([A-Za-z0-9]{1,64})/',
915                                 strtolower($this->content),
916                                 $match);
917         if (!$count) {
918             return $groups;
919         }
920
921         $profile = $this->getProfile();
922
923         /* Add them to the database */
924
925         foreach (array_unique($match[1]) as $nickname) {
926             /* XXX: remote groups. */
927             $group = User_group::getForNickname($nickname);
928
929             if (empty($group)) {
930                 continue;
931             }
932
933             // we automatically add a tag for every group name, too
934
935             $tag = Notice_tag::pkeyGet(array('tag' => common_canonical_tag($nickname),
936                                              'notice_id' => $this->id));
937
938             if (is_null($tag)) {
939                 $this->saveTag($nickname);
940             }
941
942             if ($profile->isMember($group)) {
943
944                 $result = $this->addToGroupInbox($group);
945
946                 if (!$result) {
947                     common_log_db_error($gi, 'INSERT', __FILE__);
948                 }
949
950                 $groups[] = clone($group);
951             }
952         }
953
954         return $groups;
955     }
956
957     function addToGroupInbox($group)
958     {
959         $gi = Group_inbox::pkeyGet(array('group_id' => $group->id,
960                                          'notice_id' => $this->id));
961
962         if (empty($gi)) {
963
964             $gi = new Group_inbox();
965
966             $gi->group_id  = $group->id;
967             $gi->notice_id = $this->id;
968             $gi->created   = $this->created;
969
970             return $gi->insert();
971         }
972
973         return true;
974     }
975
976     /**
977      * @return array of integer profile IDs
978      */
979     function saveReplies()
980     {
981         // Alternative reply format
982         $tname = false;
983         if (preg_match('/^T ([A-Z0-9]{1,64}) /', $this->content, $match)) {
984             $tname = $match[1];
985         }
986         // extract all @messages
987         $cnt = preg_match_all('/(?:^|\s)@([a-z0-9]{1,64})/', $this->content, $match);
988
989         $names = array();
990
991         if ($cnt || $tname) {
992             // XXX: is there another way to make an array copy?
993             $names = ($tname) ? array_unique(array_merge(array(strtolower($tname)), $match[1])) : array_unique($match[1]);
994         }
995
996         $sender = Profile::staticGet($this->profile_id);
997
998         $replied = array();
999
1000         // store replied only for first @ (what user/notice what the reply directed,
1001         // we assume first @ is it)
1002
1003         for ($i=0; $i<count($names); $i++) {
1004             $nickname = $names[$i];
1005             $recipient = common_relative_profile($sender, $nickname, $this->created);
1006             if (empty($recipient)) {
1007                 continue;
1008             }
1009             // Don't save replies from blocked profile to local user
1010             $recipient_user = User::staticGet('id', $recipient->id);
1011             if (!empty($recipient_user) && $recipient_user->hasBlocked($sender)) {
1012                 continue;
1013             }
1014             $reply = new Reply();
1015             $reply->notice_id = $this->id;
1016             $reply->profile_id = $recipient->id;
1017             $id = $reply->insert();
1018             if (!$id) {
1019                 $last_error = &PEAR::getStaticProperty('DB_DataObject','lastError');
1020                 common_log(LOG_ERR, 'DB error inserting reply: ' . $last_error->message);
1021                 common_server_error(sprintf(_('DB error inserting reply: %s'), $last_error->message));
1022                 return array();
1023             } else {
1024                 $replied[$recipient->id] = 1;
1025             }
1026         }
1027
1028         // Hash format replies, too
1029         $cnt = preg_match_all('/(?:^|\s)@#([a-z0-9]{1,64})/', $this->content, $match);
1030         if ($cnt) {
1031             foreach ($match[1] as $tag) {
1032                 $tagged = Profile_tag::getTagged($sender->id, $tag);
1033                 foreach ($tagged as $t) {
1034                     if (!$replied[$t->id]) {
1035                         // Don't save replies from blocked profile to local user
1036                         $t_user = User::staticGet('id', $t->id);
1037                         if ($t_user && $t_user->hasBlocked($sender)) {
1038                             continue;
1039                         }
1040                         $reply = new Reply();
1041                         $reply->notice_id = $this->id;
1042                         $reply->profile_id = $t->id;
1043                         $id = $reply->insert();
1044                         if (!$id) {
1045                             common_log_db_error($reply, 'INSERT', __FILE__);
1046                             return array();
1047                         } else {
1048                             $replied[$recipient->id] = 1;
1049                         }
1050                     }
1051                 }
1052             }
1053         }
1054
1055         $recipientIds = array_keys($replied);
1056
1057         foreach ($recipientIds as $recipientId) {
1058             $user = User::staticGet('id', $recipientId);
1059             if ($user) {
1060                 mail_notify_attn($user, $this);
1061             }
1062         }
1063
1064         return $recipientIds;
1065     }
1066
1067     function asAtomEntry($namespace=false, $source=false)
1068     {
1069         $profile = $this->getProfile();
1070
1071         $xs = new XMLStringer(true);
1072
1073         if ($namespace) {
1074             $attrs = array('xmlns' => 'http://www.w3.org/2005/Atom',
1075                            'xmlns:thr' => 'http://purl.org/syndication/thread/1.0');
1076         } else {
1077             $attrs = array();
1078         }
1079
1080         $xs->elementStart('entry', $attrs);
1081
1082         if ($source) {
1083             $xs->elementStart('source');
1084             $xs->element('title', null, $profile->nickname . " - " . common_config('site', 'name'));
1085             $xs->element('link', array('href' => $profile->profileurl));
1086             $user = User::staticGet('id', $profile->id);
1087             if (!empty($user)) {
1088                 $atom_feed = common_local_url('ApiTimelineUser',
1089                                               array('format' => 'atom',
1090                                                     'id' => $profile->nickname));
1091                 $xs->element('link', array('rel' => 'self',
1092                                            'type' => 'application/atom+xml',
1093                                            'href' => $profile->profileurl));
1094                 $xs->element('link', array('rel' => 'license',
1095                                            'href' => common_config('license', 'url')));
1096             }
1097
1098             $xs->element('icon', null, $profile->avatarUrl(AVATAR_PROFILE_SIZE));
1099         }
1100
1101         $xs->elementStart('author');
1102         $xs->element('name', null, $profile->nickname);
1103         $xs->element('uri', null, $profile->profileurl);
1104         $xs->elementEnd('author');
1105
1106         if ($source) {
1107             $xs->elementEnd('source');
1108         }
1109
1110         $xs->element('title', null, $this->content);
1111         $xs->element('summary', null, $this->content);
1112
1113         $xs->element('link', array('rel' => 'alternate',
1114                                    'href' => $this->bestUrl()));
1115
1116         $xs->element('id', null, $this->uri);
1117
1118         $xs->element('published', null, common_date_w3dtf($this->created));
1119         $xs->element('updated', null, common_date_w3dtf($this->created));
1120
1121         if ($this->reply_to) {
1122             $reply_notice = Notice::staticGet('id', $this->reply_to);
1123             if (!empty($reply_notice)) {
1124                 $xs->element('link', array('rel' => 'related',
1125                                            'href' => $reply_notice->bestUrl()));
1126                 $xs->element('thr:in-reply-to',
1127                              array('ref' => $reply_notice->uri,
1128                                    'href' => $reply_notice->bestUrl()));
1129             }
1130         }
1131
1132         $xs->element('content', array('type' => 'html'), $this->rendered);
1133
1134         $tag = new Notice_tag();
1135         $tag->notice_id = $this->id;
1136         if ($tag->find()) {
1137             while ($tag->fetch()) {
1138                 $xs->element('category', array('term' => $tag->tag));
1139             }
1140         }
1141         $tag->free();
1142
1143         # Enclosures
1144         $attachments = $this->attachments();
1145         if($attachments){
1146             foreach($attachments as $attachment){
1147                 $enclosure=$attachment->getEnclosure();
1148                 if ($enclosure) {
1149                     $attributes = array('rel'=>'enclosure','href'=>$enclosure->url,'type'=>$enclosure->mimetype,'length'=>$enclosure->size);
1150                     if($enclosure->title){
1151                         $attributes['title']=$enclosure->title;
1152                     }
1153                     $xs->element('link', $attributes, null);
1154                 }
1155             }
1156         }
1157
1158         if (!empty($this->lat) && !empty($this->lon)) {
1159             $xs->elementStart('geo', array('xmlns:georss' => 'http://www.georss.org/georss'));
1160             $xs->element('georss:point', null, $this->lat . ' ' . $this->lon);
1161             $xs->elementEnd('geo');
1162         }
1163
1164         $xs->elementEnd('entry');
1165
1166         return $xs->getString();
1167     }
1168
1169     function bestUrl()
1170     {
1171         if (!empty($this->url)) {
1172             return $this->url;
1173         } else if (!empty($this->uri) && preg_match('/^https?:/', $this->uri)) {
1174             return $this->uri;
1175         } else {
1176             return common_local_url('shownotice',
1177                                     array('notice' => $this->id));
1178         }
1179     }
1180
1181     function stream($fn, $args, $cachekey, $offset=0, $limit=20, $since_id=0, $max_id=0, $since=null)
1182     {
1183         $cache = common_memcache();
1184
1185         if (empty($cache) ||
1186             $since_id != 0 || $max_id != 0 || (!is_null($since) && $since > 0) ||
1187             is_null($limit) ||
1188             ($offset + $limit) > NOTICE_CACHE_WINDOW) {
1189             return call_user_func_array($fn, array_merge($args, array($offset, $limit, $since_id,
1190                                                                       $max_id, $since)));
1191         }
1192
1193         $idkey = common_cache_key($cachekey);
1194
1195         $idstr = $cache->get($idkey);
1196
1197         if ($idstr !== false) {
1198             // Cache hit! Woohoo!
1199             $window = explode(',', $idstr);
1200             $ids = array_slice($window, $offset, $limit);
1201             return $ids;
1202         }
1203
1204         $laststr = $cache->get($idkey.';last');
1205
1206         if ($laststr !== false) {
1207             $window = explode(',', $laststr);
1208             $last_id = $window[0];
1209             $new_ids = call_user_func_array($fn, array_merge($args, array(0, NOTICE_CACHE_WINDOW,
1210                                                                           $last_id, 0, null)));
1211
1212             $new_window = array_merge($new_ids, $window);
1213
1214             $new_windowstr = implode(',', $new_window);
1215
1216             $result = $cache->set($idkey, $new_windowstr);
1217             $result = $cache->set($idkey . ';last', $new_windowstr);
1218
1219             $ids = array_slice($new_window, $offset, $limit);
1220
1221             return $ids;
1222         }
1223
1224         $window = call_user_func_array($fn, array_merge($args, array(0, NOTICE_CACHE_WINDOW,
1225                                                                      0, 0, null)));
1226
1227         $windowstr = implode(',', $window);
1228
1229         $result = $cache->set($idkey, $windowstr);
1230         $result = $cache->set($idkey . ';last', $windowstr);
1231
1232         $ids = array_slice($window, $offset, $limit);
1233
1234         return $ids;
1235     }
1236
1237     /**
1238      * Determine which notice, if any, a new notice is in reply to.
1239      *
1240      * For conversation tracking, we try to see where this notice fits
1241      * in the tree. Rough algorithm is:
1242      *
1243      * if (reply_to is set and valid) {
1244      *     return reply_to;
1245      * } else if ((source not API or Web) and (content starts with "T NAME" or "@name ")) {
1246      *     return ID of last notice by initial @name in content;
1247      * }
1248      *
1249      * Note that all @nickname instances will still be used to save "reply" records,
1250      * so the notice shows up in the mentioned users' "replies" tab.
1251      *
1252      * @param integer $reply_to   ID passed in by Web or API
1253      * @param integer $profile_id ID of author
1254      * @param string  $source     Source tag, like 'web' or 'gwibber'
1255      * @param string  $content    Final notice content
1256      *
1257      * @return integer ID of replied-to notice, or null for not a reply.
1258      */
1259
1260     static function getReplyTo($reply_to, $profile_id, $source, $content)
1261     {
1262         static $lb = array('xmpp', 'mail', 'sms', 'omb');
1263
1264         // If $reply_to is specified, we check that it exists, and then
1265         // return it if it does
1266
1267         if (!empty($reply_to)) {
1268             $reply_notice = Notice::staticGet('id', $reply_to);
1269             if (!empty($reply_notice)) {
1270                 return $reply_to;
1271             }
1272         }
1273
1274         // If it's not a "low bandwidth" source (one where you can't set
1275         // a reply_to argument), we return. This is mostly web and API
1276         // clients.
1277
1278         if (!in_array($source, $lb)) {
1279             return null;
1280         }
1281
1282         // Is there an initial @ or T?
1283
1284         if (preg_match('/^T ([A-Z0-9]{1,64}) /', $content, $match) ||
1285             preg_match('/^@([a-z0-9]{1,64})\s+/', $content, $match)) {
1286             $nickname = common_canonical_nickname($match[1]);
1287         } else {
1288             return null;
1289         }
1290
1291         // Figure out who that is.
1292
1293         $sender = Profile::staticGet('id', $profile_id);
1294         $recipient = common_relative_profile($sender, $nickname, common_sql_now());
1295
1296         if (empty($recipient)) {
1297             return null;
1298         }
1299
1300         // Get their last notice
1301
1302         $last = $recipient->getCurrentNotice();
1303
1304         if (!empty($last)) {
1305             return $last->id;
1306         }
1307     }
1308
1309     static function maxContent()
1310     {
1311         $contentlimit = common_config('notice', 'contentlimit');
1312         // null => use global limit (distinct from 0!)
1313         if (is_null($contentlimit)) {
1314             $contentlimit = common_config('site', 'textlimit');
1315         }
1316         return $contentlimit;
1317     }
1318
1319     static function contentTooLong($content)
1320     {
1321         $contentlimit = self::maxContent();
1322         return ($contentlimit > 0 && !empty($content) && (mb_strlen($content) > $contentlimit));
1323     }
1324
1325     function getLocation()
1326     {
1327         $location = null;
1328
1329         if (!empty($this->location_id) && !empty($this->location_ns)) {
1330             $location = Location::fromId($this->location_id, $this->location_ns);
1331         }
1332
1333         if (is_null($location)) { // no ID, or Location::fromId() failed
1334             if (!empty($this->lat) && !empty($this->lon)) {
1335                 $location = Location::fromLatLon($this->lat, $this->lon);
1336             }
1337         }
1338
1339         return $location;
1340     }
1341
1342     function repeat($repeater_id, $source)
1343     {
1344         $author = Profile::staticGet('id', $this->profile_id);
1345
1346         $content = sprintf(_('RT @%1$s %2$s'),
1347                            $author->nickname,
1348                            $this->content);
1349
1350         $maxlen = common_config('site', 'textlimit');
1351         if ($maxlen > 0 && mb_strlen($content) > $maxlen) {
1352             // Web interface and current Twitter API clients will
1353             // pull the original notice's text, but some older
1354             // clients and RSS/Atom feeds will see this trimmed text.
1355             //
1356             // Unfortunately this is likely to lose tags or URLs
1357             // at the end of long notices.
1358             $content = mb_substr($content, 0, $maxlen - 4) . ' ...';
1359         }
1360
1361         return self::saveNew($repeater_id, $content, $source,
1362                              array('repeat_of' => $this->id));
1363     }
1364
1365     // These are supposed to be in chron order!
1366
1367     function repeatStream($limit=100)
1368     {
1369         $cache = common_memcache();
1370
1371         if (empty($cache)) {
1372             $ids = $this->_repeatStreamDirect($limit);
1373         } else {
1374             $idstr = $cache->get(common_cache_key('notice:repeats:'.$this->id));
1375             if ($idstr !== false) {
1376                 $ids = explode(',', $idstr);
1377             } else {
1378                 $ids = $this->_repeatStreamDirect(100);
1379                 $cache->set(common_cache_key('notice:repeats:'.$this->id), implode(',', $ids));
1380             }
1381             if ($limit < 100) {
1382                 // We do a max of 100, so slice down to limit
1383                 $ids = array_slice($ids, 0, $limit);
1384             }
1385         }
1386
1387         return Notice::getStreamByIds($ids);
1388     }
1389
1390     function _repeatStreamDirect($limit)
1391     {
1392         $notice = new Notice();
1393
1394         $notice->selectAdd(); // clears it
1395         $notice->selectAdd('id');
1396
1397         $notice->repeat_of = $this->id;
1398
1399         $notice->orderBy('created'); // NB: asc!
1400
1401         if (!is_null($offset)) {
1402             $notice->limit($offset, $limit);
1403         }
1404
1405         $ids = array();
1406
1407         if ($notice->find()) {
1408             while ($notice->fetch()) {
1409                 $ids[] = $notice->id;
1410             }
1411         }
1412
1413         $notice->free();
1414         $notice = NULL;
1415
1416         return $ids;
1417     }
1418
1419     function locationOptions($lat, $lon, $location_id, $location_ns, $profile = null)
1420     {
1421         $options = array();
1422
1423         if (!empty($location_id) && !empty($location_ns)) {
1424
1425             $options['location_id'] = $location_id;
1426             $options['location_ns'] = $location_ns;
1427
1428             $location = Location::fromId($location_id, $location_ns);
1429
1430             if (!empty($location)) {
1431                 $options['lat'] = $location->lat;
1432                 $options['lon'] = $location->lon;
1433             }
1434
1435         } else if (!empty($lat) && !empty($lon)) {
1436
1437             $options['lat'] = $lat;
1438             $options['lon'] = $lon;
1439
1440             $location = Location::fromLatLon($lat, $lon);
1441
1442             if (!empty($location)) {
1443                 $options['location_id'] = $location->location_id;
1444                 $options['location_ns'] = $location->location_ns;
1445             }
1446         } else if (!empty($profile)) {
1447
1448             if (isset($profile->lat) && isset($profile->lon)) {
1449                 $options['lat'] = $profile->lat;
1450                 $options['lon'] = $profile->lon;
1451             }
1452
1453             if (isset($profile->location_id) && isset($profile->location_ns)) {
1454                 $options['location_id'] = $profile->location_id;
1455                 $options['location_ns'] = $profile->location_ns;
1456             }
1457         }
1458
1459         return $options;
1460     }
1461 }