]> git.mxchange.org Git - quix0rs-gnu-social.git/blob - classes/Memcached_DataObject.php
Merge branch 'master' into testing
[quix0rs-gnu-social.git] / classes / Memcached_DataObject.php
1 <?php
2 /*
3  * StatusNet - the distributed open-source microblogging tool
4  * Copyright (C) 2008, 2009, StatusNet, Inc.
5  *
6  * This program is free software: you can redistribute it and/or modify
7  * it under the terms of the GNU Affero General Public License as published by
8  * the Free Software Foundation, either version 3 of the License, or
9  * (at your option) any later version.
10  *
11  * This program is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU Affero General Public License for more details.
15  *
16  * You should have received a copy of the GNU Affero General Public License
17  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
18  */
19
20 if (!defined('STATUSNET') && !defined('LACONICA')) { exit(1); }
21
22 class Memcached_DataObject extends DB_DataObject
23 {
24     /**
25      * Destructor to free global memory resources associated with
26      * this data object when it's unset or goes out of scope.
27      * DB_DataObject doesn't do this yet by itself.
28      */
29
30     function __destruct()
31     {
32         $this->free();
33         if (method_exists('DB_DataObject', '__destruct')) {
34             parent::__destruct();
35         }
36     }
37
38     /**
39      * Magic function called at serialize() time.
40      *
41      * We use this to drop a couple process-specific references
42      * from DB_DataObject which can cause trouble in future
43      * processes.
44      *
45      * @return array of variable names to include in serialization.
46      */
47     function __sleep()
48     {
49         $vars = array_keys(get_object_vars($this));
50         $skip = array('_DB_resultid', '_link_loaded');
51         return array_diff($vars, $skip);
52     }
53
54     /**
55      * Magic function called at unserialize() time.
56      *
57      * Clean out some process-specific variables which might
58      * be floating around from a previous process's cached
59      * objects.
60      *
61      * Old cached objects may still have them.
62      */
63     function __wakeup()
64     {
65         // Refers to global state info from a previous process.
66         // Clear this out so we don't accidentally break global
67         // state in *this* process.
68         $this->_DB_resultid = null;
69         // We don't have any local DBO refs, so clear these out.
70         $this->_link_loaded = false;
71     }
72
73     /**
74      * Wrapper for DB_DataObject's static lookup using memcached
75      * as backing instead of an in-process cache array.
76      *
77      * @param string $cls classname of object type to load
78      * @param mixed $k key field name, or value for primary key
79      * @param mixed $v key field value, or leave out for primary key lookup
80      * @return mixed Memcached_DataObject subtype or false
81      */
82     function &staticGet($cls, $k, $v=null)
83     {
84         if (is_null($v)) {
85             $v = $k;
86             # XXX: HACK!
87             $i = new $cls;
88             $keys = $i->keys();
89             $k = $keys[0];
90             unset($i);
91         }
92         $i = Memcached_DataObject::getcached($cls, $k, $v);
93         if ($i === false) { // false == cache miss
94             $i = DB_DataObject::factory($cls);
95             if (empty($i)) {
96                 $i = false;
97                 return $i;
98             }
99             $result = $i->get($k, $v);
100             if ($result) {
101                 // Hit!
102                 $i->encache();
103             } else {
104                 // save the fact that no such row exists
105                 $c = self::memcache();
106                 if (!empty($c)) {
107                     $ck = self::cachekey($cls, $k, $v);
108                     $c->set($ck, null);
109                 }
110                 $i = false;
111             }
112         }
113         return $i;
114     }
115
116     /**
117      * @fixme Should this return false on lookup fail to match staticGet?
118      */
119     function pkeyGet($cls, $kv)
120     {
121         $i = Memcached_DataObject::multicache($cls, $kv);
122         if ($i !== false) { // false == cache miss
123             return $i;
124         } else {
125             $i = DB_DataObject::factory($cls);
126             if (empty($i)) {
127                 return false;
128             }
129             foreach ($kv as $k => $v) {
130                 $i->$k = $v;
131             }
132             if ($i->find(true)) {
133                 $i->encache();
134             } else {
135                 $i = null;
136                 $c = self::memcache();
137                 if (!empty($c)) {
138                     $ck = self::multicacheKey($cls, $kv);
139                     $c->set($ck, null);
140                 }
141             }
142             return $i;
143         }
144     }
145
146     function insert()
147     {
148         $result = parent::insert();
149         if ($result) {
150             $this->encache(); // in case of cached negative lookups
151         }
152         return $result;
153     }
154
155     function update($orig=null)
156     {
157         if (is_object($orig) && $orig instanceof Memcached_DataObject) {
158             $orig->decache(); # might be different keys
159         }
160         $result = parent::update($orig);
161         if ($result) {
162             $this->encache();
163         }
164         return $result;
165     }
166
167     function delete()
168     {
169         $this->decache(); # while we still have the values!
170         return parent::delete();
171     }
172
173     static function memcache() {
174         return common_memcache();
175     }
176
177     static function cacheKey($cls, $k, $v) {
178         if (is_object($cls) || is_object($k) || is_object($v)) {
179             $e = new Exception();
180             common_log(LOG_ERR, __METHOD__ . ' object in param: ' .
181                 str_replace("\n", " ", $e->getTraceAsString()));
182         }
183         return common_cache_key(strtolower($cls).':'.$k.':'.$v);
184     }
185
186     static function getcached($cls, $k, $v) {
187         $c = Memcached_DataObject::memcache();
188         if (!$c) {
189             return false;
190         } else {
191             $obj = $c->get(Memcached_DataObject::cacheKey($cls, $k, $v));
192             if (0 == strcasecmp($cls, 'User')) {
193                 // Special case for User
194                 if (is_object($obj) && is_object($obj->id)) {
195                     common_log(LOG_ERR, "User " . $obj->nickname . " was cached with User as ID; deleting");
196                     $c->delete(Memcached_DataObject::cacheKey($cls, $k, $v));
197                     return false;
198                 }
199             }
200             return $obj;
201         }
202     }
203
204     function keyTypes()
205     {
206         // ini-based classes return number-indexed arrays. handbuilt
207         // classes return column => keytype. Make this uniform.
208
209         $keys = $this->keys();
210
211         $keyskeys = array_keys($keys);
212
213         if (is_string($keyskeys[0])) {
214             return $keys;
215         }
216
217         global $_DB_DATAOBJECT;
218         if (!isset($_DB_DATAOBJECT['INI'][$this->_database][$this->__table."__keys"])) {
219             $this->databaseStructure();
220
221         }
222         return $_DB_DATAOBJECT['INI'][$this->_database][$this->__table."__keys"];
223     }
224
225     function encache()
226     {
227         $c = $this->memcache();
228
229         if (!$c) {
230             return false;
231         } else if ($this->tableName() == 'user' && is_object($this->id)) {
232             // Special case for User bug
233             $e = new Exception();
234             common_log(LOG_ERR, __METHOD__ . ' caching user with User object as ID ' .
235                        str_replace("\n", " ", $e->getTraceAsString()));
236             return false;
237         } else {
238                 $keys = $this->_allCacheKeys();
239
240                 foreach ($keys as $key) {
241                     $c->set($key, $this);
242                 }
243         }
244     }
245
246     function decache()
247     {
248         $c = $this->memcache();
249
250         if (!$c) {
251             return false;
252         }
253
254         $keys = $this->_allCacheKeys();
255
256         foreach ($keys as $key) {
257             $c->delete($key, $this);
258         }
259     }
260
261     function _allCacheKeys()
262     {
263         $ckeys = array();
264
265         $types = $this->keyTypes();
266         ksort($types);
267
268         $pkey = array();
269         $pval = array();
270
271         foreach ($types as $key => $type) {
272
273             assert(!empty($key));
274
275             if ($type == 'U') {
276                 if (empty($this->$key)) {
277                     continue;
278                 }
279                 $ckeys[] = $this->cacheKey($this->tableName(), $key, $this->$key);
280             } else if ($type == 'K' || $type == 'N') {
281                 $pkey[] = $key;
282                 $pval[] = $this->$key;
283             } else {
284                 throw new Exception("Unknown key type $key => $type for " . $this->tableName());
285             }
286         }
287
288         assert(count($pkey) > 0);
289
290         // XXX: should work for both compound and scalar pkeys
291         $pvals = implode(',', $pval);
292         $pkeys = implode(',', $pkey);
293
294         $ckeys[] = $this->cacheKey($this->tableName(), $pkeys, $pvals);
295
296         return $ckeys;
297     }
298
299     function multicache($cls, $kv)
300     {
301         ksort($kv);
302         $c = self::memcache();
303         if (!$c) {
304             return false;
305         } else {
306             return $c->get(self::multicacheKey($cls, $kv));
307         }
308     }
309
310     static function multicacheKey($cls, $kv)
311     {
312         ksort($kv);
313         $pkeys = implode(',', array_keys($kv));
314         $pvals = implode(',', array_values($kv));
315         return self::cacheKey($cls, $pkeys, $pvals);
316     }
317
318     function getSearchEngine($table)
319     {
320         require_once INSTALLDIR.'/lib/search_engines.php';
321         static $search_engine;
322         if (!isset($search_engine)) {
323             if (Event::handle('GetSearchEngine', array($this, $table, &$search_engine))) {
324                 if ('mysql' === common_config('db', 'type')) {
325                     $type = common_config('search', 'type');
326                     if ($type == 'like') {
327                         $search_engine = new MySQLLikeSearch($this, $table);
328                     } else if ($type == 'fulltext') {
329                         $search_engine = new MySQLSearch($this, $table);
330                     } else {
331                         throw new ServerException('Unknown search type: ' . $type);
332                     }
333                 } else {
334                     $search_engine = new PGSearch($this, $table);
335                 }
336             }
337         }
338         return $search_engine;
339     }
340
341     static function cachedQuery($cls, $qry, $expiry=3600)
342     {
343         $c = Memcached_DataObject::memcache();
344         if (!$c) {
345             $inst = new $cls();
346             $inst->query($qry);
347             return $inst;
348         }
349         $key_part = common_keyize($cls).':'.md5($qry);
350         $ckey = common_cache_key($key_part);
351         $stored = $c->get($ckey);
352
353         if ($stored !== false) {
354             return new ArrayWrapper($stored);
355         }
356
357         $inst = new $cls();
358         $inst->query($qry);
359         $cached = array();
360         while ($inst->fetch()) {
361             $cached[] = clone($inst);
362         }
363         $inst->free();
364         $c->set($ckey, $cached, MEMCACHE_COMPRESSED, $expiry);
365         return new ArrayWrapper($cached);
366     }
367
368     /**
369      * sends query to database - this is the private one that must work 
370      *   - internal functions use this rather than $this->query()
371      *
372      * Overridden to do logging.
373      *
374      * @param  string  $string
375      * @access private
376      * @return mixed none or PEAR_Error
377      */
378     function _query($string)
379     {
380         $start = microtime(true);
381         $result = parent::_query($string);
382         $delta = microtime(true) - $start;
383
384         $limit = common_config('db', 'log_slow_queries');
385         if (($limit > 0 && $delta >= $limit) || common_config('db', 'log_queries')) {
386             $clean = $this->sanitizeQuery($string);
387             common_log(LOG_DEBUG, sprintf("DB query (%0.3fs): %s", $delta, $clean));
388         }
389         return $result;
390     }
391
392     // Sanitize a query for logging
393     // @fixme don't trim spaces in string literals
394     function sanitizeQuery($string)
395     {
396         $string = preg_replace('/\s+/', ' ', $string);
397         $string = trim($string);
398         return $string;
399     }
400
401     // We overload so that 'SET NAMES "utf8"' is called for
402     // each connection
403
404     function _connect()
405     {
406         global $_DB_DATAOBJECT;
407
408         $sum = $this->_getDbDsnMD5();
409
410         if (!empty($_DB_DATAOBJECT['CONNECTIONS'][$sum]) &&
411             !PEAR::isError($_DB_DATAOBJECT['CONNECTIONS'][$sum])) {
412             $exists = true;
413         } else {
414             $exists = false;
415        }
416
417         // @fixme horrible evil hack!
418         //
419         // In multisite configuration we don't want to keep around a separate
420         // connection for every database; we could end up with thousands of
421         // connections open per thread. In an ideal world we might keep
422         // a connection per server and select different databases, but that'd
423         // be reliant on having the same db username/pass as well.
424         //
425         // MySQL connections are cheap enough we're going to try just
426         // closing out the old connection and reopening when we encounter
427         // a new DSN.
428         //
429         // WARNING WARNING if we end up actually using multiple DBs at a time
430         // we'll need some fancier logic here.
431         if (!$exists && !empty($_DB_DATAOBJECT['CONNECTIONS'])) {
432             foreach ($_DB_DATAOBJECT['CONNECTIONS'] as $index => $conn) {
433                 if (!empty($conn)) {
434                     $conn->disconnect();
435                 }
436                 unset($_DB_DATAOBJECT['CONNECTIONS'][$index]);
437             }
438         }
439
440         $result = parent::_connect();
441
442         if ($result && !$exists) {
443             $DB = &$_DB_DATAOBJECT['CONNECTIONS'][$this->_database_dsn_md5];
444             if (common_config('db', 'type') == 'mysql' &&
445                 common_config('db', 'utf8')) {
446                 $conn = $DB->connection;
447                 if (!empty($conn)) {
448                     if ($DB instanceof DB_mysqli) {
449                         mysqli_set_charset($conn, 'utf8');
450                     } else if ($DB instanceof DB_mysql) {
451                         mysql_set_charset('utf8', $conn);
452                     }
453                 }
454             }
455         }
456
457         return $result;
458     }
459
460     // XXX: largely cadged from DB_DataObject
461
462     function _getDbDsnMD5()
463     {
464         if ($this->_database_dsn_md5) {
465             return $this->_database_dsn_md5;
466         }
467
468         $dsn = $this->_getDbDsn();
469
470         if (is_string($dsn)) {
471             $sum = md5($dsn);
472         } else {
473             /// support array based dsn's
474             $sum = md5(serialize($dsn));
475         }
476
477         return $sum;
478     }
479
480     function _getDbDsn()
481     {
482         global $_DB_DATAOBJECT;
483
484         if (empty($_DB_DATAOBJECT['CONFIG'])) {
485             DB_DataObject::_loadConfig();
486         }
487
488         $options = &$_DB_DATAOBJECT['CONFIG'];
489
490         // if the databse dsn dis defined in the object..
491
492         $dsn = isset($this->_database_dsn) ? $this->_database_dsn : null;
493
494         if (!$dsn) {
495
496             if (!$this->_database) {
497                 $this->_database = isset($options["table_{$this->__table}"]) ? $options["table_{$this->__table}"] : null;
498             }
499
500             if ($this->_database && !empty($options["database_{$this->_database}"]))  {
501                 $dsn = $options["database_{$this->_database}"];
502             } else if (!empty($options['database'])) {
503                 $dsn = $options['database'];
504             }
505         }
506
507         if (!$dsn) {
508             throw new Exception("No database name / dsn found anywhere");
509         }
510
511         return $dsn;
512     }
513
514     static function blow()
515     {
516         $c = self::memcache();
517
518         if (empty($c)) {
519             return false;
520         }
521
522         $args = func_get_args();
523
524         $format = array_shift($args);
525
526         $keyPart = vsprintf($format, $args);
527
528         $cacheKey = common_cache_key($keyPart);
529
530         return $c->delete($cacheKey);
531     }
532 }