]> git.mxchange.org Git - quix0rs-gnu-social.git/blobdiff - classes/Memcached_DataObject.php
New Managed_DataObject retrieval: listFind
[quix0rs-gnu-social.git] / classes / Memcached_DataObject.php
index d50b4071d1eeaef3548dd992675498bd991fad31..7689ea979bd14976da7efa8e49902442901c399c 100644 (file)
@@ -30,23 +30,23 @@ class Memcached_DataObject extends Safe_DataObject
      * @param mixed $v key field value, or leave out for primary key lookup
      * @return mixed Memcached_DataObject subtype or false
      */
-    function &staticGet($cls, $k, $v=null)
+    static function getClassKV($cls, $k, $v=null)
     {
+        if (!is_a($cls, __CLASS__, true)) {
+            throw new Exception('Trying to fetch ' . __CLASS__ . ' into a non-related class');
+        }
         if (is_null($v)) {
             $v = $k;
-            # XXX: HACK!
-            $i = new $cls;
-            $keys = $i->keys();
+            $keys = self::pkeyCols($cls);
+            if (count($keys) > 1) {
+                // FIXME: maybe call pkeyGetClass() ourselves?
+                throw new Exception('Use pkeyGetClass() for compound primary keys');
+            }
             $k = $keys[0];
-            unset($i);
         }
-        $i = Memcached_DataObject::getcached($cls, $k, $v);
+        $i = self::getcached($cls, $k, $v);
         if ($i === false) { // false == cache miss
-            $i = DB_DataObject::factory($cls);
-            if (empty($i)) {
-                $i = false;
-                return $i;
-            }
+            $i = new $cls;
             $result = $i->get($k, $v);
             if ($result) {
                 // Hit!
@@ -65,20 +65,324 @@ class Memcached_DataObject extends Safe_DataObject
     }
 
     /**
-     * @fixme Should this return false on lookup fail to match staticGet?
+     * Get multiple items from the database by key
+     *
+     * @param string  $cls       Class to fetch
+     * @param string  $keyCol    name of column for key
+     * @param array   $keyVals   key values to fetch
+     * @param boolean $skipNulls return only non-null results?
+     *
+     * @return array Array of objects, in order
      */
-    function pkeyGet($cls, $kv)
+    static function multiGetClass($cls, $keyCol, array $keyVals, $skipNulls=true)
     {
+        $result = self::pivotGetClass($cls, $keyCol, $keyVals);
+
+        $values = array_values($result);
+
+        if ($skipNulls) {
+            $tmp = array();
+            foreach ($values as $value) {
+                if (!empty($value)) {
+                    $tmp[] = $value;
+                }
+            }
+            $values = $tmp;
+        }
+
+        return new ArrayWrapper($values);
+    }
+
+    /**
+     * Get multiple items from the database by key
+     *
+     * @param string  $cls       Class to fetch
+     * @param string  $keyCol    name of column for key
+     * @param array   $keyVals   key values to fetch
+     * @param boolean $otherCols Other columns to hold fixed
+     *
+     * @return array Array mapping $keyVals to objects, or null if not found
+     */
+    static function pivotGetClass($cls, $keyCol, array $keyVals, array $otherCols = array())
+    {
+        if (!is_a($cls, __CLASS__, true)) {
+            throw new Exception('Trying to fetch ' . __CLASS__ . ' into a non-related class');
+        }
+        if (is_array($keyCol)) {
+            foreach ($keyVals as $keyVal) {
+                $result[implode(',', $keyVal)] = null;
+            }
+        } else {
+            $result = array_fill_keys($keyVals, null);
+        }
+
+        $toFetch = array();
+
+        foreach ($keyVals as $keyVal) {
+
+            if (is_array($keyCol)) {
+                $kv = array_combine($keyCol, $keyVal);
+            } else {
+                $kv = array($keyCol => $keyVal);
+            }
+
+            $kv = array_merge($otherCols, $kv);
+
+            $i = self::multicache($cls, $kv);
+
+            if ($i !== false) {
+                if (is_array($keyCol)) {
+                    $result[implode(',', $keyVal)] = $i;
+                } else {
+                    $result[$keyVal] = $i;
+                }
+            } else if (!empty($keyVal)) {
+                $toFetch[] = $keyVal;
+            }
+        }
+
+        if (count($toFetch) > 0) {
+            $i = new $cls;
+            foreach ($otherCols as $otherKeyCol => $otherKeyVal) {
+                $i->$otherKeyCol = $otherKeyVal;
+            }
+            if (is_array($keyCol)) {
+                $i->whereAdd(self::_inMultiKey($i, $keyCol, $toFetch));
+            } else {
+                $i->whereAddIn($keyCol, $toFetch, $i->columnType($keyCol));
+            }
+            if ($i->find()) {
+                while ($i->fetch()) {
+                    $copy = clone($i);
+                    $copy->encache();
+                    if (is_array($keyCol)) {
+                        $vals = array();
+                        foreach ($keyCol as $k) {
+                            $vals[] = $i->$k;
+                        }
+                        $result[implode(',', $vals)] = $copy;
+                    } else {
+                        $result[$i->$keyCol] = $copy;
+                    }
+                }
+            }
+
+            // Save state of DB misses
+
+            foreach ($toFetch as $keyVal) {
+                $r = null;
+                if (is_array($keyCol)) {
+                    $r = $result[implode(',', $keyVal)];
+                } else {
+                    $r = $result[$keyVal];
+                }
+                if (empty($r)) {
+                    if (is_array($keyCol)) {
+                        $kv = array_combine($keyCol, $keyVal);
+                    } else {
+                        $kv = array($keyCol => $keyVal);
+                    }
+                    $kv = array_merge($otherCols, $kv);
+                    // save the fact that no such row exists
+                    $c = self::memcache();
+                    if (!empty($c)) {
+                        $ck = self::multicacheKey($cls, $kv);
+                        $c->set($ck, null);
+                    }
+                }
+            }
+        }
+
+        return $result;
+    }
+
+    static function _inMultiKey($i, $cols, $values)
+    {
+        $types = array();
+
+        foreach ($cols as $col) {
+            $types[$col] = $i->columnType($col);
+        }
+
+        $first = true;
+
+        $query = '';
+
+        foreach ($values as $value) {
+            if ($first) {
+                $query .= '( ';
+                $first = false;
+            } else {
+                $query .= ' OR ';
+            }
+            $query .= '( ';
+            $i = 0;
+            $firstc = true;
+            foreach ($cols as $col) {
+                if (!$firstc) {
+                    $query .= ' AND ';
+                } else {
+                    $firstc = false;
+                }
+                switch ($types[$col]) {
+                case 'string':
+                case 'datetime':
+                    $query .= sprintf("%s = %s", $col, $i->_quote($value[$i]));
+                    break;
+                default:
+                    $query .= sprintf("%s = %s", $col, $value[$i]);
+                    break;
+                }
+            }
+            $query .= ') ';
+        }
+
+        if (!$first) {
+            $query .= ' )';
+        }
+
+        return $query;
+    }
+
+    static function pkeyCols($cls)
+    {
+        if (!is_a($cls, __CLASS__, true)) {
+            throw new Exception('Trying to fetch ' . __CLASS__ . ' into a non-related class');
+        }
+        $i = new $cls;
+        $types = $i->keyTypes();
+        ksort($types);
+
+        $pkey = array();
+
+        foreach ($types as $key => $type) {
+            if ($type == 'K' || $type == 'N') {
+                $pkey[] = $key;
+            }
+        }
+
+        return $pkey;
+    }
+
+    static function listFindClass($cls, $keyCol, array $keyVals)
+    {
+        if (!is_a($cls, __CLASS__, true)) {
+            throw new Exception('Trying to fetch ' . __CLASS__ . ' into a non-related class');
+        }
+
+        $i = new $cls;
+        $i->whereAddIn($keyCol, $keyVals, $i->columnType($keyCol));
+        if (!$i->find()) {
+            throw new NoResultException($i);
+        }
+
+        sprintf(__CLASS__ . "() got {$i->N} results for class $cls key $keyCol");
+        return $i;
+    }
+
+    static function listGetClass($cls, $keyCol, array $keyVals)
+    {
+        if (!is_a($cls, __CLASS__, true)) {
+            throw new Exception('Trying to fetch ' . __CLASS__ . ' into a non-related class');
+        }
+        $pkeyMap = array_fill_keys($keyVals, array());
+        $result = array_fill_keys($keyVals, array());
+
+        $pkeyCols = self::pkeyCols($cls);
+
+        $toFetch = array();
+        $allPkeys = array();
+
+        // We only cache keys -- not objects!
+
+        foreach ($keyVals as $keyVal) {
+            $l = self::cacheGet(sprintf("%s:list-ids:%s:%s", strtolower($cls), $keyCol, $keyVal));
+            if ($l !== false) {
+                $pkeyMap[$keyVal] = $l;
+                foreach ($l as $pkey) {
+                    $allPkeys[] = $pkey;
+                }
+            } else {
+                $toFetch[] = $keyVal;
+            }
+        }
+
+        if (count($allPkeys) > 0) {
+            $keyResults = self::pivotGetClass($cls, $pkeyCols, $allPkeys);
+
+            foreach ($pkeyMap as $keyVal => $pkeyList) {
+                foreach ($pkeyList as $pkeyVal) {
+                    $i = $keyResults[implode(',',$pkeyVal)];
+                    if (!empty($i)) {
+                        $result[$keyVal][] = $i;
+                    }
+                }
+            }
+        }
+
+        if (count($toFetch) > 0) {
+            try {
+                $i = self::listFindClass($cls, $keyCol, $toFetch);
+
+                while ($i->fetch()) {
+                    $copy = clone($i);
+                    $copy->encache();
+                    $result[$i->$keyCol][] = $copy;
+                    $pkeyVal = array();
+                    foreach ($pkeyCols as $pkeyCol) {
+                        $pkeyVal[] = $i->$pkeyCol;
+                    }
+                    $pkeyMap[$i->$keyCol][] = $pkeyVal;
+                }
+            } catch (NoResultException $e) {
+                // no results foudn for our keyVals, so we leave them as empty arrays
+            }
+            foreach ($toFetch as $keyVal) {
+                self::cacheSet(sprintf("%s:list-ids:%s:%s", strtolower($cls), $keyCol, $keyVal),
+                               $pkeyMap[$keyVal]);
+            }
+        }
+
+        return $result;
+    }
+
+    function columnType($columnName)
+    {
+        $keys = $this->table();
+        if (!array_key_exists($columnName, $keys)) {
+            throw new Exception('Unknown key column ' . $columnName . ' in ' . join(',', array_keys($keys)));
+        }
+
+        $def = $keys[$columnName];
+
+        if ($def & DB_DATAOBJECT_INT) {
+            return 'integer';
+        } else {
+            return 'string';
+        }
+    }
+
+    /**
+     * @todo FIXME: Should this return false on lookup fail to match getKV?
+     */
+    static function pkeyGetClass($cls, array $kv)
+    {
+        if (!is_a($cls, __CLASS__, true)) {
+            throw new Exception('Trying to fetch ' . __CLASS__ . ' into a non-related class');
+        }
         $i = Memcached_DataObject::multicache($cls, $kv);
         if ($i !== false) { // false == cache miss
             return $i;
         } else {
-            $i = DB_DataObject::factory($cls);
-            if (empty($i) || PEAR::isError($i)) {
-                return false;
-            }
+            $i = new $cls;
             foreach ($kv as $k => $v) {
-                $i->$k = $v;
+                if (is_null($v)) {
+                    // XXX: possible SQL injection...? Don't
+                    // pass keys from the browser, eh.
+                    $i->whereAdd("$k is null");
+                } else {
+                    $i->$k = $v;
+                }
             }
             if ($i->find(true)) {
                 $i->encache();
@@ -124,7 +428,7 @@ class Memcached_DataObject extends Safe_DataObject
     }
 
     static function memcache() {
-        return common_memcache();
+        return Cache::instance();
     }
 
     static function cacheKey($cls, $k, $v) {
@@ -134,7 +438,7 @@ class Memcached_DataObject extends Safe_DataObject
                 str_replace("\n", " ", $e->getTraceAsString()));
         }
         $vstr = self::valueString($v);
-        return common_cache_key(strtolower($cls).':'.$k.':'.$vstr);
+        return Cache::key(strtolower($cls).':'.$k.':'.$vstr);
     }
 
     static function getcached($cls, $k, $v) {
@@ -251,7 +555,7 @@ class Memcached_DataObject extends Safe_DataObject
         return $ckeys;
     }
 
-    function multicache($cls, $kv)
+    static function multicache($cls, $kv)
     {
         ksort($kv);
         $c = self::memcache();
@@ -273,24 +577,23 @@ class Memcached_DataObject extends Safe_DataObject
     function getSearchEngine($table)
     {
         require_once INSTALLDIR.'/lib/search_engines.php';
-        static $search_engine;
-        if (!isset($search_engine)) {
-            if (Event::handle('GetSearchEngine', array($this, $table, &$search_engine))) {
-                if ('mysql' === common_config('db', 'type')) {
-                    $type = common_config('search', 'type');
-                    if ($type == 'like') {
-                        $search_engine = new MySQLLikeSearch($this, $table);
-                    } else if ($type == 'fulltext') {
-                        $search_engine = new MySQLSearch($this, $table);
-                    } else {
-                        // Low level exception. No need for i18n as discussed with Brion.
-                        throw new ServerException('Unknown search type: ' . $type);
-                    }
+
+        if (Event::handle('GetSearchEngine', array($this, $table, &$search_engine))) {
+            if ('mysql' === common_config('db', 'type')) {
+                $type = common_config('search', 'type');
+                if ($type == 'like') {
+                    $search_engine = new MySQLLikeSearch($this, $table);
+                } else if ($type == 'fulltext') {
+                    $search_engine = new MySQLSearch($this, $table);
                 } else {
-                    $search_engine = new PGSearch($this, $table);
+                    // Low level exception. No need for i18n as discussed with Brion.
+                    throw new ServerException('Unknown search type: ' . $type);
                 }
+            } else {
+                $search_engine = new PGSearch($this, $table);
             }
         }
+
         return $search_engine;
     }
 
@@ -302,8 +605,8 @@ class Memcached_DataObject extends Safe_DataObject
             $inst->query($qry);
             return $inst;
         }
-        $key_part = common_keyize($cls).':'.md5($qry);
-        $ckey = common_cache_key($key_part);
+        $key_part = Cache::keyize($cls).':'.md5($qry);
+        $ckey = Cache::key($key_part);
         $stored = $c->get($ckey);
 
         if ($stored !== false) {
@@ -338,9 +641,15 @@ class Memcached_DataObject extends Safe_DataObject
         }
 
         $start = microtime(true);
+        $fail = false;
         $result = null;
         if (Event::handle('StartDBQuery', array($this, $string, &$result))) {
-            $result = parent::_query($string);
+            common_perf_counter('query', $string);
+            try {
+                $result = parent::_query($string);
+            } catch (Exception $e) {
+                $fail = $e;
+            }
             Event::handle('EndDBQuery', array($this, $string, &$result));
         }
         $delta = microtime(true) - $start;
@@ -348,7 +657,16 @@ class Memcached_DataObject extends Safe_DataObject
         $limit = common_config('db', 'log_slow_queries');
         if (($limit > 0 && $delta >= $limit) || common_config('db', 'log_queries')) {
             $clean = $this->sanitizeQuery($string);
-            common_log(LOG_DEBUG, sprintf("DB query (%0.3fs): %s", $delta, $clean));
+            if ($fail) {
+                $msg = sprintf("FAILED DB query (%0.3fs): %s - %s", $delta, $fail->getMessage(), $clean);
+            } else {
+                $msg = sprintf("DB query (%0.3fs): %s", $delta, $clean);
+            }
+            common_log(LOG_DEBUG, $msg);
+        }
+
+        if ($fail) {
+            throw $fail;
         }
         return $result;
     }
@@ -375,8 +693,10 @@ class Memcached_DataObject extends Safe_DataObject
                         'delete',
                         'update',
                         'find');
-        $ignoreStatic = array('staticGet',
+        $ignoreStatic = array('getKV',
+                              'getClassKV',
                               'pkeyGet',
+                              'pkeyGetClass',
                               'cachedQuery');
         $here = get_class($this); // if we get confused
         $bt = debug_backtrace();
@@ -395,7 +715,7 @@ class Memcached_DataObject extends Safe_DataObject
                     continue;
                 }
                 if (in_array($func, $ignoreStatic)) {
-                    continue; // @fixme this shouldn't be needed?
+                    continue; // @todo FIXME: This shouldn't be needed?
                 }
                 $here = get_class($frame['object']) . '->' . $func;
                 break;
@@ -480,6 +800,10 @@ class Memcached_DataObject extends Safe_DataObject
                     }
                 }
             }
+            // Needed to make timestamp values usefully comparable.
+            if (common_config('db', 'type') == 'mysql') {
+                parent::_query("set time_zone='+0:00'");
+            }
         }
 
         return $result;
@@ -534,7 +858,7 @@ class Memcached_DataObject extends Safe_DataObject
 
         if (!$dsn) {
             // TRANS: Exception thrown when database name or Data Source Name could not be found.
-            throw new Exception(_("No database name or DSN found anywhere."));
+            throw new Exception(_('No database name or DSN found anywhere.'));
         }
 
         return $dsn;
@@ -554,7 +878,7 @@ class Memcached_DataObject extends Safe_DataObject
 
         $keyPart = vsprintf($format, $args);
 
-        $cacheKey = common_cache_key($keyPart);
+        $cacheKey = Cache::key($keyPart);
 
         return $c->delete($cacheKey);
     }
@@ -596,7 +920,7 @@ class Memcached_DataObject extends Safe_DataObject
             return false;
         }
 
-        $cacheKey = common_cache_key($keyPart);
+        $cacheKey = Cache::key($keyPart);
 
         return $c->get($cacheKey);
     }
@@ -609,7 +933,7 @@ class Memcached_DataObject extends Safe_DataObject
             return false;
         }
 
-        $cacheKey = common_cache_key($keyPart);
+        $cacheKey = Cache::key($keyPart);
 
         return $c->set($cacheKey, $value, $flag, $expiry);
     }