lib/schema.php

   1 <?php
   2 /**
   3  * StatusNet, the distributed open-source microblogging tool
   4  *
   5  * Database schema utilities
   6  *
   7  * PHP version 5
   8  *
   9  * LICENCE: This program is free software: you can redistribute it and/or modify
  10  * it under the terms of the GNU Affero General Public License as published by
  11  * the Free Software Foundation, either version 3 of the License, or
  12  * (at your option) any later version.
  13  *
  14  * This program is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17  * GNU Affero General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Affero General Public License
  20  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  21  *
  22  * @category  Database
  23  * @package   StatusNet
  24  * @author    Evan Prodromou <evan@status.net>
  25  * @copyright 2009 StatusNet, Inc.
  26  * @license   http://www.fsf.org/licensing/licenses/agpl-3.0.html GNU Affero General Public License version 3.0
  27  * @link      http://status.net/
  28  */
  29
  30 if (!defined('STATUSNET')) {
  31     exit(1);
  32 }
  33
  34 /**
  35  * Class representing the database schema
  36  *
  37  * A class representing the database schema. Can be used to
  38  * manipulate the schema -- especially for plugins and upgrade
  39  * utilities.
  40  *
  41  * @category Database
  42  * @package  StatusNet
  43  * @author   Evan Prodromou <evan@status.net>
  44  * @author   Brion Vibber <brion@status.net>
  45  * @license  http://www.fsf.org/licensing/licenses/agpl-3.0.html GNU Affero General Public License version 3.0
  46  * @link     http://status.net/
  47  */
  48
  49 class Schema
  50 {
  51     static $_static = null;
  52     protected $conn = null;
  53
  54     /**
  55      * Constructor. Only run once for singleton object.
  56      */
  57
  58     protected function __construct($conn = null)
  59     {
  60         if (is_null($conn)) {
  61             // XXX: there should be an easier way to do this.
  62             $user = new User();
  63             $conn = $user->getDatabaseConnection();
  64             $user->free();
  65             unset($user);
  66         }
  67
  68         $this->conn = $conn;
  69     }
  70
  71     /**
  72      * Main public entry point. Use this to get
  73      * the schema object.
  74      *
  75      * @return Schema the Schema object for the connection
  76      */
  77
  78     static function get($conn = null)
  79     {
  80         if (is_null($conn)) {
  81             $key = 'default';
  82         } else {
  83             $key = md5(serialize($conn->dsn));
  84         }
  85
  86         $type = common_config('db', 'type');
  87         if (empty(self::$_static[$key])) {
  88             $schemaClass = ucfirst($type).'Schema';
  89             self::$_static[$key] = new $schemaClass($conn);
  90         }
  91         return self::$_static[$key];
  92     }
  93
  94     /**
  95      * Gets a ColumnDef object for a single column.
  96      *
  97      * Throws an exception if the table is not found.
  98      *
  99      * @param string $table  name of the table
 100      * @param string $column name of the column
 101      *
 102      * @return ColumnDef definition of the column or null
 103      *                   if not found.
 104      */
 105
 106     public function getColumnDef($table, $column)
 107     {
 108         $td = $this->getTableDef($table);
 109
 110         foreach ($td->columns as $cd) {
 111             if ($cd->name == $column) {
 112                 return $cd;
 113             }
 114         }
 115
 116         return null;
 117     }
 118
 119     /**
 120      * Creates a table with the given names and columns.
 121      *
 122      * @param string $name    Name of the table
 123      * @param array  $columns Array of ColumnDef objects
 124      *                        for new table.
 125      *
 126      * @return boolean success flag
 127      */
 128
 129     public function createTable($name, $columns)
 130     {
 131         $statements = $this->buildCreateTable($tableName, $def);
 132         return $this->runSqlSet($statements);
 133     }
 134
 135     /**
 136      * Build a set of SQL statements to create a table with the given
 137      * name and columns.
 138      *
 139      * @param string $name    Name of the table
 140      * @param array  $def     Table definition array
 141      *
 142      * @return boolean success flag
 143      */
 144     public function buildCreateTable($name, $def)
 145     {
 146         $sql = array();
 147
 148         foreach ($def['fields'] as $col => $colDef) {
 149             $this->appendColumnDef($sql, $col, $colDef);
 150         }
 151
 152         // Primary and unique keys are constraints, so go within
 153         // the CREATE TABLE statement normally.
 154         if (!empty($def['primary key'])) {
 155             $this->appendPrimaryKeyDef($sql, $def['primary key']);
 156         }
 157
 158         if (!empty($def['unique keys'])) {
 159             foreach ($def['unique keys'] as $col => $colDef) {
 160                 $this->appendUniqueKeyDef($sql, $col, $colDef);
 161             }
 162         }
 163
 164         // Multi-value indexes are advisory and for best portability
 165         // should be created as separate statements.
 166         $statements = array();
 167         $statements[] = $this->startCreateTable($name, $def) . "\n" .
 168                         implode($sql, ",\n") . "\n" .
 169                         $this->endCreateTable($name, $def);
 170         if (!empty($def['indexes'])) {
 171             foreach ($def['indexes'] as $col => $colDef) {
 172                 $this->appendCreateIndex($statements, $name, $col, $colDef);
 173             }
 174         }
 175
 176         return $statements;
 177     }
 178
 179     /**
 180      * Set up a 'create table' SQL statement.
 181      *
 182      * @param string $name table name
 183      * @param array $def table definition
 184      * @param $string
 185      */
 186     function startCreateTable($name, array $def)
 187     {
 188         return 'CREATE TABLE ' . $this->quoteIdentifier($name)  . ' (';
 189     }
 190
 191     /**
 192      * Close out a 'create table' SQL statement.
 193      *
 194      * @param string $name table name
 195      * @param array $def table definition
 196      * @return string
 197      */
 198     function endCreateTable($name, array $def)
 199     {
 200         return ')';
 201     }
 202
 203     /**
 204      * Append an SQL fragment with a column definition in a CREATE TABLE statement.
 205      *
 206      * @param array $sql
 207      * @param string $name
 208      * @param array $def
 209      */
 210     function appendColumnDef(array &$sql, $name, array $def)
 211     {
 212         $sql[] = "$name " . $this->columnSql($def);
 213     }
 214
 215     /**
 216      * Append an SQL fragment with a constraint definition for a primary
 217      * key in a CREATE TABLE statement.
 218      *
 219      * @param array $sql
 220      * @param array $def
 221      */
 222     function appendPrimaryKeyDef(array &$sql, array $def)
 223     {
 224         $sql[] = "PRIMARY KEY " . $this->buildIndexList($def);
 225     }
 226
 227     /**
 228      * Append an SQL fragment with a constraint definition for a primary
 229      * key in a CREATE TABLE statement.
 230      *
 231      * @param array $sql
 232      * @param string $name
 233      * @param array $def
 234      */
 235     function appendUniqueKeyDef(array &$sql, $name, array $def)
 236     {
 237         $sql[] = "UNIQUE $key " . $this->buildIndexList($def);
 238     }
 239
 240     /**
 241      * Append an SQL statement with an index definition for an advisory
 242      * index over one or more columns on a table.
 243      *
 244      * @param array $statements
 245      * @param string $table
 246      * @param string $name
 247      * @param array $def
 248      */
 249     function appendCreateIndex(array &$statements, $table, $name, array $def)
 250     {
 251         $statements[] = "CREATE INDEX $name ON $table " . $this->buildIndexList($def);
 252     }
 253
 254     function buildIndexList(array $def)
 255     {
 256         // @fixme
 257         return '(' . implode(',', array_map(array($this, 'buildIndexItem'), $def)) . ')';
 258     }
 259
 260     function buildIndexItem($def)
 261     {
 262         if (is_array($def)) {
 263             list($name, $size) = $def;
 264             return $this->quoteIdentifier($name) . '(' . intval($size) . ')';
 265         }
 266         return $this->quoteIdentifier($def);
 267     }
 268
 269     /**
 270      * Drops a table from the schema
 271      *
 272      * Throws an exception if the table is not found.
 273      *
 274      * @param string $name Name of the table to drop
 275      *
 276      * @return boolean success flag
 277      */
 278
 279     public function dropTable($name)
 280     {
 281         $res = $this->conn->query("DROP TABLE $name");
 282
 283         if (PEAR::isError($res)) {
 284             throw new Exception($res->getMessage());
 285         }
 286
 287         return true;
 288     }
 289
 290     /**
 291      * Adds an index to a table.
 292      *
 293      * If no name is provided, a name will be made up based
 294      * on the table name and column names.
 295      *
 296      * Throws an exception on database error, esp. if the table
 297      * does not exist.
 298      *
 299      * @param string $table       Name of the table
 300      * @param array  $columnNames Name of columns to index
 301      * @param string $name        (Optional) name of the index
 302      *
 303      * @return boolean success flag
 304      */
 305
 306     public function createIndex($table, $columnNames, $name=null)
 307     {
 308         if (!is_array($columnNames)) {
 309             $columnNames = array($columnNames);
 310         }
 311
 312         if (empty($name)) {
 313             $name = "{$table}_".implode("_", $columnNames)."_idx";
 314         }
 315
 316         $res = $this->conn->query("ALTER TABLE $table ".
 317                                    "ADD INDEX $name (".
 318                                    implode(",", $columnNames).")");
 319
 320         if (PEAR::isError($res)) {
 321             throw new Exception($res->getMessage());
 322         }
 323
 324         return true;
 325     }
 326
 327     /**
 328      * Drops a named index from a table.
 329      *
 330      * @param string $table name of the table the index is on.
 331      * @param string $name  name of the index
 332      *
 333      * @return boolean success flag
 334      */
 335
 336     public function dropIndex($table, $name)
 337     {
 338         $res = $this->conn->query("ALTER TABLE $table DROP INDEX $name");
 339
 340         if (PEAR::isError($res)) {
 341             throw new Exception($res->getMessage());
 342         }
 343
 344         return true;
 345     }
 346
 347     /**
 348      * Adds a column to a table
 349      *
 350      * @param string    $table     name of the table
 351      * @param ColumnDef $columndef Definition of the new
 352      *                             column.
 353      *
 354      * @return boolean success flag
 355      */
 356
 357     public function addColumn($table, $columndef)
 358     {
 359         $sql = "ALTER TABLE $table ADD COLUMN " . $this->_columnSql($columndef);
 360
 361         $res = $this->conn->query($sql);
 362
 363         if (PEAR::isError($res)) {
 364             throw new Exception($res->getMessage());
 365         }
 366
 367         return true;
 368     }
 369
 370     /**
 371      * Modifies a column in the schema.
 372      *
 373      * The name must match an existing column and table.
 374      *
 375      * @param string    $table     name of the table
 376      * @param ColumnDef $columndef new definition of the column.
 377      *
 378      * @return boolean success flag
 379      */
 380
 381     public function modifyColumn($table, $columndef)
 382     {
 383         $sql = "ALTER TABLE $table MODIFY COLUMN " .
 384           $this->_columnSql($columndef);
 385
 386         $res = $this->conn->query($sql);
 387
 388         if (PEAR::isError($res)) {
 389             throw new Exception($res->getMessage());
 390         }
 391
 392         return true;
 393     }
 394
 395     /**
 396      * Drops a column from a table
 397      *
 398      * The name must match an existing column.
 399      *
 400      * @param string $table      name of the table
 401      * @param string $columnName name of the column to drop
 402      *
 403      * @return boolean success flag
 404      */
 405
 406     public function dropColumn($table, $columnName)
 407     {
 408         $sql = "ALTER TABLE $table DROP COLUMN $columnName";
 409
 410         $res = $this->conn->query($sql);
 411
 412         if (PEAR::isError($res)) {
 413             throw new Exception($res->getMessage());
 414         }
 415
 416         return true;
 417     }
 418
 419     /**
 420      * Ensures that a table exists with the given
 421      * name and the given column definitions.
 422      *
 423      * If the table does not yet exist, it will
 424      * create the table. If it does exist, it will
 425      * alter the table to match the column definitions.
 426      *
 427      * @param string $tableName name of the table
 428      * @param array  $def       Table definition array
 429      *
 430      * @return boolean success flag
 431      */
 432
 433     public function ensureTable($tableName, $def)
 434     {
 435         $statements = $this->buildEnsureTable($tableName, $def);
 436         return $this->runSqlSet($statements);
 437     }
 438
 439     /**
 440      * Run a given set of SQL commands on the connection in sequence.
 441      * Empty input is ok.
 442      *
 443      * @fixme if multiple statements, wrap in a transaction?
 444      * @param array $statements
 445      * @return boolean success flag
 446      */
 447     function runSqlSet(array $statements)
 448     {
 449         $ok = true;
 450         foreach ($statements as $sql) {
 451             $res = $this->conn->query($sql);
 452
 453             if (PEAR::isError($res)) {
 454                 throw new Exception($res->getMessage());
 455             }
 456         }
 457         return $ok;
 458     }
 459
 460     /**
 461      * Check a table's status, and if needed build a set
 462      * of SQL statements which change it to be consistent
 463      * with the given table definition.
 464      *
 465      * If the table does not yet exist, statements will
 466      * be returned to create the table. If it does exist,
 467      * statements will be returned to alter the table to
 468      * match the column definitions.
 469      *
 470      * @param string $tableName name of the table
 471      * @param array  $columns   array of ColumnDef
 472      *                          objects for the table
 473      *
 474      * @return array of SQL statements
 475      */
 476
 477     function buildEnsureTable($tableName, $def)
 478     {
 479         try {
 480             $old = $this->getTableDef($tableName);
 481         } catch (Exception $e) {
 482             // @fixme this is a terrible check :D
 483             if (preg_match('/no such table/', $e->getMessage())) {
 484                 return $this->buildCreateTable($tableName, $def);
 485             } else {
 486                 throw $e;
 487             }
 488         }
 489
 490         $cur = array_keys($old['fields']);
 491         $new = array_keys($def['fields']);
 492
 493         $toadd  = array_diff($new, $cur);
 494         $todrop = array_diff($cur, $new);
 495         $same   = array_intersect($new, $cur);
 496         $tomod  = array();
 497
 498         // Find which fields have actually changed definition
 499         // in a way that we need to tweak them for this DB type.
 500         foreach ($same as $name) {
 501             $curCol = $old['fields'][$name];
 502             $newCol = $cur['fields'][$name];
 503
 504             if (!$this->columnsEqual($curCol, $newCol)) {
 505                 $tomod[] = $name;
 506             }
 507         }
 508
 509         if (count($toadd) + count($todrop) + count($tomod) == 0) {
 510             // nothing to do
 511             return true;
 512         }
 513
 514         // For efficiency, we want this all in one
 515         // query, instead of using our methods.
 516
 517         $phrase = array();
 518
 519         foreach ($toadd as $columnName) {
 520             $this->appendAlterAddColumn($phrase, $columnName,
 521                     $def['fields'][$columnName]);
 522         }
 523
 524         foreach ($todrop as $columnName) {
 525             $this->appendAlterModifyColumn($phrase, $columnName,
 526                     $old['fields'][$columnName],
 527                     $def['fields'][$columnName]);
 528         }
 529
 530         foreach ($tomod as $columnName) {
 531             $this->appendAlterDropColumn($phrase, $columnName);
 532         }
 533
 534         $sql = 'ALTER TABLE ' . $tableName . ' ' . implode(', ', $phrase);
 535
 536         $res = $this->conn->query($sql);
 537
 538         if (PEAR::isError($res)) {
 539             throw new Exception($res->getMessage());
 540         }
 541
 542         return true;
 543     }
 544
 545     /**
 546      * Append phrase(s) to an array of partial ALTER TABLE chunks in order
 547      * to add the given column definition to the table.
 548      *
 549      * @param array $phrase
 550      * @param string $columnName
 551      * @param array $cd
 552      */
 553     function appendAlterAddColumn(array &$phrase, $columnName, array $cd)
 554     {
 555         $phrase[] = 'ADD COLUMN ' .
 556                     $this->quoteIdentifier($columnName) .
 557                     ' ' .
 558                     $this->columnSql($cd);
 559     }
 560
 561     /**
 562      * Append phrase(s) to an array of partial ALTER TABLE chunks in order
 563      * to alter the given column from its old state to a new one.
 564      *
 565      * @param array $phrase
 566      * @param string $columnName
 567      * @param array $old previous column definition as found in DB
 568      * @param array $cd current column definition
 569      */
 570     function appendAlterModifyColumn(array &$phrase, $columnName, array $old, array $cd)
 571     {
 572         $phrase[] = 'MODIFY COLUMN ' .
 573                     $this->quoteIdentifier($columnName) .
 574                     ' ' .
 575                     $this->columnSql($cd);
 576     }
 577
 578     /**
 579      * Append phrase(s) to an array of partial ALTER TABLE chunks in order
 580      * to drop the given column definition from the table.
 581      *
 582      * @param array $phrase
 583      * @param string $columnName
 584      */
 585     function appendAlterDropColumn(array &$phrase, $columnName)
 586     {
 587         $phrase[] = 'DROP COLUMN ' . $this->quoteIdentifier($columnName);
 588     }
 589
 590     /**
 591      * Quote a db/table/column identifier if necessary.
 592      *
 593      * @param string $name
 594      * @return string
 595      */
 596     function quoteIdentifier($name)
 597     {
 598         return $name;
 599     }
 600
 601     function quoteDefaultValue($cd)
 602     {
 603         if ($cd['type'] == 'datetime' && $cd['default'] == 'CURRENT_TIMESTAMP') {
 604             return $cd['default'];
 605         } else {
 606             return $this->quoteValue($cd['default']);
 607         }
 608     }
 609
 610     function quoteValue($val)
 611     {
 612         if (is_int($val) || is_float($val) || is_double($val)) {
 613             return strval($val);
 614         } else {
 615             return '"' . $this->conn->escapeSimple($val) . '"';
 616         }
 617     }
 618
 619     /**
 620      * Check if two column definitions are equivalent.
 621      * The default implementation checks _everything_ but in many cases
 622      * you may be able to discard a bunch of equivalencies.
 623      *
 624      * @param array $a
 625      * @param array $b
 626      * @return boolean
 627      */
 628     function columnsEqual(array $a, array $b)
 629     {
 630         return !array_diff_assoc($a, $b) && !array_diff_assoc($b, $a);
 631     }
 632
 633     /**
 634      * Returns the array of names from an array of
 635      * ColumnDef objects.
 636      *
 637      * @param array $cds array of ColumnDef objects
 638      *
 639      * @return array strings for name values
 640      */
 641
 642     protected function _names($cds)
 643     {
 644         $names = array();
 645
 646         foreach ($cds as $cd) {
 647             $names[] = $cd->name;
 648         }
 649
 650         return $names;
 651     }
 652
 653     /**
 654      * Get a ColumnDef from an array matching
 655      * name.
 656      *
 657      * @param array  $cds  Array of ColumnDef objects
 658      * @param string $name Name of the column
 659      *
 660      * @return ColumnDef matching item or null if no match.
 661      */
 662
 663     protected function _byName($cds, $name)
 664     {
 665         foreach ($cds as $cd) {
 666             if ($cd->name == $name) {
 667                 return $cd;
 668             }
 669         }
 670
 671         return null;
 672     }
 673
 674     /**
 675      * Return the proper SQL for creating or
 676      * altering a column.
 677      *
 678      * Appropriate for use in CREATE TABLE or
 679      * ALTER TABLE statements.
 680      *
 681      * @param ColumnDef $cd column to create
 682      *
 683      * @return string correct SQL for that column
 684      */
 685
 686     function columnSql(array $cd)
 687     {
 688         $line = array();
 689         $line[] = $this->typeAndSize($cd);
 690
 691         if (isset($cd['default'])) {
 692             $line[] = 'default';
 693             $line[] = $this->quoteDefaultValue($cd);
 694         } else if (!empty($cd['not null'])) {
 695             // Can't have both not null AND default!
 696             $line[] = 'not null';
 697         }
 698
 699         return implode(' ', $line);
 700     }
 701
 702     /**
 703      *
 704      * @param string $column canonical type name in defs
 705      * @return string native DB type name
 706      */
 707     function mapType($column)
 708     {
 709         return $column;
 710     }
 711
 712     function typeAndSize($column)
 713     {
 714         $type = $this->mapType($column);
 715         $lengths = array();
 716
 717         if ($column['type'] == 'numeric') {
 718             if (isset($column['precision'])) {
 719                 $lengths[] = $column['precision'];
 720                 if (isset($column['scale'])) {
 721                     $lengths[] = $column['scale'];
 722                 }
 723             }
 724         } else if (isset($column['length'])) {
 725             $lengths[] = $column['length'];
 726         }
 727
 728         if ($lengths) {
 729             return $type . '(' . implode(',', $lengths) . ')';
 730         } else {
 731             return $type;
 732         }
 733     }
 734
 735     /**
 736      * Map a native type back to an independent type + size
 737      *
 738      * @param string $type
 739      * @return array ($type, $size) -- $size may be null
 740      */
 741     protected function reverseMapType($type)
 742     {
 743         return array($type, null);
 744     }
 745
 746     /**
 747      * Convert an old-style set of ColumnDef objects into the current
 748      * Drupal-style schema definition array, for backwards compatibility
 749      * with plugins written for 0.9.x.
 750      *
 751      * @param string $tableName
 752      * @param array $defs
 753      * @return array
 754      */
 755     function oldToNew($tableName, $defs)
 756     {
 757         $table = array();
 758         $prefixes = array(
 759             'tiny',
 760             'small',
 761             'medium',
 762             'big',
 763         );
 764         foreach ($defs as $cd) {
 765             $cd->addToTableDef($table);
 766             $column = array();
 767             $column['type'] = $cd->type;
 768             foreach ($prefixes as $prefix) {
 769                 if (substr($cd->type, 0, strlen($prefix)) == $prefix) {
 770                     $column['type'] = substr($cd->type, strlen($prefix));
 771                     $column['size'] = $prefix;
 772                     break;
 773                 }
 774             }
 775
 776             if ($cd->size) {
 777                 if ($cd->type == 'varchar' || $cd->type == 'char') {
 778                     $column['length'] = $cd->size;
 779                 }
 780             }
 781             if (!$cd->nullable) {
 782                 $column['not null'] = true;
 783             }
 784             if ($cd->autoincrement) {
 785                 $column['type'] = 'serial';
 786             }
 787             if ($cd->default) {
 788                 $column['default'] = $cd->default;
 789             }
 790             $table['fields'][$cd->name] = $column;
 791
 792             if ($cd->key == 'PRI') {
 793                 // If multiple columns are defined as primary key,
 794                 // we'll pile them on in sequence.
 795                 if (!isset($table['primary key'])) {
 796                     $table['primary key'] = array();
 797                 }
 798                 $table['primary key'][] = $cd->name;
 799             } else if ($cd->key == 'MUL') {
 800                 // Individual multiple-value indexes are only per-column
 801                 // using the old ColumnDef syntax.
 802                 $idx = "{$tableName}_{$cd->name}_idx";
 803                 $table['indexes'][$idx] = array($cd->name);
 804             } else if ($cd->key == 'UNI') {
 805                 // Individual unique-value indexes are only per-column
 806                 // using the old ColumnDef syntax.
 807                 $idx = "{$tableName}_{$cd->name}_idx";
 808                 $table['unique keys'][$idx] = array($cd->name);
 809             }
 810         }
 811
 812         return $table;
 813     }
 814
 815     function isNumericType($type)
 816     {
 817         $type = strtolower($type);
 818         $known = array('int', 'serial', 'numeric');
 819         return in_array($type, $known);
 820     }
 821
 822     /**
 823      * Pull info from the query into a fun-fun array of dooooom
 824      *
 825      * @param string $sql
 826      * @return array of arrays
 827      */
 828     protected function fetchQueryData($sql)
 829     {
 830         $res = $this->conn->query($sql);
 831         if (PEAR::isError($res)) {
 832             throw new Exception($res->getMessage());
 833         }
 834
 835         $out = array();
 836         $row = array();
 837         while ($res->fetchInto($row, DB_FETCHMODE_ASSOC)) {
 838             $out[] = $row;
 839         }
 840         $res->free();
 841
 842         return $out;
 843     }
 844
 845 }
 846
 847 class SchemaTableMissingException extends Exception
 848 {
 849     // no-op
 850 }
 851