scripts/fixup_utf8.php

   1 #!/usr/bin/env php
   2 <?php
   3 /*
   4  * Laconica - a distributed open-source microblogging tool
   5  * Copyright (C) 2009, Control Yourself, Inc.
   6  *
   7  * This program is free software: you can redistribute it and/or modify
   8  * it under the terms of the GNU Affero General Public License as published by
   9  * the Free Software Foundation, either version 3 of the License, or
  10  * (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU Affero General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Affero General Public License
  18  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19  */
  20
  21 # Abort if called from a web server
  22 if (isset($_SERVER) && array_key_exists('REQUEST_METHOD', $_SERVER)) {
  23     print "This script must be run from the command line\n";
  24     exit(1);
  25 }
  26
  27 ini_set("max_execution_time", "0");
  28 ini_set("max_input_time", "0");
  29 set_time_limit(0);
  30 mb_internal_encoding('UTF-8');
  31
  32 define('INSTALLDIR', realpath(dirname(__FILE__) . '/..'));
  33 define('LACONICA', true);
  34
  35 require_once(INSTALLDIR . '/lib/common.php');
  36 require_once('DB.php');
  37
  38 function fixup_utf8($max_id, $min_id) {
  39
  40     $dbl = doConnect('latin1');
  41
  42     if (empty($dbl)) {
  43         return;
  44     }
  45
  46     $dbu = doConnect('utf8');
  47
  48     if (empty($dbu)) {
  49         return;
  50     }
  51
  52     // Do a separate DB connection
  53
  54     $sth = $dbu->prepare("UPDATE notice SET content = UNHEX(?), rendered = UNHEX(?) WHERE id = ?");
  55
  56     if (PEAR::isError($sth)) {
  57         echo "ERROR: " . $sth->getMessage() . "\n";
  58         return;
  59     }
  60
  61     $sql = 'SELECT id, content, rendered FROM notice ' .
  62       'WHERE LENGTH(content) != CHAR_LENGTH(content)';
  63
  64     if (!empty($max_id)) {
  65         $sql .= ' AND id <= ' . $max_id;
  66     }
  67
  68     if (!empty($min_id)) {
  69         $sql .= ' AND id >= ' . $min_id;
  70     }
  71
  72     $sql .= ' ORDER BY id DESC';
  73
  74     $rn = $dbl->query($sql);
  75
  76     if (PEAR::isError($rn)) {
  77         echo "ERROR: " . $rn->getMessage() . "\n";
  78         return;
  79     }
  80
  81     echo "Number of rows: " . $rn->numRows() . "\n";
  82
  83     $notice = array();
  84
  85     while (DB_OK == $rn->fetchInto($notice)) {
  86
  87         $id = ($notice[0])+0;
  88         $content = bin2hex($notice[1]);
  89         $rendered = bin2hex($notice[2]);
  90
  91         echo "$id...";
  92
  93         $result =& $dbu->execute($sth, array($content, $rendered, $id));
  94
  95         if (PEAR::isError($result)) {
  96             echo "ERROR: " . $result->getMessage() . "\n";
  97             continue;
  98         }
  99
 100         $cnt = $dbu->affectedRows();
 101
 102         if ($cnt != 1) {
 103             echo "ERROR: 0 rows affected\n";
 104             continue;
 105         }
 106
 107         $notice = Notice::staticGet('id', $id);
 108         $notice->decache();
 109
 110         echo "OK\n";
 111     }
 112 }
 113
 114 function doConnect($charset)
 115 {
 116     $db = DB::connect(common_config('db', 'database'),
 117                       array('persistent' => false));
 118
 119     if (PEAR::isError($db)) {
 120         echo "ERROR: " . $db->getMessage() . "\n";
 121         return NULL;
 122     }
 123
 124     $result = $db->query("SET NAMES $charset");
 125
 126     if (PEAR::isError($result)) {
 127         echo "ERROR: " . $result->getMessage() . "\n";
 128         $db->disconnect();
 129         return NULL;
 130     }
 131
 132     $result = $db->autoCommit(true);
 133
 134     if (PEAR::isError($result)) {
 135         echo "ERROR: " . $result->getMessage() . "\n";
 136         $db->disconnect();
 137         return NULL;
 138     }
 139
 140     return $db;
 141 }
 142
 143 $max_id = ($argc > 1) ? $argv[1] : null;
 144 $min_id = ($argc > 2) ? $argv[2] : null;
 145
 146 fixup_utf8($max_id, $min_id);