scripts/fixup_utf8.php

   1 #!/usr/bin/env php
   2 <?php
   3 /*
   4  * Laconica - a distributed open-source microblogging tool
   5  * Copyright (C) 2009, Control Yourself, Inc.
   6  *
   7  * This program is free software: you can redistribute it and/or modify
   8  * it under the terms of the GNU Affero General Public License as published by
   9  * the Free Software Foundation, either version 3 of the License, or
  10  * (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU Affero General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Affero General Public License
  18  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19  */
  20
  21 # Abort if called from a web server
  22 if (isset($_SERVER) && array_key_exists('REQUEST_METHOD', $_SERVER)) {
  23     print "This script must be run from the command line\n";
  24     exit(1);
  25 }
  26
  27 ini_set("max_execution_time", "0");
  28 ini_set("max_input_time", "0");
  29 set_time_limit(0);
  30 mb_internal_encoding('UTF-8');
  31
  32 define('INSTALLDIR', realpath(dirname(__FILE__) . '/..'));
  33 define('LACONICA', true);
  34
  35 require_once(INSTALLDIR . '/lib/common.php');
  36 require_once('DB.php');
  37
  38 function main() {
  39
  40     $dbl = doConnect('latin1');
  41
  42     if (empty($dbl)) {
  43         return;
  44     }
  45
  46     $dbu = doConnect('utf8');
  47
  48     if (empty($dbu)) {
  49         return;
  50     }
  51
  52     // Do a separate DB connection
  53
  54     $sth = $dbu->prepare("UPDATE notice SET content = UNHEX(?), rendered = UNHEX(?) WHERE id = ?");
  55
  56     if (PEAR::isError($sth)) {
  57         echo "ERROR: " . $sth->getMessage() . "\n";
  58         return;
  59     }
  60
  61     $rn = $dbl->query('SELECT id, content, rendered FROM notice ' .
  62                       'WHERE LENGTH(content) != CHAR_LENGTH(content)');
  63
  64     if (PEAR::isError($rn)) {
  65         echo "ERROR: " . $rn->getMessage() . "\n";
  66         return;
  67     }
  68
  69     echo "Number of rows: " . $rn->numRows() . "\n";
  70
  71     $notice = array();
  72
  73     while (DB_OK == $rn->fetchInto($notice)) {
  74
  75         $id = ($notice[0])+0;
  76         $content = bin2hex($notice[1]);
  77         $rendered = bin2hex($notice[2]);
  78
  79         echo "$id...";
  80
  81         $result =& $dbu->execute($sth, array($content, $rendered, $id));
  82
  83         if (PEAR::isError($result)) {
  84             echo "ERROR: " . $result->getMessage() . "\n";
  85             continue;
  86         }
  87
  88         $cnt = $dbu->affectedRows();
  89
  90         if ($cnt != 1) {
  91             echo "ERROR: 0 rows affected\n";
  92             continue;
  93         }
  94
  95         $notice = Notice::staticGet('id', $id);
  96         $notice->decache();
  97
  98         echo "OK\n";
  99     }
 100 }
 101
 102 function doConnect($charset)
 103 {
 104     $db = DB::connect(common_config('db', 'database'),
 105                       array('persistent' => false));
 106
 107     if (PEAR::isError($db)) {
 108         echo "ERROR: " . $db->getMessage() . "\n";
 109         return NULL;
 110     }
 111
 112     $result = $db->query("SET NAMES $charset");
 113
 114     if (PEAR::isError($result)) {
 115         echo "ERROR: " . $result->getMessage() . "\n";
 116         $db->disconnect();
 117         return NULL;
 118     }
 119
 120     $result = $db->autoCommit(true);
 121
 122     if (PEAR::isError($result)) {
 123         echo "ERROR: " . $result->getMessage() . "\n";
 124         $db->disconnect();
 125         return NULL;
 126     }
 127
 128     return $db;
 129 }
 130
 131 main();