scripts/fixup_utf8.php

   1 #!/usr/bin/env php
   2 <?php
   3 /*
   4  * Laconica - a distributed open-source microblogging tool
   5  * Copyright (C) 2009, Control Yourself, Inc.
   6  *
   7  * This program is free software: you can redistribute it and/or modify
   8  * it under the terms of the GNU Affero General Public License as published by
   9  * the Free Software Foundation, either version 3 of the License, or
  10  * (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU Affero General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Affero General Public License
  18  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19  */
  20
  21 # Abort if called from a web server
  22 if (isset($_SERVER) && array_key_exists('REQUEST_METHOD', $_SERVER)) {
  23     print "This script must be run from the command line\n";
  24     exit(1);
  25 }
  26
  27 ini_set("max_execution_time", "0");
  28 ini_set("max_input_time", "0");
  29 set_time_limit(0);
  30 mb_internal_encoding('UTF-8');
  31
  32 define('INSTALLDIR', realpath(dirname(__FILE__) . '/..'));
  33 define('LACONICA', true);
  34
  35 require_once(INSTALLDIR . '/lib/common.php');
  36 require_once('DB.php');
  37
  38 function fixup_utf8($id) {
  39
  40     $dbl = doConnect('latin1');
  41
  42     if (empty($dbl)) {
  43         return;
  44     }
  45
  46     $dbu = doConnect('utf8');
  47
  48     if (empty($dbu)) {
  49         return;
  50     }
  51
  52     // Do a separate DB connection
  53
  54     $sth = $dbu->prepare("UPDATE notice SET content = UNHEX(?), rendered = UNHEX(?) WHERE id = ?");
  55
  56     if (PEAR::isError($sth)) {
  57         echo "ERROR: " . $sth->getMessage() . "\n";
  58         return;
  59     }
  60
  61     $sql = 'SELECT id, content, rendered FROM notice ' .
  62       'WHERE LENGTH(content) != CHAR_LENGTH(content)';
  63
  64     if (!empty($id)) {
  65         $sql .= ' AND id < ' . $id;
  66     }
  67
  68     $sql .= ' ORDER BY id DESC';
  69
  70     $rn = $dbl->query($sql);
  71
  72     if (PEAR::isError($rn)) {
  73         echo "ERROR: " . $rn->getMessage() . "\n";
  74         return;
  75     }
  76
  77     echo "Number of rows: " . $rn->numRows() . "\n";
  78
  79     $notice = array();
  80
  81     while (DB_OK == $rn->fetchInto($notice)) {
  82
  83         $id = ($notice[0])+0;
  84         $content = bin2hex($notice[1]);
  85         $rendered = bin2hex($notice[2]);
  86
  87         echo "$id...";
  88
  89         $result =& $dbu->execute($sth, array($content, $rendered, $id));
  90
  91         if (PEAR::isError($result)) {
  92             echo "ERROR: " . $result->getMessage() . "\n";
  93             continue;
  94         }
  95
  96         $cnt = $dbu->affectedRows();
  97
  98         if ($cnt != 1) {
  99             echo "ERROR: 0 rows affected\n";
 100             continue;
 101         }
 102
 103         $notice = Notice::staticGet('id', $id);
 104         $notice->decache();
 105
 106         echo "OK\n";
 107     }
 108 }
 109
 110 function doConnect($charset)
 111 {
 112     $db = DB::connect(common_config('db', 'database'),
 113                       array('persistent' => false));
 114
 115     if (PEAR::isError($db)) {
 116         echo "ERROR: " . $db->getMessage() . "\n";
 117         return NULL;
 118     }
 119
 120     $result = $db->query("SET NAMES $charset");
 121
 122     if (PEAR::isError($result)) {
 123         echo "ERROR: " . $result->getMessage() . "\n";
 124         $db->disconnect();
 125         return NULL;
 126     }
 127
 128     $result = $db->autoCommit(true);
 129
 130     if (PEAR::isError($result)) {
 131         echo "ERROR: " . $result->getMessage() . "\n";
 132         $db->disconnect();
 133         return NULL;
 134     }
 135
 136     return $db;
 137 }
 138
 139 $id = ($argc > 1) ? $argv[1] : null;
 140
 141 fixup_utf8($id);