plugins/Irc/extlib/phergie/Phergie/Beer/db.php

   1 <?php
   2
   3 if (!defined('__DIR__')) {
   4     define('__DIR__', dirname(__FILE__));
   5 }
   6
   7 // Create database schema
   8 echo 'Creating database', PHP_EOL;
   9 $file = __DIR__ . '/beer.db';
  10 if (file_exists($file)) {
  11     unlink($file);
  12 }
  13 $db = new PDO('sqlite:' . $file);
  14 $db->exec('CREATE TABLE beer (name VARCHAR(255), link VARCHAR(255))');
  15 $db->exec('CREATE UNIQUE INDEX beer_name ON beer (name)');
  16 $insert = $db->prepare('INSERT INTO beer (name, link) VALUES (:name, :link)');
  17
  18 // Get raw beerme.com data set
  19 echo 'Downloading beerme.com data set', PHP_EOL;
  20 $file = __DIR__ . '/beerlist.txt';
  21 if (!file_exists($file)) {
  22     copy('http://beerme.com/beerlist.php', $file);
  23 }
  24 $contents = file_get_contents($file);
  25
  26 // Extract data from data set
  27 echo 'Processing beerme.com data', PHP_EOL;
  28 $contents = tidy_repair_string($contents);
  29 libxml_use_internal_errors(true);
  30 $doc = new DOMDocument;
  31 $doc->loadHTML($contents);
  32 libxml_clear_errors();
  33 $xpath = new DOMXPath($doc);
  34 $beers = $xpath->query('//table[@class="beerlist"]/tr/td[1]');
  35 $db->beginTransaction();
  36 foreach ($beers as $beer) {
  37     $name = iconv('UTF-8', 'ISO-8859-1//TRANSLIT', $beer->textContent);
  38     $name = preg_replace('/\h*\v+\h*/', '', $name);
  39     $link = 'http://beerme.com' . $beer->childNodes->item(1)->getAttribute('href');
  40     $insert->execute(array($name, $link));
  41 }
  42 $db->commit();
  43
  44 // Clean up
  45 echo 'Cleaning up', PHP_EOL;
  46 unlink($file);
  47
  48 // Get and decompress openbeerdb.com data set
  49 $archive = __DIR__ . '/beers.zip';
  50 if (!file_exists($archive)) {
  51     echo 'Downloading openbeerdb.com data set', PHP_EOL;
  52     copy('http://openbeerdb.googlecode.com/files/beers.zip', $archive);
  53 }
  54
  55 echo 'Decompressing openbeerdb.com data set', PHP_EOL;
  56 $zip = new ZipArchive;
  57 $zip->open($archive);
  58 $zip->extractTo(__DIR__, 'beers/beers.csv');
  59 $zip->close();
  60 $file = __DIR__ . '/beers/beers.csv';
  61
  62 // Extract data from data set
  63 echo 'Processing openbeerdb.com data', PHP_EOL;
  64 $fp = fopen($file, 'r');
  65 $columns = fgetcsv($fp, 0, '|');
  66 $db->beginTransaction();
  67 while ($line = fgetcsv($fp, 0, '|')) {
  68     $line = array_combine($columns, $line);
  69     $name = iconv('UTF-8', 'ISO-8859-1//TRANSLIT', $line['name']);
  70     $name = preg_replace('/\h*\v+\h*/', '', $name);
  71     $link = null;
  72     $insert->execute(array($name, $link));
  73 }
  74 $db->commit();
  75 fclose($fp);
  76
  77 // Clean up
  78 echo 'Cleaning up', PHP_EOL;
  79 unlink($file);
  80 unlink($archive);
  81 rmdir(__DIR__ . '/beers');