plugins/YammerImport/lib/yammerimporter.php

   1 <?php
   2 /*
   3  * StatusNet - the distributed open-source microblogging tool
   4  * Copyright (C) 2010, StatusNet, Inc.
   5  *
   6  * This program is free software: you can redistribute it and/or modify
   7  * it under the terms of the GNU Affero General Public License as published by
   8  * the Free Software Foundation, either version 3 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU Affero General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Affero General Public License
  17  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  18  */
  19
  20 /**
  21  * Basic client class for Yammer's OAuth/JSON API.
  22  *
  23  * Depends on Favorite plugin
  24  *
  25  * @package YammerImportPlugin
  26  * @author Brion Vibber <brion@status.net>
  27  */
  28 class YammerImporter
  29 {
  30     protected $client;
  31
  32     function __construct(SNYammerClient $client)
  33     {
  34         $this->client = $client;
  35     }
  36
  37     /**
  38      * Load or create an imported profile from Yammer data.
  39      *
  40      * @param object $item loaded JSON data for Yammer importer
  41      * @return Profile
  42      */
  43     function importUser($item)
  44     {
  45         $data = $this->prepUser($item);
  46         $nickname = $data['options']['nickname'];
  47
  48         $profileId = $this->findImportedUser($data['orig_id']);
  49         if ($profileId) {
  50             return Profile::getKV('id', $profileId);
  51         } else {
  52             $user = User::getKV('nickname', $nickname);
  53             if ($user) {
  54                 common_log(LOG_WARNING, "Copying Yammer profile info onto existing user $nickname");
  55                 $profile = $user->getProfile();
  56                 $this->savePropertiesOn($profile, $data['options'],
  57                         array('fullname', 'homepage', 'bio', 'location'));
  58             } else {
  59                 $user = User::register($data['options']);
  60                 $profile = $user->getProfile();
  61             }
  62             if ($data['avatar']) {
  63                 try {
  64                     $this->saveAvatar($data['avatar'], $profile);
  65                 } catch (Exception $e) {
  66                     common_log(LOG_ERR, "Error importing Yammer avatar: " . $e->getMessage());
  67                 }
  68             }
  69             $this->recordImportedUser($data['orig_id'], $profile->id);
  70             return $profile;
  71         }
  72     }
  73
  74     /**
  75      * Load or create an imported group from Yammer data.
  76      *
  77      * @param object $item loaded JSON data for Yammer importer
  78      * @return User_group
  79      */
  80     function importGroup($item)
  81     {
  82         $data = $this->prepGroup($item);
  83         $nickname = $data['options']['nickname'];
  84
  85         $groupId = $this->findImportedGroup($data['orig_id']);
  86         if ($groupId) {
  87             return User_group::getKV('id', $groupId);
  88         } else {
  89             $local = Local_group::getKV('nickname', $nickname);
  90             if ($local) {
  91                 common_log(LOG_WARNING, "Copying Yammer group info onto existing group $nickname");
  92                 $group = User_group::getKV('id', $local->group_id);
  93                 $this->savePropertiesOn($group, $data['options'],
  94                         array('fullname', 'description'));
  95             } else {
  96                 $group = User_group::register($data['options']);
  97             }
  98             if ($data['avatar']) {
  99                 try {
 100                     $this->saveAvatar($data['avatar'], $group);
 101                 } catch (Exception $e) {
 102                     common_log(LOG_ERR, "Error importing Yammer avatar: " . $e->getMessage());
 103                 }
 104             }
 105             $this->recordImportedGroup($data['orig_id'], $group->id);
 106             return $group;
 107         }
 108     }
 109
 110     private function savePropertiesOn($target, $options, $propList)
 111     {
 112         $changed = 0;
 113         $orig = clone($target);
 114         foreach ($propList as $prop) {
 115             if (!empty($options[$prop]) && $target->$prop != $options[$prop]) {
 116                 $target->$prop = $options[$prop];
 117                 $changed++;
 118             }
 119         }
 120         $target->update($orig);
 121     }
 122
 123     /**
 124      * Load or create an imported notice from Yammer data.
 125      *
 126      * @param object $item loaded JSON data for Yammer importer
 127      * @return Notice
 128      */
 129     function importNotice($item)
 130     {
 131         $data = $this->prepNotice($item);
 132
 133         $noticeId = $this->findImportedNotice($data['orig_id']);
 134         if ($noticeId) {
 135             return Notice::getKV('id', $noticeId);
 136         } else {
 137             $notice = Notice::getKV('uri', $data['options']['uri']);
 138             $content = $data['content'];
 139             $user = User::getKV($data['profile']);
 140
 141             // Fetch file attachments and add the URLs...
 142             $uploads = array();
 143             foreach ($data['attachments'] as $url) {
 144                 try {
 145                     $upload = $this->saveAttachment($url, $user);
 146                     $content .= ' ' . $upload->shortUrl();
 147                     $uploads[] = $upload;
 148                 } catch (Exception $e) {
 149                     common_log(LOG_ERR, "Error importing Yammer attachment: " . $e->getMessage());
 150                 }
 151             }
 152
 153             // Here's the meat! Actually save the dang ol' notice.
 154             $notice = Notice::saveNew($user->id,
 155                                       $content,
 156                                       $data['source'],
 157                                       $data['options']);
 158
 159             // Save "likes" as favorites...
 160             foreach ($data['faves'] as $nickname) {
 161                 $user = User::getKV('nickname', $nickname);
 162                 if ($user) {
 163                     Fave::addNew($user->getProfile(), $notice);
 164                 }
 165             }
 166
 167             // And finally attach the upload records...
 168             foreach ($uploads as $upload) {
 169                 $upload->attachToNotice($notice);
 170             }
 171             $this->recordImportedNotice($data['orig_id'], $notice->id);
 172             return $notice;
 173         }
 174     }
 175
 176     /**
 177      * Pull relevant info out of a Yammer data record for a user import.
 178      *
 179      * @param array $item
 180      * @return array
 181      */
 182     function prepUser($item)
 183     {
 184         if ($item['type'] != 'user') {
 185             // TRANS: Exception thrown when a non-user item type is used, but expected.
 186             throw new Exception(_m('Wrong item type sent to Yammer user import processing.'));
 187         }
 188
 189         $origId = $item['id'];
 190         $origUrl = $item['url'];
 191
 192         // @fixme check username rules?
 193
 194         $options['nickname'] = $item['name'];
 195         $options['fullname'] = trim($item['full_name']);
 196
 197         // Avatar... this will be the "_small" variant.
 198         // Remove that (pre-extension) suffix to get the orig-size image.
 199         $avatar = $item['mugshot_url'];
 200
 201         // The following info is only available in full data, not in the reference version.
 202
 203         // There can be extensive contact info, but for now we'll only pull the primary email.
 204         if (isset($item['contact'])) {
 205             foreach ($item['contact']['email_addresses'] as $addr) {
 206                 if ($addr['type'] == 'primary') {
 207                     $options['email'] = $addr['address'];
 208                     $options['email_confirmed'] = true;
 209                     break;
 210                 }
 211             }
 212         }
 213
 214         // There can be multiple external URLs; for now pull the first one as home page.
 215         if (isset($item['external_urls'])) {
 216             foreach ($item['external_urls'] as $url) {
 217                 if (common_valid_http_url($url)) {
 218                     $options['homepage'] = $url;
 219                     break;
 220                 }
 221             }
 222         }
 223
 224         // Combine a few bits into the bio...
 225         $bio = array();
 226         if (!empty($item['job_title'])) {
 227             $bio[] = $item['job_title'];
 228         }
 229         if (!empty($item['summary'])) {
 230             $bio[] = $item['summary'];
 231         }
 232         if (!empty($item['expertise'])) {
 233             // TRANS: Used as a prefix for the Yammer expertise field contents.
 234             $bio[] = _m('Expertise:') . ' ' . $item['expertise'];
 235         }
 236         $options['bio'] = implode("\n\n", $bio);
 237
 238         // Pull raw location string, may be lookupable
 239         if (!empty($item['location'])) {
 240             $options['location'] = $item['location'];
 241         }
 242
 243         // Timezone is in format like 'Pacific Time (US & Canada)'
 244         // We need to convert that to a zone id. :P
 245         // @fixme timezone not yet supported at registration time :)
 246         if (!empty($item['timezone'])) {
 247             $tz = $this->timezone($item['timezone']);
 248             if ($tz) {
 249                 $options['timezone'] = $tz;
 250             }
 251         }
 252
 253         return array('orig_id' => $origId,
 254                      'orig_url' => $origUrl,
 255                      'avatar' => $avatar,
 256                      'options' => $options);
 257
 258     }
 259
 260     /**
 261      * Pull relevant info out of a Yammer data record for a group import.
 262      *
 263      * @param array $item
 264      * @return array
 265      */
 266     function prepGroup($item)
 267     {
 268         if ($item['type'] != 'group') {
 269             // TRANS: Exception thrown when a non-group item type is used, but expected.
 270             throw new Exception(_m('Wrong item type sent to Yammer group import processing.'));
 271         }
 272
 273         $origId = $item['id'];
 274         $origUrl = $item['url'];
 275
 276         $privacy = $item['privacy']; // Warning! only public groups in SN so far
 277
 278         $options['nickname'] = $item['name'];
 279         $options['fullname'] = $item['full_name'];
 280         $options['description'] = $item['description'];
 281         $options['created'] = $this->timestamp($item['created_at']);
 282
 283         $avatar = $item['mugshot_url']; // as with user profiles...
 284
 285         $options['mainpage'] = common_local_url('showgroup',
 286                                    array('nickname' => $options['nickname']));
 287
 288         // Set some default vals or User_group::register will whine
 289         $options['homepage'] = '';
 290         $options['location'] = '';
 291         $options['aliases'] = array();
 292         // @todo FIXME: What about admin user for the group?
 293
 294         $options['local'] = true;
 295         return array('orig_id' => $origId,
 296                      'orig_url' => $origUrl,
 297                      'options' => $options,
 298                      'avatar' => $avatar);
 299     }
 300
 301     /**
 302      * Pull relevant info out of a Yammer data record for a notice import.
 303      *
 304      * @param array $item
 305      * @return array
 306      */
 307     function prepNotice($item)
 308     {
 309         if (isset($item['type']) && $item['type'] != 'message') {
 310             // TRANS: Exception thrown when a non-message item type is used, but expected.
 311             throw new Exception(_m('Wrong item type sent to Yammer message import processing.'));
 312         }
 313
 314         $origId = $item['id'];
 315         $origUrl = $item['url'];
 316
 317         $profile = $this->findImportedUser($item['sender_id']);
 318         $content = $item['body']['plain'];
 319         $source = 'yammer';
 320         $options = array();
 321
 322         if ($item['replied_to_id']) {
 323             $replyTo = $this->findImportedNotice($item['replied_to_id']);
 324             if ($replyTo) {
 325                 $options['reply_to'] = $replyTo;
 326             }
 327         }
 328         $options['created'] = $this->timestamp($item['created_at']);
 329
 330         if (!empty($item['group_id'])) {
 331             $groupId = $this->findImportedGroup($item['group_id']);
 332             if ($groupId) {
 333                 $options['groups'] = array($groupId);
 334
 335                 // @fixme if we see a group link inline, don't add this?
 336                 $group = User_group::getKV('id', $groupId);
 337                 if ($group) {
 338                     $content .= ' !' . $group->nickname;
 339                 }
 340             }
 341         }
 342
 343         $faves = array();
 344         foreach ($item['liked_by']['names'] as $liker) {
 345             // "permalink" is the username. wtf?
 346             $faves[] = $liker['permalink'];
 347         }
 348
 349         $attachments = array();
 350         foreach ($item['attachments'] as $attach) {
 351             if ($attach['type'] == 'image' || $attach['type'] == 'file') {
 352                 $attachments[] = $attach[$attach['type']]['url'];
 353             } else {
 354                 common_log(LOG_WARNING, "Unrecognized Yammer attachment type: " . $attach['type']);
 355             }
 356         }
 357
 358         return array('orig_id' => $origId,
 359                      'orig_url' => $origUrl,
 360                      'profile' => $profile,
 361                      'content' => $content,
 362                      'source' => $source,
 363                      'options' => $options,
 364                      'faves' => $faves,
 365                      'attachments' => $attachments);
 366     }
 367
 368     private function findImportedUser($origId)
 369     {
 370         $map = Yammer_user::getKV('id', $origId);
 371         return $map ? $map->user_id : null;
 372     }
 373
 374     private function findImportedGroup($origId)
 375     {
 376         $map = Yammer_group::getKV('id', $origId);
 377         return $map ? $map->group_id : null;
 378     }
 379
 380     private function findImportedNotice($origId)
 381     {
 382         $map = Yammer_notice::getKV('id', $origId);
 383         return $map ? $map->notice_id : null;
 384     }
 385
 386     private function recordImportedUser($origId, $userId)
 387     {
 388         Yammer_user::record($origId, $userId);
 389     }
 390
 391     private function recordImportedGroup($origId, $groupId)
 392     {
 393         Yammer_group::record($origId, $groupId);
 394     }
 395
 396     private function recordImportedNotice($origId, $noticeId)
 397     {
 398         Yammer_notice::record($origId, $noticeId);
 399     }
 400
 401     /**
 402      * Normalize timestamp format.
 403      * @param string $ts
 404      * @return string
 405      */
 406     private function timestamp($ts)
 407     {
 408         return common_sql_date(strtotime($ts));
 409     }
 410
 411     private function timezone($tz)
 412     {
 413         // Blaaaaaarf!
 414         $known = array('Pacific Time (US & Canada)' => 'America/Los_Angeles',
 415                        'Eastern Time (US & Canada)' => 'America/New_York');
 416         if (array_key_exists($tz, $known)) {
 417             return $known[$tz];
 418         } else {
 419             return false;
 420         }
 421     }
 422
 423     /**
 424      * Download and update given avatar image
 425      *
 426      * @param string $url
 427      * @param mixed $dest either a Profile or User_group object
 428      * @throws Exception in various failure cases
 429      */
 430     private function saveAvatar($url, $dest)
 431     {
 432         // Yammer API data mostly gives us the small variant.
 433         // Try hitting the source image if we can!
 434         // @fixme no guarantee of this URL scheme I think.
 435         $url = preg_replace('/_small(\..*?)$/', '$1', $url);
 436
 437         if (!common_valid_http_url($url)) {
 438             // TRANS: Server exception thrown when an avatar URL is invalid.
 439             // TRANS: %s is the invalid avatar URL.
 440             throw new ServerException(sprintf(_m('Invalid avatar URL %s.'), $url));
 441         }
 442
 443         // @fixme this should be better encapsulated
 444         // ripped from oauthstore.php (for old OMB client)
 445         $temp_filename = tempnam(common_get_temp_dir(), 'listener_avatar');
 446         try {
 447             if (!copy($url, $temp_filename)) {
 448                 // TRANS: Server exception thrown when an avatar could not be fetched.
 449                 // TRANS: %s is the failed avatar URL.
 450                 throw new ServerException(sprintf(_m('Unable to fetch avatar from %s.'), $url));
 451             }
 452
 453             $id = $dest->id;
 454             // @fixme should we be using different ids?
 455             $imagefile = new ImageFile($id, $temp_filename);
 456             $filename = Avatar::filename($id,
 457                                          image_type_to_extension($imagefile->type),
 458                                          null,
 459                                          common_timestamp());
 460             rename($temp_filename, Avatar::path($filename));
 461         } catch (Exception $e) {
 462             unlink($temp_filename);
 463             throw $e;
 464         }
 465         // @fixme hardcoded chmod is lame, but seems to be necessary to
 466         // keep from accidentally saving images from command-line (queues)
 467         // that can't be read from web server, which causes hard-to-notice
 468         // problems later on:
 469         //
 470         // http://status.net/open-source/issues/2663
 471         chmod(Avatar::path($filename), 0644);
 472
 473         $dest->setOriginal($filename);
 474     }
 475
 476     /**
 477      * Fetch an attachment from Yammer and save it into our system.
 478      * Unlike avatars, the attachment URLs are guarded by authentication,
 479      * so we need to run the HTTP hit through our OAuth API client.
 480      *
 481      * @param string $url
 482      * @param User $user
 483      * @return MediaFile
 484      *
 485      * @throws Exception on low-level network or HTTP error
 486      */
 487     private function saveAttachment($url, User $user)
 488     {
 489         // Fetch the attachment...
 490         // WARNING: file must fit in memory here :(
 491         $body = $this->client->fetchUrl($url);
 492
 493         // Save to a temporary file and shove it into our file-attachment space...
 494         $temp = tmpfile();
 495         fwrite($temp, $body);
 496         try {
 497             $upload = MediaFile::fromFilehandle($temp, $user->getProfile());
 498             fclose($temp);
 499             return $upload;
 500         } catch (Exception $e) {
 501             fclose($temp);
 502             throw $e;
 503         }
 504     }
 505 }