Merge branch 'master' of git@gitorious.org:statusnet/mainline

Fix for cross site OMB posting problem

Queues: redid the breakout control model so we can start up and subscribe to queues without running through the complete site list, which is ok at 1k sites but too slow at 10k.
All breakout queues that we're going to need to listen to now need to be explicitly listed in $config['queue']['breakout'].

Until XMPP is moved to component model, this setting will let the individual processes work with their own queues:
$config['queue']['breakout'][] = 'xmpp/xmppout/' . $config['site']['nickname'];

Twitter bridge - fix for Ticket #2192

Better logging for Twitter bridge account linking process

Upgrade Twitter bridge to use OAuth 1.0a. It's more secure, and allows
us to automatically send in a callback url instead of having to manually
configure one for each StatusNet instance.

Fix exception on bad plugin load

parse_url returns an associative array - not an object

Stomp queue restructuring for mass scalability:
- Multiplexing queues into groups and for multiple sites.
- Sharing vs breakout configurable per site and per queue via $config['queue']['breakout']
- Detect how many times a message is redelivered, discard if it's killed too many daemons
 - count configurable with $config['queue']['max_retries']
 - can dump the items to files in $config['queue']['dead_letter_dir']

Queue daemon memory & resource leak fixes:
- avoid unnecessary reconnections to memcached server (switch persistent connections back in on second initialization, assuming it's child process)
- monkey-patch for leaky .ini loads in DB_DataObject::databaseStructure() - was leaking 200k per active switch
- applied leak fixes to Status_network as well, using intermediate base Safe_DataObject for both it and Memcache_DataObject

Misc queue fixes:
- correct handling of child processes exiting due to signal termination instead of regular exit
- shutdown instead of infinite respawn loop if we're already past the soft memory limit at startup
- Added --all option for xmppdaemon... still opens one xmpp connection per site that has xmpp active

Cache updates:
- add Cache::increment() method with native support for memcached atomic increment

Pull fix from testing branch: use new encoding funcs w/ stomp queues

Temporary debug hack tracking down 'revoked accesstoken' issue with OMB posts

Use static class method for looking up Twitter user

Twitter-bridge: lookup old foreign_user by primary key not url

Better log msgs. Removed debugging statement.

Fix for regression introduced with my last update to the
TwitterStatusFetcher: the Twitter bridge was not saving a foreign user
record when making a foreign link.

Queue daemon fixes:
* skip unnecessary unsubscribes on graceful shutdown -- takes a long time for many queues, slows down our restarts when hitting graceful mem limit
* fix control channel (was broken when we switched to support multiple queue servers)

Configurable delay between queuedaemon.php spawns/respawns to help stagger out startups and subscriptions. Defaults to 1 second.
$config['queue']['spawndelay'] = 1;

Better checking for duplicate app names

Disable deprecated 'since' parameter on public_timeline API; causes performance problems. (since_id will work cleanly)

Allow scripts/decache.php to blow out cache for objects that don't exist (anymore).
May miss keys other than the given or primary key, but should work for a lot of common cases where a bad entry's been removed from DB but lingers in cache.

readme and version for beta5

Delete old Twitter user record when user changes screen name instead of updating. Simpler.

Store Twitter screen_name, not name, for foreign_user.nickname when saving Twitter user.

Merge branch 'temp'

Actually store the timestamp on each nonce

OAuth app name should not be null

Fix issue with OAuth request parameters being parsed/stored twice when
calling /api/account/verify_credentials.:format

- Fix cache handling in TwitterStatusFetcher
- Other stability fixes

Added right margin for notice text. Helps Conversation notices look
better.

Confirm dialog for reset OAuth consumer key and secret button

Always check for an OAuth request. This allows OAuth clients to set an
auth user, similar to how they can set one via http basic auth,
even if one is not required.  I think I finally got this right.

Linkify notice source when posting from registered OAuth apps

Suppress notice input box on OAuth authorization page

Better token revocation

Allow developers to delete OAuth applications

OAuth app names should be unique.

Prevents app statistic text from wrapping around avatar

Sentence case for app statistics

drop debug messages from inbox deletion fix

Inbox::streamNotices() with deletion compensation: inbox paging should more or less work with deleted items now.
No change in efficiency for the common case where nothing's deleted: does the same bulk fetch of just the notices we think we'll need as before, then if we turned up short keeps checking one by one until we've filled up to our $limit.

This can leave us with overlap between pages, but we already have that when new messages come in between clicks; seems to be the lesser of evils versus not getting a 'before' button.
More permanent fix for that will be to switch timeline paging in the UI to use notice IDs.

Missed change when refactoring groups. Thanks macno

Should fix spurious 'nickname taken' and 'email taken' errors on registration. Form's checks for existing nicks & emails would incorrectly return true on the second lookup due to bad interaction with negative caching.
(was checking $obj !== false but we return null now on negative cache hits, with false for cache misses)

Add time-based cutoffs for public tag cloud, favorited lists to speed up those queries.
Defaulting to only looking at last 90 days of activity, can be adjusted up or down.

$config['tag']['cutoff'] = 86400 * 90;
$config['popular']['cutoff'] = 86400 * 90;

Per-user and per-group tag clouds do not use the cutoff (and it doesn't help with indexing on them).

Script to update profile URLs

clear cache for Profile::hasRepeated() at Notice::insert() time

clearcache.php column flag was conflicting with default flag

showcache.php column flag was conflicting with default flag

change 'sitetype' to 'siteplan' to use consistent language

Merge branch 'master' of git@gitorious.org:statusnet/mainline

add nickname as unique key for user_group table

Fix regression breaking file attachments. This is what I get for rushing fixes and not properly testing them. :P

Apply xopher's fix to add 'sitetype' parameter to setup_status_network.sh, exposed to the email

Improve name validation checks on local File references

fix local file include vulnerability in doc.php

Conflicts:

actions/doc.php

restructuring of User::registerNew() lost password munging

Add a script to clear the cache for a given key

Like showcache.php, clearcache.php clears the cache for a given key.

buggy fetch for site owner

Add a robots.txt URL to the site root

Adds a robots.txt file to the site root. Defaults defined by
'robotstxt' section of config. New events StartRobotsTxt and
EndRobotsTxt to let plugins add information. Probably not
useful if path is not /, but won't hurt anything, either.

error clearing tags for profiles from memcached

on exceptions, stomp logs the error and reenqueues

add lat, lon, location and remove closing tag from geocode.php

Use passed-in lat long in geocode.php

Don't rewrite the lat-long for a location in geocode.php.

better handling of null responses from geonames.org

plugin to limit number of registered users

add hooks for user registration

live fast, die young in bash scripts

Merge branch 'master' of git@gitorious.org:statusnet/mainline

for single-user mode, retrieve either site owner or defined nickname

method to get the site owner

define a constant for the 'owner' role of a site

add simple cache getter/setter static functions to Memcached_DataObject

Hides .author from XHR response in showstream

Fix more fatal errors in queue edge cases

Don't attempt to resend XMPP messages that can't be broadcast due to the profile being deleted.

Merge branch 'master' of git@gitorious.org:statusnet/mainline

Wrap each bit of distrib queue handler's saving operation in a try/catch; log exceptions but let everything else continue.

Merge branch 'testing'

Log exceptions from queuedaemon.php if they're not already caught

Move sessions settings to its own panel

Fixes for status_network db object .ini and tag setter script

Add a script to set tags for sites

Merge branch 'testing'

Merge branch 'testing' of git@gitorious.org:statusnet/mainline into testing

Adjust API authentication to also check for OAuth protocol params in the
HTTP Authorization header, as defined in OAuth HTTP Authorization Scheme.

Merge branch 'testing'

Last-chance distribution if enqueueing fails

Manual failover for stomp queues.

If an array of multiple servers is put in $config['queue']['stomp_server'], enqueues will pick a random server to send to (failing over automatically if any are down).
Queue handling daemons connect all servers so they get events no matter where they were delivered.
In case of disconnection, daemons should now handle it gracefully and attempt to reconnect every 60 seconds or so, automatically resubscribing to all queues once it's back up.

Can put to 'native' failover for reads as well by disabling $config['stomp']['manual_failover'] = false; but this is untested and may explode in addition to requiring that your ActiveMQ cluster actually be set up to handle its own data distribution.

Additionally, can choose which queues to mark as persistent by setting $config['stomp']['persistent'] to an array of queue names.

lost config in index.php made all traffic go to master

Revert "Revert "move RW setup above user get in index.php so remember_me works""

This reverts commit be7bca2303cc9900f2c1a746a10a785d9d95783c.

Revert "move RW setup above user get in index.php so remember_me works"

This reverts commit fa7895333724e314e2b32cb89f19a41069c554be.

move RW setup above user get in index.php so remember_me works

Merge commit 'origin/master' into testing

hide most DB_DataObject errors

always set up database_rw, regardless, so cached sessions work

Merge branch 'master' of git@gitorious.org:statusnet/mainline

update mysqltimestamps on insert and update

additional debugging data for Sessions

'Sign in with Twitter' button img

Merge branch 'master' of git@gitorious.org:statusnet/mainline

Update to aside styles in biz theme