]> git.mxchange.org Git - quix0rs-gnu-social.git/commit
Stomp queue restructuring for mass scalability:
authorBrion Vibber <brion@pobox.com>
Tue, 16 Feb 2010 17:01:59 +0000 (09:01 -0800)
committerBrion Vibber <brion@pobox.com>
Tue, 16 Feb 2010 17:16:51 +0000 (09:16 -0800)
commitc74aea589d5a79d7048470d44e457dffc8919ad3
tree3b3bc865018857e5146e04c593ddb0f468669b0a
parent3d0c3f0577fb1b0a83bb65ae6439f018932c5c38
Stomp queue restructuring for mass scalability:
- Multiplexing queues into groups and for multiple sites.
- Sharing vs breakout configurable per site and per queue via $config['queue']['breakout']
- Detect how many times a message is redelivered, discard if it's killed too many daemons
 - count configurable with $config['queue']['max_retries']
 - can dump the items to files in $config['queue']['dead_letter_dir']

Queue daemon memory & resource leak fixes:
- avoid unnecessary reconnections to memcached server (switch persistent connections back in on second initialization, assuming it's child process)
- monkey-patch for leaky .ini loads in DB_DataObject::databaseStructure() - was leaking 200k per active switch
- applied leak fixes to Status_network as well, using intermediate base Safe_DataObject for both it and Memcache_DataObject

Misc queue fixes:
- correct handling of child processes exiting due to signal termination instead of regular exit
- shutdown instead of infinite respawn loop if we're already past the soft memory limit at startup
- Added --all option for xmppdaemon... still opens one xmpp connection per site that has xmpp active

Cache updates:
- add Cache::increment() method with native support for memcached atomic increment
17 files changed:
classes/Memcached_DataObject.php
classes/Safe_DataObject.php [new file with mode: 0644]
classes/Status_network.php
lib/cache.php
lib/dbqueuemanager.php
lib/default.php
lib/iomanager.php
lib/iomaster.php
lib/queued_xmpp.php
lib/queuemanager.php
lib/spawningdaemon.php
lib/statusnet.php
lib/stompqueuemanager.php
lib/xmppmanager.php
plugins/MemcachePlugin.php
scripts/queuedaemon.php
scripts/xmppdaemon.php