Add an optimization to the HTTP client protocol so that pieplining begins sooner.

Specifically, it begins after the first requests headers are sent, instead of the whole response.

Don't use the fallback mirror retry download.

Until we can distinuish real errors from apt-get closing the
connection, this is not a good idea. See the connectionLost()
function of the web2.http.Request object for a possible solution.

More fixes for the broken twisted HTTP client.

Move all streams to new Streams module and replace ProxyFileStream with GrowingFileStream.

Instead of ProxyFileStream, now use a combination of GrowingFileStream
and StreamToFile like the PeerManager does to download and upload. It's
mostly working, only some errors when aborting apt-get in test 'a'.

Also added a new test 'c' for downloading out of order, which is why
ProxyFileStream can not be used.

Add a final retry of all errback mirror downloads.

Fix some errors in the new twisted HTTP client's connectionLost() methods.

See http://twistedmatrix.com/trac/ticket/3207 for more info.

Add debconf to inform the user of the necessity of port forwarding.

Move the DHT stuff out of the main program and into the new DHTManager module.

Better handling and logging for intermittent HTTP client submission errors.

Don't add attributes to HTTP requests, store them separately.

HTTP client no longer keeps a response queue of requests.

Instead the requests are added as variables to the call/errbacks.
There is a new variable keeping track of how many responses are outstanding.
clientGone no longer remove/errback responses, as the errbacks will be
called by the client protocol instead.

Fix a typo in commit 80399176ed66d.

Fixed an error in downloading source packages from peers.

Source packages with no pieces were hash checked with sha1, which would fail.
Also added a test for source packages.
Also removed some unneeded logging in the peer downloader.

Fix a typo in commit e82e704e27.

Set the Last-Modified header when downloading from peers.

Remove temporary files from the peer's download cache.

Refresh expired DHT hashes concurrently instead of sequentially.

Don't check file when listing expired hashes, instead check files at startup.

Trap KRPC errors in writing to the transport and wait for timeout instead.

Disconnect the insertNode calls from the callers so errors don't affect them.

Remove some unnecessary calls to log.err and just print the error message instead.

Fix a bug in loading the new KRPC timeout config params.

Make the DHT timeouts configuration parameters.

Conf time parser works with floats, and lengthened DHT hash expiry to 3 hours.

Fix an error in the actions that allowed for the result to be sent twice.

Some more TODO items.

Apt packages cache now saves an unload request received during loading.

Sync the AptPackages db after modification, and close when done.

Add all files to the DB with their hashes.

Non-DHT files are marked as such.
HTTP server looks up the cache path to decide whether to return a file.

Fix an HTTP download bug that caused HEAD requests to not pipeline.

Also improve the testing for this.

Reorder the main application to find cached hashes before checking freshness.

Eliminates some unnecessary HEAD requests to the server.
HEAD requests are only done if there is no hash for the file.

Add a new test and improve the cleaning of apt files.

DHT stats now include completed actions and various elapsed times for actions.

Return 404's for hashes that aren't found.

Remove some unnecessary log messages and use better Exceptions.

Cache returns errors if apt closes the connection and deletes the incomplete files.

Remove some headers Apt sets before returning full requests from the server.

Otherwise the streaming will be interrupted or changed by Twisted's
modification of responses before sending (e.g. sending 304's based
on 'If-Modified-Since' and 'Last-Modified' headers). The streaming
is currently needed though to load the file in the cache.

Better identification of peer uploads by the HTTP server.

Always try and find the mirror site, even if no updated files have been saved.

Improve the peer ranking and fix a minor bug.

Delay the creation of files until after the application has finished loading.

Don't create a thread to load the packages cache if it's already loaded.

Switch the user name on startup.

Block favicon.ico and allow remote stats requests (configurable).

Clean up the DHT config, making K and HASH_LENGTH constants instead.

Save the files downloaded from peers in a peers subdirectory.

Make the downloader statistics work.

The previous (untested) commit was not working at all, this one now does,
though the TODO mentions some future work.

Make better use of defer.Fail for returning deferred errors.

Retransmit DHT requests before timeout occurs is complete.

Krpc now works as before but with a new request infrastructure.

WIP on sending multiple KRPC requests before timeout.

Add statistics reporting to the main program (untested).

More strict use of errbacks when using deferreds.

Now almost all calls to addCallback include adding an errback as well.
HTTPDownloader will remove the next request on a connection error.
HTTPServer will download the whole file after a rendering error.
A failed check of the freshness of a file will cause the whole file to be downloaded.
A resolving error in a DHT join behaves as if the bootstrap node was unreachable.
Removed the errback args to khashmir's find routines as they were never used.

Try to rejoin DHT periodically after failures using exponential backoff.

Also make the get and store functions call errbacks if not joined.
Also modify the callers of the get and store functions to respond well
to errbacks.
Also add a unittest for the rejoining functionality.

Use the apt_p2p_conf config import rather than passing parameters around.

Use the mirror as a peer when there are few peers for a file.

Unquote urls before trying to look them up in index files.

Always download max PIECE_SIZE from peers, even if there's only one peer.

Used to avoid ticket #1993 in Twisted:
http://twistedmatrix.com/trac/ticket/1993

Fix some tests and add some TODO items.

Actually add piece hashes to the database.

Updated and added a lot of unittests.

Still need to add tests for the Peer and Cache Managers.

Always use SHA1 hashes for pieces.

Only affects non-sha1 files like source files.
Also added a unit test for it.
Also added a unit test for the previous piece boundaries bug.

Minor typo fixes in the Peer manager.

Multiple peer downloading is mostly working now.

Many bug fixes, too numerous to mention.
Lots of new (probably temporary) logging.
New test stuff for the multi-peer downloading.
Still fails on large files when retrieving piece hashes from peers.

Fix a bug in the ThrottlingProtocol when writeSequence is called with a tuple.

Fix a bug in the Hash checker when updating exactly to a piece boundary.

Fix some minor documentation typos.

More multiple peer downloading work, finished but still untested.

Minor update to the multiple peer downloading (still not working).

Massive work on the peer downloading, not working or complete yet.

WIP on multiple peer downloading (completely broken).

Fix a bug caused by twisted unquoting URLs received by the web server.

Store the peer rank as an attribute and recalculate it automatically.

Make all the peer rankings exponentially decreasing.

Return 404s to all requests for Packages.diff and Sources.diff.

Make the upload limit a config option.

Only throttle uploads to peers, not to apt.

Retire one TODO and add another.

Allow the actions to call the local node's remote interface.

The find_* actions now start with only the local node instead of
the nodes from the routing table.

KRPC calls callback with the response dictionary by itself.

Previously it was a dictionary, whose key 'rsp' contained the response dictionary.
The response dictionary has a key '_krpc_sender' added.

Reorganize the DHT's remote interface parameters.

Now the parameter ordering matches the one in the knode module.

Also makes the _krpc_sender optional so the remote interface can
be called by the local node.

Use copies of the routing table nodes in actions.

The recursive actions need to use copies of the nodes in the routing
table, otherwise the token and num_values could be preset or set
twice by multiple actions.

Import the log module, DOH.

Merge small DHT buckets when a node is removed.

Workaround old sqlite not having 'select count(distinct key)'.

Remove the duplicate error logging from the knode module.

Remove the unused steveholt entry from the bootstrap list.

Fix some bugs in the pinging and ID checking.

Raise an exception if the node's ID has changed. This means the node's
returned results will be ignored.

The KTable replaceStaleNode now adds the new node if there's space even
if the old one isn't found. This is due to the node ID having changed
resulting in instantly removing the node from the routing table.

The handler for the ping result in insertNode was mistakenly taking the
Failure returned as a result as a node and passing it to replaceStaleNode.

Move the HTML stats page generation for the DHT into the stats module.

Rename the knode functions to match the krpc method names.

Added the number of times each action was started to the DHT stats.

Add bytes/sec to the DHT stats.

Display DHT statistics to the HTTP user.

Adds 2 new interfaces to the DHT implementation:
 * DHTStats: DHT that supports gathering statistics
 * DHTStatsFactory: DHT that supports creating it's own HTTP server
apt_dht_Khashmir supports IDHTStats and formats stats for HTML.
apt_dht_Khashmir also supports IDHTStatsFactory if twisted.web2 is found.
Main script passes the DHT class to the main program.
Main script (DHT only) starts the stats factory if the DHT supports it.
Main program retrieves statistics from the DHT when asked by the HTTPServer.

Start using the new DHT stats module (untested).

Add the new stats module to the DHT.

Fix minor bugs in the use of sha module and misspelled b2a_hex.

Fixed justSeenNode in KTable to update the bucket properly.

It now moves the seen node to the end and marks the bucket as
having been updated.

Another TODO item.

Don't use the tables findNodes when you can just bisect for it.

Add new node to table when refreshing old node.

Fixes a bug introduced by commit:

    6ce38471: fix peer update problem connection refused in store value