Fix some errors in the new twisted HTTP client's connectionLost() methods.
[quix0rs-apt-p2p.git] / test.py
1 #!/usr/bin/env python
2
3 """Automated tests of the apt-p2p functionality.
4
5 This script runs several automatic tests of some of the functionality in
6 the apt-p2p program.
7
8 @type tests: C{dictionary}
9 @var tests: all of the tests that can be run.
10     The keys are the test names (strings) which are used on the command-line
11     to identify the tests (can not be 'all' or 'help'). The values are tuples
12     with four elements: a description of the test (C{string}), the bootstrap
13     nodes to start (C{dictionary}), the downloaders to start (C{dictionary},
14     and the apt-get commands to run (C{list}).
15     
16     The bootstrap nodes keys are integers, which must be in the range 1-9.
17     The values are the dictionary of keyword options to pass to the function
18     that starts the bootstrap node (see L{start_bootstrap} below).
19     
20     The downloaders keys are also integers in the range 1-99. The values are
21     the dictionary of keyword options to pass to the function
22     that starts the downloader node (see L{start_downloader} below).
23     
24     The apt-get commands' list elements are tuples with 2 elements: the
25     downloader to run the command on, and the list of command-line
26     arguments to specify to the apt-get program.
27     
28 @type CWD: C{string}
29 @var CWD: the working directory the script was run from
30 @type apt_conf_template: C{string}
31 @var apt_conf_template: the template to use for the apt.conf file
32
33 """
34
35 from time import sleep, time
36 import sys, os, signal
37 from traceback import print_exc
38 from os.path import exists
39
40 tests = {'1': ('Start a single bootstrap and downloader, test updating and downloading ' +
41              'using HTTP only.',
42              {1: {}},
43              {1: {}},
44              [(1, ['update']), 
45               (1, ['install', 'aboot-base']),
46               (1, ['install', 'aap-doc']),
47               (1, ['install', 'ada-reference-manual']),
48               (1, ['install', 'aspectj-doc']),
49               (1, ['install', 'fop-doc']),
50               (1, ['install', 'asis-doc']),
51               (1, ['install', 'bison-doc']),
52               (1, ['install', 'crash-whitepaper']),
53               ]),
54
55          '2': ('Start a single bootstrap and 2 downloaders to test downloading from a peer.',
56                {1: {}},
57                {1: {},
58                 2: {}},
59                [(1, ['update']),
60                 (2, ['update']),
61                 (1, ['install', 'aboot-base']),
62                 (2, ['install', 'aboot-base']),
63                 (1, ['install', 'aap-doc']),
64                 (1, ['install', 'ada-reference-manual']),
65                 (1, ['install', 'fop-doc']),
66                 (1, ['install', 'bison-doc']),
67                 (1, ['install', 'crash-whitepaper']),
68                 (2, ['install', 'aap-doc']),
69                 (2, ['install', 'ada-reference-manual']),
70                 (2, ['install', 'fop-doc']),
71                 (2, ['install', 'bison-doc']),
72                 (2, ['install', 'crash-whitepaper']),
73                 ]),
74                 
75          '3': ('Start a single bootstrap and 6 downloaders, to test downloading' +
76                ' speeds from each other.',
77                {1: {}},
78                {1: {},
79                 2: {},
80                 3: {},
81                 4: {},
82                 5: {},
83                 6: {}},
84                [(1, ['update']),
85                 (1, ['install', 'aboot-base']),
86                 (1, ['install', 'ada-reference-manual']),
87                 (1, ['install', 'fop-doc']),
88                 (1, ['install', 'crash-whitepaper']),
89                 (2, ['update']),
90                 (2, ['install', 'aboot-base']),
91                 (2, ['install', 'ada-reference-manual']),
92                 (2, ['install', 'fop-doc']),
93                 (2, ['install', 'crash-whitepaper']),
94                 (3, ['update']),
95                 (3, ['install', 'aboot-base']),
96                 (3, ['install', 'ada-reference-manual']),
97                 (3, ['install', 'fop-doc']),
98                 (3, ['install', 'crash-whitepaper']),
99                 (4, ['update']),
100                 (4, ['install', 'aboot-base']),
101                 (4, ['install', 'ada-reference-manual']),
102                 (4, ['install', 'fop-doc']),
103                 (4, ['install', 'crash-whitepaper']),
104                 (5, ['update']),
105                 (5, ['install', 'aboot-base']),
106                 (5, ['install', 'ada-reference-manual']),
107                 (5, ['install', 'fop-doc']),
108                 (5, ['install', 'crash-whitepaper']),
109                 (6, ['update']),
110                 (6, ['install', 'aboot-base']),
111                 (6, ['install', 'ada-reference-manual']),
112                 (6, ['install', 'fop-doc']),
113                 (6, ['install', 'crash-whitepaper']),
114                 ]),
115
116          '4': ('Start a single bootstrap and 1 downloader, requesting the same' +
117                ' packages multiple times to test caching.',
118                {1: {}},
119                {1: {}},
120                [(1, ['update']),
121                 (1, ['install', 'aboot-base']),
122                 (1, ['install', 'ada-reference-manual']),
123                 (1, ['install', 'fop-doc']),
124                 (1, ['install', 'crash-whitepaper']),
125                 (1, ['update']),
126                 (1, ['install', 'aboot-base']),
127                 (1, ['install', 'ada-reference-manual']),
128                 (1, ['install', 'fop-doc']),
129                 (1, ['install', 'crash-whitepaper']),
130                 (1, ['update']),
131                 (1, ['install', 'aboot-base']),
132                 (1, ['install', 'ada-reference-manual']),
133                 (1, ['install', 'fop-doc']),
134                 (1, ['install', 'crash-whitepaper']),
135                 ]),
136                 
137          '5': ('Start a single bootstrap and 6 downloaders, update all to test' +
138                ' that they can all see each other.',
139                {1: {}},
140                {1: ([], {'suites': 'contrib non-free'}),
141                 2: ([], {'suites': 'contrib non-free'}),
142                 3: ([], {'suites': 'contrib non-free'}),
143                 4: ([], {'suites': 'contrib non-free'}),
144                 5: ([], {'suites': 'contrib non-free'}),
145                 6: ([], {'suites': 'contrib non-free'})},
146                [(1, ['update']),
147                 (2, ['update']),
148                 (3, ['update']),
149                 (4, ['update']),
150                 (5, ['update']),
151                 (6, ['update']),
152                 ]),
153
154         '6': ('Test caching with multiple apt-get updates.',
155              {1: {}},
156              {1: {}},
157              [(1, ['update']), 
158               (1, ['update']),
159               (1, ['update']),
160               (1, ['update']),
161               ]),
162
163         '7': ('Test pipelining of multiple simultaneous downloads.',
164              {1: {}},
165              {1: {}},
166              [(1, ['update']), 
167               (1, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
168                    'aspectj-doc', 'fop-doc', 'asis-doc',
169                    'bison-doc', 'crash-whitepaper',
170                    'bash-doc', 'apt-howto-common', 'autotools-dev',
171                    'aptitude-doc-en', 'asr-manpages',
172                    'atomix-data', 'alcovebook-sgml-doc',
173                    'afbackup-common', 'airstrike-common',
174                    ]),
175               ]),
176
177         '8': ('Test pipelining of multiple simultaneous downloads with many peers.',
178              {1: {}},
179              {1: {},
180               2: {},
181               3: {},
182               4: {},
183               5: {},
184               6: {}},
185              [(1, ['update']), 
186               (1, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
187                    'aspectj-doc', 'fop-doc', 'asis-doc',
188                    'bison-doc', 'crash-whitepaper',
189                    'bash-doc', 'apt-howto-common', 'autotools-dev',
190                    'aptitude-doc-en', 'asr-manpages',
191                    'atomix-data', 'alcovebook-sgml-doc',
192                    'afbackup-common', 'airstrike-common',
193                    ]),
194               (2, ['update']), 
195               (2, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
196                    'aspectj-doc', 'fop-doc', 'asis-doc',
197                    'bison-doc', 'crash-whitepaper',
198                    'bash-doc', 'apt-howto-common', 'autotools-dev',
199                    'aptitude-doc-en', 'asr-manpages',
200                    'atomix-data', 'alcovebook-sgml-doc',
201                    'afbackup-common', 'airstrike-common',
202                    ]),
203               (3, ['update']), 
204               (3, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
205                    'aspectj-doc', 'fop-doc', 'asis-doc',
206                    'bison-doc', 'crash-whitepaper',
207                    'bash-doc', 'apt-howto-common', 'autotools-dev',
208                    'aptitude-doc-en', 'asr-manpages',
209                    'atomix-data', 'alcovebook-sgml-doc',
210                    'afbackup-common', 'airstrike-common',
211                    ]),
212               (4, ['update']), 
213               (4, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
214                    'aspectj-doc', 'fop-doc', 'asis-doc',
215                    'bison-doc', 'crash-whitepaper',
216                    'bash-doc', 'apt-howto-common', 'autotools-dev',
217                    'aptitude-doc-en', 'asr-manpages',
218                    'atomix-data', 'alcovebook-sgml-doc',
219                    'afbackup-common', 'airstrike-common',
220                    ]),
221               (5, ['update']), 
222               (5, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
223                    'aspectj-doc', 'fop-doc', 'asis-doc',
224                    'bison-doc', 'crash-whitepaper',
225                    'bash-doc', 'apt-howto-common', 'autotools-dev',
226                    'aptitude-doc-en', 'asr-manpages',
227                    'atomix-data', 'alcovebook-sgml-doc',
228                    'afbackup-common', 'airstrike-common',
229                    ]),
230               (6, ['update']), 
231               (6, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
232                    'aspectj-doc', 'fop-doc', 'asis-doc',
233                    'bison-doc', 'crash-whitepaper',
234                    'bash-doc', 'apt-howto-common', 'autotools-dev',
235                    'aptitude-doc-en', 'asr-manpages',
236                    'atomix-data', 'alcovebook-sgml-doc',
237                    'afbackup-common', 'airstrike-common',
238                    ]),
239               ]),
240
241          '9': ('Start a single bootstrap and 6 downloaders and test downloading' +
242                ' a very large file.',
243                {1: {}},
244                {1: {},
245                 2: {},
246                 3: {},
247                 4: {},
248                 5: {},
249                 6: {}},
250                [(1, ['update']),
251                 (1, ['install', 'kde-icons-oxygen']),
252                 (2, ['update']),
253                 (2, ['install', 'kde-icons-oxygen']),
254                 (3, ['update']),
255                 (3, ['install', 'kde-icons-oxygen']),
256                 (4, ['update']),
257                 (4, ['install', 'kde-icons-oxygen']),
258                 (5, ['update']),
259                 (5, ['install', 'kde-icons-oxygen']),
260                 (6, ['update']),
261                 (6, ['install', 'kde-icons-oxygen']),
262                 ]),
263
264         'a': ('Test pipelining and caching, can also interrupt or restart to test resuming.',
265              {1: {'clean': False}},
266              {1: {'clean': False},
267               2: {'clean': False}},
268             [(1, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
269                    'aspectj-doc', 'fop-doc', 'asis-doc',
270                    'bison-doc', 'crash-whitepaper',
271                    'bash-doc', 'apt-howto-common', 'autotools-dev',
272                    'aptitude-doc-en', 'asr-manpages',
273                    'atomix-data', 'alcovebook-sgml-doc',
274                    'afbackup-common', 'airstrike-common',
275                    ]),
276               (1, ['update']), 
277               (1, ['update']), 
278               (1, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
279                    'aspectj-doc', 'fop-doc', 'asis-doc',
280                    'bison-doc', 'crash-whitepaper',
281                    'bash-doc', 'apt-howto-common', 'autotools-dev',
282                    'aptitude-doc-en', 'asr-manpages',
283                    'atomix-data', 'alcovebook-sgml-doc',
284                    'afbackup-common', 'airstrike-common',
285                    ]),
286               (1, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
287                    'aspectj-doc', 'fop-doc', 'asis-doc',
288                    'bison-doc', 'crash-whitepaper',
289                    'bash-doc', 'apt-howto-common', 'autotools-dev',
290                    'aptitude-doc-en', 'asr-manpages',
291                    'atomix-data', 'alcovebook-sgml-doc',
292                    'afbackup-common', 'airstrike-common',
293                    ]),
294               (2, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
295                    'aspectj-doc', 'fop-doc', 'asis-doc',
296                    'bison-doc', 'crash-whitepaper',
297                    'bash-doc', 'apt-howto-common', 'autotools-dev',
298                    'aptitude-doc-en', 'asr-manpages',
299                    'atomix-data', 'alcovebook-sgml-doc',
300                    'afbackup-common', 'airstrike-common',
301                    ]),
302               (2, ['update']), 
303               (2, ['update']), 
304               (2, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
305                    'aspectj-doc', 'fop-doc', 'asis-doc',
306                    'bison-doc', 'crash-whitepaper',
307                    'bash-doc', 'apt-howto-common', 'autotools-dev',
308                    'aptitude-doc-en', 'asr-manpages',
309                    'atomix-data', 'alcovebook-sgml-doc',
310                    'afbackup-common', 'airstrike-common',
311                    ]),
312               (2, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
313                    'aspectj-doc', 'fop-doc', 'asis-doc',
314                    'bison-doc', 'crash-whitepaper',
315                    'bash-doc', 'apt-howto-common', 'autotools-dev',
316                    'aptitude-doc-en', 'asr-manpages',
317                    'atomix-data', 'alcovebook-sgml-doc',
318                    'afbackup-common', 'airstrike-common',
319                    ]),
320               ]),
321
322          'b': ('Start 2 downloaders and test source downloads.',
323                {1: {}},
324                {1: {'types': ['deb-src']},
325                 2: {'types': ['deb-src']}},
326                [(1, ['update']),
327                 (2, ['update']),
328                 (1, ['source', 'aboot-base']),
329                 (2, ['source', 'aboot-base']),
330                 (1, ['source', 'aap-doc']),
331                 (1, ['source', 'ada-reference-manual']),
332                 (1, ['source', 'fop-doc']),
333                 (1, ['source', 'bison-doc']),
334                 (1, ['source', 'crash-whitepaper']),
335                 (2, ['source', 'aap-doc']),
336                 (2, ['source', 'ada-reference-manual']),
337                 (2, ['source', 'fop-doc']),
338                 (2, ['source', 'bison-doc']),
339                 (2, ['source', 'crash-whitepaper']),
340                 ]),
341                 
342          }
343
344 assert 'all' not in tests
345 assert 'help' not in tests
346
347 CWD = os.getcwd()
348 apt_conf_template = """
349 {
350   // Location of the state dir
351   State "var/lib/apt/"
352   {
353      Lists "lists/";
354      xstatus "xstatus";
355      userstatus "status.user";
356      cdroms "cdroms.list";
357   };
358
359   // Location of the cache dir
360   Cache "var/cache/apt/" {
361      Archives "archives/";
362      srcpkgcache "srcpkgcache.bin";
363      pkgcache "pkgcache.bin";
364   };
365
366   // Config files
367   Etc "etc/apt/" {
368      SourceList "sources.list";
369      Main "apt.conf";
370      Preferences "preferences";
371      Parts "apt.conf.d/";
372   };
373
374   // Locations of binaries
375   Bin {
376      methods "/usr/lib/apt/methods/";
377      gzip "/bin/gzip";
378      gpg  "/usr/bin/gpgv";
379      dpkg "/usr/bin/dpkg --simulate";
380      dpkg-source "/usr/bin/dpkg-source";
381      dpkg-buildpackage "/usr/bin/dpkg-buildpackage";
382      apt-get "/usr/bin/apt-get";
383      apt-cache "/usr/bin/apt-cache";
384   };
385 };
386
387 /* Options you can set to see some debugging text They correspond to names
388    of classes in the source code */
389 Debug
390 {
391   pkgProblemResolver "false";
392   pkgDepCache::AutoInstall "false"; // what packages apt install to satify dependencies
393   pkgAcquire "false";
394   pkgAcquire::Worker "false";
395   pkgAcquire::Auth "false";
396   pkgDPkgPM "false";
397   pkgDPkgProgressReporting "false";
398   pkgOrderList "false";
399   BuildDeps "false";
400
401   pkgInitialize "false";   // This one will dump the configuration space
402   NoLocking "false";
403   Acquire::Ftp "false";    // Show ftp command traffic
404   Acquire::Http "false";   // Show http command traffic
405   Acquire::gpgv "false";   // Show the gpgv traffic
406   aptcdrom "false";        // Show found package files
407   IdentCdrom "false";
408
409 }
410 """
411 apt_p2p_conf_template = """
412 [DEFAULT]
413
414 # Port to listen on for all requests (TCP and UDP)
415 PORT = %(PORT)s
416     
417 # The rate to limit sending data to peers to, in KBytes/sec.
418 # Set this to 0 to not limit the upload bandwidth.
419 UPLOAD_LIMIT = 100
420
421 # The minimum number of peers before the mirror is not used.
422 # If there are fewer peers than this for a file, the mirror will also be
423 # used to speed up the download. Set to 0 to never use the mirror if
424 # there are peers.
425 MIN_DOWNLOAD_PEERS = 3
426
427 # Directory to store the downloaded files in
428 CACHE_DIR = %(CACHE_DIR)s
429     
430 # Other directories containing packages to share with others
431 # WARNING: all files in these directories will be hashed and available
432 #          for everybody to download
433 # OTHER_DIRS = 
434     
435 # Whether it's OK to use an IP addres from a known local/private range
436 LOCAL_OK = yes
437
438 # Whether a remote peer can access the statistics page
439 REMOTE_STATS = yes
440
441 # Unload the packages cache after an interval of inactivity this long.
442 # The packages cache uses a lot of memory, and only takes a few seconds
443 # to reload when a new request arrives.
444 UNLOAD_PACKAGES_CACHE = 5m
445
446 # Refresh the DHT keys after this much time has passed.
447 # This should be a time slightly less than the DHT's KEY_EXPIRE value.
448 KEY_REFRESH = 57m
449
450 # The user name to try and run as (leave blank to run as current user)
451 USERNAME = 
452
453 # Which DHT implementation to use.
454 # It must be possile to do "from <DHT>.DHT import DHT" to get a class that
455 # implements the IDHT interface.
456 DHT = apt_p2p_Khashmir
457
458 # Whether to only run the DHT (for providing only a bootstrap node)
459 DHT-ONLY = %(DHT-ONLY)s
460
461 [apt_p2p_Khashmir]
462 # bootstrap nodes to contact to join the DHT
463 BOOTSTRAP = %(BOOTSTRAP)s
464
465 # whether this node is a bootstrap node
466 BOOTSTRAP_NODE = %(BOOTSTRAP_NODE)s
467
468 # checkpoint every this many seconds
469 CHECKPOINT_INTERVAL = 5m
470
471 # concurrent xmlrpc calls per find node/value request!
472 CONCURRENT_REQS = 4
473
474 # how many hosts to post to
475 STORE_REDUNDANCY = 3
476
477 # How many values to attempt to retrieve from the DHT.
478 # Setting this to 0 will try and get all values (which could take a while if
479 # a lot of nodes have values). Setting it negative will try to get that
480 # number of results from only the closest STORE_REDUNDANCY nodes to the hash.
481 # The default is a large negative number so all values from the closest
482 # STORE_REDUNDANCY nodes will be retrieved.
483 RETRIEVE_VALUES = -10000
484
485 # how many times in a row a node can fail to respond before it's booted from the routing table
486 MAX_FAILURES = 3
487
488 # never ping a node more often than this
489 MIN_PING_INTERVAL = 15m
490
491 # refresh buckets that haven't been touched in this long
492 BUCKET_STALENESS = 1h
493
494 # expire entries older than this
495 KEY_EXPIRE = 1h
496
497 # Timeout KRPC requests to nodes after this time.
498 KRPC_TIMEOUT = 14s
499
500 # KRPC requests are resent using exponential backoff starting with this delay.
501 # The request will first be resent after the delay set here.
502 # The request will be resent again after twice the delay set here. etc.
503 # e.g. if TIMEOUT is 14 sec., and INITIAL_DELAY is 2 sec., then requests will
504 # be resent at times 0, 2 (2 sec. later), and 6 (4 sec. later), and then will
505 # timeout at 14.
506 KRPC_INITIAL_DELAY = 2s
507
508 # whether to spew info about the requests/responses in the protocol
509 SPEW = yes
510 """
511
512 def rmrf(top):
513     """Remove all the files and directories below a top-level one.
514     
515     @type top: C{string}
516     @param top: the top-level directory to start at
517     
518     """
519     
520     for root, dirs, files in os.walk(top, topdown=False):
521         for name in files:
522             os.remove(os.path.join(root, name))
523         for name in dirs:
524             os.rmdir(os.path.join(root, name))
525
526 def join(dir):
527     """Join together a list of directories into a path string.
528     
529     @type dir: C{list} of C{string}
530     @param dir: the path to join together
531     @rtype: C{string}
532     @return: the joined together path
533     
534     """
535     
536     joined = ''
537     for i in dir:
538         joined = os.path.join(joined, i)
539     return joined
540
541 def makedirs(dir):
542     """Create all the directories to make a path.
543     
544     @type dir: C{list} of C{string}
545     @param dir: the path to create
546     
547     """
548     if not os.path.exists(join(dir)):
549         os.makedirs(join(dir))
550
551 def touch(path):
552     """Create an empty file.
553     
554     @type path: C{list} of C{string}
555     @param path: the path to create
556     
557     """
558     
559     f = open(join(path), 'w')
560     f.close()
561
562 def start(cmd, args, work_dir = None):
563     """Fork and start a background process running.
564     
565     @type cmd: C{string}
566     @param cmd: the name of the command to run
567     @type args: C{list} of C{string}
568     @param args: the argument to pass to the command
569     @type work_dir: C{string}
570     @param work_dir: the directory to change to to execute the child process in
571         (optional, defaults to the current directory)
572     @rtype: C{int}
573     @return: the PID of the forked process
574     
575     """
576     
577     new_cmd = [cmd] + args
578     if work_dir:
579         os.chdir(work_dir)
580     pid = os.spawnvp(os.P_NOWAIT, new_cmd[0], new_cmd)
581     return pid
582
583 def stop(pid):
584     """Stop a forked background process that is running.
585     
586     @type pid: C{int}
587     @param pid: the PID of the process to stop
588     @rtype: C{int}
589     @return: the return status code from the child
590     
591     """
592
593     # First try a keyboard interrupt
594     os.kill(pid, signal.SIGINT)
595     for i in xrange(5):
596         sleep(1)
597         (r_pid, r_value) = os.waitpid(pid, os.WNOHANG)
598         if r_pid:
599             return r_value
600     
601     # Try a keyboard interrupt again, just in case
602     os.kill(pid, signal.SIGINT)
603     for i in xrange(5):
604         sleep(1)
605         (r_pid, r_value) = os.waitpid(pid, os.WNOHANG)
606         if r_pid:
607             return r_value
608
609     # Try a terminate
610     os.kill(pid, signal.SIGTERM)
611     for i in xrange(5):
612         sleep(1)
613         (r_pid, r_value) = os.waitpid(pid, os.WNOHANG)
614         if r_pid:
615             return r_value
616
617     # Finally a kill, don't return until killed
618     os.kill(pid, signal.SIGKILL)
619     while not r_pid:
620         sleep(1)
621         (r_pid, r_value) = os.waitpid(pid, os.WNOHANG)
622
623     return r_value
624
625 def apt_get(num_down, cmd):
626     """Start an apt-get process in the background.
627
628     The default argument specified to the apt-get invocation are
629     'apt-get -d -q -c <conf_file>'. Any additional arguments (including
630     the apt-get action to use) should be specified.
631     
632     @type num_down: C{int}
633     @param num_down: the number of the downloader to use
634     @type cmd: C{list} of C{string}
635     @param cmd: the arguments to pass to the apt-get process
636     @rtype: C{int}
637     @return: the PID of the background process
638     
639     """
640     
641     downloader_dir = down_dir(num_down)
642     rmrf(join([downloader_dir, 'var', 'cache', 'apt', 'archives']))
643     makedirs([downloader_dir, 'var', 'cache', 'apt', 'archives', 'partial'])
644
645     print '*************** apt-get (' + str(num_down) + ') ' + ' '.join(cmd) + ' ****************'
646     apt_conf = join([down_dir(num_down), 'etc', 'apt', 'apt.conf'])
647     dpkg_status = join([down_dir(num_down), 'var', 'lib', 'dpkg', 'status'])
648     args = ['-d', '-c', apt_conf, '-o', 'Dir::state::status='+dpkg_status] + cmd
649     pid = start('apt-get', args, downloader_dir)
650     return pid
651
652 def bootstrap_address(num_boot):
653     """Determine the bootstrap address to use for a node.
654     
655     @type num_boot: C{int}
656     @param num_boot: the number of the bootstrap node
657     @rtype: C{string}
658     @return: the bootstrap address to use
659     
660     """
661     
662     return 'localhost:1' + str(num_boot) + '969'
663
664 def down_dir(num_down):
665     """Determine the working directory to use for a downloader.
666     
667     @type num_down: C{int}
668     @param num_down: the number of the downloader
669     @rtype: C{string}
670     @return: the downloader's directory
671     
672     """
673     
674     return os.path.join(CWD,'downloader' + str(num_down))
675
676 def boot_dir(num_boot):
677     """Determine the working directory to use for a bootstrap node.
678     
679     @type num_boot: C{int}
680     @param num_boot: the number of the bootstrap node
681     @rtype: C{string}
682     @return: the bootstrap node's directory
683     
684     """
685     
686     return os.path.join(CWD,'bootstrap' + str(num_boot))
687
688 def start_downloader(bootstrap_addresses, num_down, options = {},
689                      types = ['deb'], mirror = 'ftp.us.debian.org/debian', 
690                      suites = 'main contrib non-free', clean = True):
691     """Initialize a new downloader process.
692
693     The default arguments specified to the downloader invocation are
694     the configuration directory, apt port, minport, maxport and the
695     maximum upload rate. 
696     Any additional arguments needed should be specified by L{options}.
697     
698     @type num_down: C{int}
699     @param num_down: the number of the downloader to use
700     @type options: C{dictionary}
701     @param options: the dictionary of string formatting values for creating
702         the apt-p2p configuration file (see L{apt_p2p_conf_template} above).
703         (optional, defaults to only using the default arguments)
704     @type types: C{list} of C{string}
705     @param types: the type of sources.list line to add
706         (optional, defaults to only 'deb')
707     @type mirror: C{string}
708     @param mirror: the Debian mirror to use
709         (optional, defaults to 'ftp.us.debian.org/debian')
710     @type suites: C{string}
711     @param suites: space separated list of suites to download
712         (optional, defaults to 'main contrib non-free')
713     @type clean: C{boolean}
714     @param clean: whether to remove any previous downloader files
715         (optional, defaults to removing them)
716     @rtype: C{int}
717     @return: the PID of the downloader process
718     
719     """
720     
721     assert num_down < 100
722     
723     print '************************** Starting Downloader ' + str(num_down) + ' **************************'
724
725     downloader_dir = down_dir(num_down)
726     
727     if clean:
728         try:
729             rmrf(downloader_dir)
730         except:
731             pass
732     
733     # Create the directory structure needed by apt
734     makedirs([downloader_dir, 'etc', 'apt', 'apt.conf.d'])
735     makedirs([downloader_dir, 'var', 'lib', 'apt', 'lists', 'partial'])
736     makedirs([downloader_dir, 'var', 'lib', 'dpkg'])
737     rmrf(join([downloader_dir, 'var', 'cache', 'apt', 'archives']))
738     makedirs([downloader_dir, 'var', 'cache', 'apt', 'archives', 'partial'])
739     touch([downloader_dir, 'var', 'lib', 'apt', 'lists', 'lock'])
740     touch([downloader_dir, 'var', 'lib', 'dpkg', 'lock'])
741     touch([downloader_dir, 'var', 'lib', 'dpkg', 'status'])
742     touch([downloader_dir, 'var', 'cache', 'apt', 'archives', 'lock'])
743
744     if not exists(join([downloader_dir, 'etc', 'apt', 'sources.list'])):
745         # Create apt's config files
746         f = open(join([downloader_dir, 'etc', 'apt', 'sources.list']), 'w')
747         for type in types:
748             f.write('%s http://localhost:1%02d77/%s/ unstable %s\n' % (type, num_down, mirror, suites))
749         f.close()
750
751     if not exists(join([downloader_dir, 'etc', 'apt', 'apt.conf'])):
752         f = open(join([downloader_dir, 'etc', 'apt', 'apt.conf']), 'w')
753         f.write('Dir "' + downloader_dir + '"')
754         f.write(apt_conf_template)
755         f.close()
756
757     defaults = {'PORT': '1%02d77' % num_down,
758                 'CACHE_DIR': downloader_dir,
759                 'DHT-ONLY': 'no',
760                 'BOOTSTRAP': bootstrap_addresses,
761                 'BOOTSTRAP_NODE': 'no'}
762
763     for k in options:
764         defaults[k] = options[k]
765     f = open(join([downloader_dir, 'apt-p2p.conf']), 'w')
766     f.write(apt_p2p_conf_template % defaults)
767     f.close()
768     
769     pid = start('python', [join([sys.path[0], 'apt-p2p.py']),
770                            '--config-file=' + join([downloader_dir, 'apt-p2p.conf']),
771                            '--log-file=' + join([downloader_dir, 'apt-p2p.log']),],
772                 downloader_dir)
773     return pid
774
775 def start_bootstrap(bootstrap_addresses, num_boot, options = [], clean = True):
776     """Initialize a new bootstrap node process.
777
778     The default arguments specified to the apt-p2p invocation are
779     the state file and port to use. Any additional arguments needed 
780     should be specified by L{options}.
781     
782     @type num_boot: C{int}
783     @param num_boot: the number of the bootstrap node to use
784     @type options: C{list} of C{string}
785     @param options: the arguments to pass to the bootstrap node
786         (optional, defaults to only using the default arguments)
787     @type clean: C{boolean}
788     @param clean: whether to remove any previous bootstrap node files
789         (optional, defaults to removing them)
790     @rtype: C{int}
791     @return: the PID of the downloader process
792     
793     """
794     
795     assert num_boot < 10
796
797     print '************************** Starting Bootstrap ' + str(num_boot) + ' **************************'
798
799     bootstrap_dir = boot_dir(num_boot)
800     
801     if clean:
802         try:
803             rmrf(bootstrap_dir)
804         except:
805             pass
806
807     makedirs([bootstrap_dir])
808
809     defaults = {'PORT': '1%d969' % num_boot,
810                 'CACHE_DIR': bootstrap_dir,
811                 'DHT-ONLY': 'yes',
812                 'BOOTSTRAP': bootstrap_addresses,
813                 'BOOTSTRAP_NODE': 'yes'}
814
815     for k in options:
816         defaults[k] = options[k]
817     f = open(join([bootstrap_dir, 'apt-p2p.conf']), 'w')
818     f.write(apt_p2p_conf_template % defaults)
819     f.close()
820     
821     pid = start('python', [join([sys.path[0], 'apt-p2p.py']),
822                            '--config-file=' + join([bootstrap_dir, 'apt-p2p.conf']),
823                            '--log-file=' + join([bootstrap_dir, 'apt-p2p.log']),],
824                 bootstrap_dir)
825
826     return pid
827
828 def run_test(bootstraps, downloaders, apt_get_queue):
829     """Run a single test.
830     
831     @type bootstraps: C{dictionary} of {C{int}: C{list} of C{string}}
832     @param bootstraps: the bootstrap nodes to start, keys are the bootstrap numbers and
833         values are the list of options to invoke the bootstrap node with
834     @type downloaders: C{dictionary} of {C{int}: (C{int}, C{list} of C{string})}
835     @param downloaders: the downloaders to start, keys are the downloader numbers and
836         values are the list of options to invoke the downloader with
837     @type apt_get_queue: C{list} of (C{int}, C{list} of C{string})
838     @param apt_get_queue: the apt-get downloader to use and commands to execute
839     @rtype: C{list} of (C{float}, C{int})
840     @return: the execution time and returned status code for each element of apt_get_queue
841     
842     """
843     
844     running_bootstraps = {}
845     running_downloaders = {}
846     running_apt_get = {}
847     apt_get_results = []
848
849     try:
850         boot_keys = bootstraps.keys()
851         boot_keys.sort()
852         bootstrap_addresses = bootstrap_address(boot_keys[0])
853         for i in xrange(1, len(boot_keys)):
854             bootstrap_addresses += '\n      ' + bootstrap_address(boot_keys[i])
855             
856         for k, v in bootstraps.items():
857             running_bootstraps[k] = start_bootstrap(bootstrap_addresses, k, **v)
858         
859         sleep(5)
860         
861         for k, v in downloaders.items():
862             running_downloaders[k] = start_downloader(bootstrap_addresses, k, **v)
863     
864         sleep(5)
865         
866         for (num_down, cmd) in apt_get_queue:
867             running_apt_get[num_down] = apt_get(num_down, cmd)
868             start_time = time()
869             (pid, r_value) = os.waitpid(running_apt_get[num_down], 0)
870             elapsed = time() - start_time
871             del running_apt_get[num_down]
872             r_value = r_value / 256
873             apt_get_results.append((elapsed, r_value))
874
875             if r_value == 0:
876                 print '********** apt-get completed successfully in ' +  str(elapsed) + ' sec. *****************'
877             else:
878                 print '********** apt-get finished with status ' + str(r_value) + ' in ' +  str(elapsed) + ' sec. ************'
879         
880             sleep(5)
881             
882     except:
883         print '************************** Exception occurred **************************'
884         print_exc()
885         print '************************** will attempt to shut down *******************'
886         
887     print '*********************** shutting down the apt-gets *******************'
888     for k, v in running_apt_get.items():
889         try:
890             print 'apt-get', k, stop(v)
891         except:
892             print '************************** Exception occurred **************************'
893             print_exc()
894
895     sleep(5)
896
897     print '*********************** shutting down the downloaders *******************'
898     for k, v in running_downloaders.items():
899         try:
900             print 'downloader', k, stop(v)
901         except:
902             print '************************** Exception occurred **************************'
903             print_exc()
904
905     sleep(5)
906
907     print '************************** shutting down the bootstraps *******************'
908     for k, v in running_bootstraps.items():
909         try:
910             print 'bootstrap', k, stop(v)
911         except:
912             print '************************** Exception occurred **************************'
913             print_exc()
914
915     print '************************** Test Results *******************'
916     i = -1
917     for (num_down, cmd) in apt_get_queue:
918         i += 1
919         s = str(num_down) + ': "apt-get ' + ' '.join(cmd) + '" '
920         if len(apt_get_results) > i:
921             (elapsed, r_value) = apt_get_results[i]
922             s += 'took ' + str(elapsed) + ' secs (' + str(r_value) + ')'
923         else:
924             s += 'did not complete'
925         print s
926     
927     return apt_get_results
928
929 def get_usage():
930     """Get the usage information to display to the user.
931     
932     @rtype: C{string}
933     @return: the usage information to display
934     
935     """
936     
937     s = 'Usage: ' + sys.argv[0] + ' (all|<test>|help)\n\n'
938     s += '  all    - run all the tests\n'
939     s += '  help   - display this usage information\n'
940     s += '  <test> - run the <test> test (see list below for valid tests)\n\n'
941     
942     t = tests.items()
943     t.sort()
944     for k, v in t:
945         s += 'test "' + str(k) + '" - ' + v[0] + '\n'
946     
947     return s
948
949 if __name__ == '__main__':
950     if len(sys.argv) != 2:
951         print get_usage()
952     elif sys.argv[1] == 'all':
953         for k, v in tests.items():
954             run_test(v[1], v[2], v[3])
955     elif sys.argv[1] in tests:
956         v = tests[sys.argv[1]]
957         run_test(v[1], v[2], v[3])
958     elif sys.argv[1] == 'help':
959         print get_usage()
960     else:
961         print 'Unknown test to run:', sys.argv[1], '\n'
962         print get_usage()
963