3fb7057ccf7e17700bd871962ddf3944103bedd3
[quix0rs-apt-p2p.git] / test.py
1 #!/usr/bin/env python
2
3 """Automated tests of the apt-p2p functionality.
4
5 This script runs several automatic tests of some of the functionality in
6 the apt-p2p program.
7
8 @type tests: C{dictionary}
9 @var tests: all of the tests that can be run.
10     The keys are the test names (strings) which are used on the command-line
11     to identify the tests (can not be 'all' or 'help'). The values are tuples
12     with four elements: a description of the test (C{string}), the bootstrap
13     nodes to start (C{dictionary}), the downloaders to start (C{dictionary},
14     and the apt-get commands to run (C{list}).
15     
16     The bootstrap nodes keys are integers, which must be in the range 1-9.
17     The values are the dictionary of string formatting values for creating
18     the apt-p2p configuration file (see L{apt_p2p_conf_template} below).
19     
20     The downloaders keys are also integers in the range 1-99. The values are
21     the dictionary of string formatting values for creating the apt-p2p
22     configuration file (see L{apt_p2p_conf_template} below).
23     
24     The apt-get commands' list elements are tuples with 2 elements: the
25     downloader to run the command on, and the list of command-line
26     arguments to specify to the apt-get program.
27     
28 @type CWD: C{string}
29 @var CWD: the working directory the script was run from
30 @type apt_conf_template: C{string}
31 @var apt_conf_template: the template to use for the apt.conf file
32
33 """
34
35 from time import sleep, time
36 import sys, os, signal
37 from traceback import print_exc
38 from os.path import exists
39
40 tests = {'1': ('Start a single bootstrap and downloader, test updating and downloading ' +
41              'using HTTP only.',
42              {1: {}},
43              {1: {}},
44              [(1, ['update']), 
45               (1, ['install', 'aboot-base']),
46               (1, ['install', 'aap-doc']),
47               (1, ['install', 'ada-reference-manual']),
48               (1, ['install', 'aspectj-doc']),
49               (1, ['install', 'fop-doc']),
50               (1, ['install', 'jswat-doc']),
51               (1, ['install', 'asis-doc']),
52               (1, ['install', 'bison-doc']),
53               (1, ['install', 'crash-whitepaper']),
54               (1, ['install', 'doc-iana']),
55               ]),
56
57          '2': ('Start a single bootstrap and 2 downloaders to test downloading from a peer.',
58                {1: {}},
59                {1: {},
60                 2: {}},
61                [(1, ['update']),
62                 (2, ['update']),
63                 (1, ['install', 'aboot-base']),
64                 (2, ['install', 'aboot-base']),
65                 (1, ['install', 'aap-doc']),
66                 (1, ['install', 'ada-reference-manual']),
67                 (1, ['install', 'fop-doc']),
68                 (1, ['install', 'jswat-doc']),
69                 (1, ['install', 'bison-doc']),
70                 (1, ['install', 'crash-whitepaper']),
71                 (2, ['install', 'aap-doc']),
72                 (2, ['install', 'ada-reference-manual']),
73                 (2, ['install', 'fop-doc']),
74                 (2, ['install', 'jswat-doc']),
75                 (2, ['install', 'bison-doc']),
76                 (2, ['install', 'crash-whitepaper']),
77                 ]),
78                 
79          '3': ('Start a single bootstrap and 6 downloaders, to test downloading' +
80                ' speeds from each other.',
81                {1: {}},
82                {1: {},
83                 2: {},
84                 3: {},
85                 4: {},
86                 5: {},
87                 6: {}},
88                [(1, ['update']),
89                 (1, ['install', 'aboot-base']),
90                 (1, ['install', 'ada-reference-manual']),
91                 (1, ['install', 'fop-doc']),
92                 (1, ['install', 'doc-iana']),
93                 (2, ['update']),
94                 (2, ['install', 'aboot-base']),
95                 (2, ['install', 'ada-reference-manual']),
96                 (2, ['install', 'fop-doc']),
97                 (2, ['install', 'doc-iana']),
98                 (3, ['update']),
99                 (3, ['install', 'aboot-base']),
100                 (3, ['install', 'ada-reference-manual']),
101                 (3, ['install', 'fop-doc']),
102                 (3, ['install', 'doc-iana']),
103                 (4, ['update']),
104                 (4, ['install', 'aboot-base']),
105                 (4, ['install', 'ada-reference-manual']),
106                 (4, ['install', 'fop-doc']),
107                 (4, ['install', 'doc-iana']),
108                 (5, ['update']),
109                 (5, ['install', 'aboot-base']),
110                 (5, ['install', 'ada-reference-manual']),
111                 (5, ['install', 'fop-doc']),
112                 (5, ['install', 'doc-iana']),
113                 (6, ['update']),
114                 (6, ['install', 'aboot-base']),
115                 (6, ['install', 'ada-reference-manual']),
116                 (6, ['install', 'fop-doc']),
117                 (6, ['install', 'doc-iana']),
118                 ]),
119
120          '4': ('Start a single bootstrap and 1 downloader, requesting the same' +
121                ' packages multiple times to test caching.',
122                {1: {}},
123                {1: {}},
124                [(1, ['update']),
125                 (1, ['install', 'aboot-base']),
126                 (1, ['install', 'ada-reference-manual']),
127                 (1, ['install', 'fop-doc']),
128                 (1, ['install', 'doc-iana']),
129                 (1, ['update']),
130                 (1, ['install', 'aboot-base']),
131                 (1, ['install', 'ada-reference-manual']),
132                 (1, ['install', 'fop-doc']),
133                 (1, ['install', 'doc-iana']),
134                 (1, ['update']),
135                 (1, ['install', 'aboot-base']),
136                 (1, ['install', 'ada-reference-manual']),
137                 (1, ['install', 'fop-doc']),
138                 (1, ['install', 'doc-iana']),
139                 ]),
140                 
141          '5': ('Start a single bootstrap and 6 downloaders, update all to test' +
142                ' that they can all see each other.',
143                {1: {}},
144                {1: ([], {'suites': 'contrib non-free'}),
145                 2: ([], {'suites': 'contrib non-free'}),
146                 3: ([], {'suites': 'contrib non-free'}),
147                 4: ([], {'suites': 'contrib non-free'}),
148                 5: ([], {'suites': 'contrib non-free'}),
149                 6: ([], {'suites': 'contrib non-free'})},
150                [(1, ['update']),
151                 (2, ['update']),
152                 (3, ['update']),
153                 (4, ['update']),
154                 (5, ['update']),
155                 (6, ['update']),
156                 ]),
157
158         '6': ('Test caching with multiple apt-get updates.',
159              {1: {}},
160              {1: {}},
161              [(1, ['update']), 
162               (1, ['update']),
163               (1, ['update']),
164               (1, ['update']),
165               ]),
166
167         '7': ('Test pipelining of multiple simultaneous downloads.',
168              {1: {}},
169              {1: {}},
170              [(1, ['update']), 
171               (1, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
172                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
173                    'bison-doc', 'crash-whitepaper', 'doc-iana',
174                    'bash-doc', 'apt-howto-common', 'autotools-dev',
175                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
176                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
177                    'aegis-doc', 'afbackup-common', 'airstrike-common',
178                    ]),
179               ]),
180
181         '8': ('Test pipelining of multiple simultaneous downloads with many peers.',
182              {1: {}},
183              {1: {},
184               2: {},
185               3: {},
186               4: {},
187               5: {},
188               6: {}},
189              [(1, ['update']), 
190               (1, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
191                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
192                    'bison-doc', 'crash-whitepaper', 'doc-iana',
193                    'bash-doc', 'apt-howto-common', 'autotools-dev',
194                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
195                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
196                    'aegis-doc', 'afbackup-common', 'airstrike-common',
197                    ]),
198               (2, ['update']), 
199               (2, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
200                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
201                    'bison-doc', 'crash-whitepaper', 'doc-iana',
202                    'bash-doc', 'apt-howto-common', 'autotools-dev',
203                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
204                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
205                    'aegis-doc', 'afbackup-common', 'airstrike-common',
206                    ]),
207               (3, ['update']), 
208               (3, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
209                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
210                    'bison-doc', 'crash-whitepaper', 'doc-iana',
211                    'bash-doc', 'apt-howto-common', 'autotools-dev',
212                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
213                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
214                    'aegis-doc', 'afbackup-common', 'airstrike-common',
215                    ]),
216               (4, ['update']), 
217               (4, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
218                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
219                    'bison-doc', 'crash-whitepaper', 'doc-iana',
220                    'bash-doc', 'apt-howto-common', 'autotools-dev',
221                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
222                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
223                    'aegis-doc', 'afbackup-common', 'airstrike-common',
224                    ]),
225               (5, ['update']), 
226               (5, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
227                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
228                    'bison-doc', 'crash-whitepaper', 'doc-iana',
229                    'bash-doc', 'apt-howto-common', 'autotools-dev',
230                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
231                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
232                    'aegis-doc', 'afbackup-common', 'airstrike-common',
233                    ]),
234               (6, ['update']), 
235               (6, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
236                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
237                    'bison-doc', 'crash-whitepaper', 'doc-iana',
238                    'bash-doc', 'apt-howto-common', 'autotools-dev',
239                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
240                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
241                    'aegis-doc', 'afbackup-common', 'airstrike-common',
242                    ]),
243               ]),
244
245          }
246
247 assert 'all' not in tests
248 assert 'help' not in tests
249
250 CWD = os.getcwd()
251 apt_conf_template = """
252 {
253   // Location of the state dir
254   State "var/lib/apt/"
255   {
256      Lists "lists/";
257      xstatus "xstatus";
258      userstatus "status.user";
259      cdroms "cdroms.list";
260   };
261
262   // Location of the cache dir
263   Cache "var/cache/apt/" {
264      Archives "archives/";
265      srcpkgcache "srcpkgcache.bin";
266      pkgcache "pkgcache.bin";
267   };
268
269   // Config files
270   Etc "etc/apt/" {
271      SourceList "sources.list";
272      Main "apt.conf";
273      Preferences "preferences";
274      Parts "apt.conf.d/";
275   };
276
277   // Locations of binaries
278   Bin {
279      methods "/usr/lib/apt/methods/";
280      gzip "/bin/gzip";
281      gpg  "/usr/bin/gpgv";
282      dpkg "/usr/bin/dpkg --simulate";
283      dpkg-source "/usr/bin/dpkg-source";
284      dpkg-buildpackage "/usr/bin/dpkg-buildpackage";
285      apt-get "/usr/bin/apt-get";
286      apt-cache "/usr/bin/apt-cache";
287   };
288 };
289
290 /* Options you can set to see some debugging text They correspond to names
291    of classes in the source code */
292 Debug
293 {
294   pkgProblemResolver "false";
295   pkgDepCache::AutoInstall "false"; // what packages apt install to satify dependencies
296   pkgAcquire "false";
297   pkgAcquire::Worker "false";
298   pkgAcquire::Auth "false";
299   pkgDPkgPM "false";
300   pkgDPkgProgressReporting "false";
301   pkgOrderList "false";
302   BuildDeps "false";
303
304   pkgInitialize "false";   // This one will dump the configuration space
305   NoLocking "false";
306   Acquire::Ftp "false";    // Show ftp command traffic
307   Acquire::Http "false";   // Show http command traffic
308   Acquire::Debtorrent "false";   // Show http command traffic
309   Acquire::gpgv "false";   // Show the gpgv traffic
310   aptcdrom "false";        // Show found package files
311   IdentCdrom "false";
312
313 }
314 """
315 apt_p2p_conf_template = """
316 [DEFAULT]
317
318 # Port to listen on for all requests (TCP and UDP)
319 PORT = %(PORT)s
320     
321 # The rate to limit sending data to peers to, in KBytes/sec.
322 # Set this to 0 to not limit the upload bandwidth.
323 UPLOAD_LIMIT = 100
324
325 # Directory to store the downloaded files in
326 CACHE_DIR = %(CACHE_DIR)s
327     
328 # Other directories containing packages to share with others
329 # WARNING: all files in these directories will be hashed and available
330 #          for everybody to download
331 # OTHER_DIRS = 
332     
333 # User name to try and run as
334 # USERNAME = 
335
336 # Whether it's OK to use an IP addres from a known local/private range
337 LOCAL_OK = yes
338
339 # Unload the packages cache after an interval of inactivity this long.
340 # The packages cache uses a lot of memory, and only takes a few seconds
341 # to reload when a new request arrives.
342 UNLOAD_PACKAGES_CACHE = 5m
343
344 # Refresh the DHT keys after this much time has passed.
345 # This should be a time slightly less than the DHT's KEY_EXPIRE value.
346 KEY_REFRESH = 57m
347
348 # Which DHT implementation to use.
349 # It must be possile to do "from <DHT>.DHT import DHT" to get a class that
350 # implements the IDHT interface.
351 DHT = apt_p2p_Khashmir
352
353 # Whether to only run the DHT (for providing only a bootstrap node)
354 DHT-ONLY = %(DHT-ONLY)s
355
356 [apt_p2p_Khashmir]
357 # bootstrap nodes to contact to join the DHT
358 BOOTSTRAP = %(BOOTSTRAP)s
359
360 # whether this node is a bootstrap node
361 BOOTSTRAP_NODE = %(BOOTSTRAP_NODE)s
362
363 # Kademlia "K" constant, this should be an even number
364 K = 8
365
366 # SHA1 is 160 bits long
367 HASH_LENGTH = 160
368
369 # checkpoint every this many seconds
370 CHECKPOINT_INTERVAL = 5m
371
372 # concurrent xmlrpc calls per find node/value request!
373 CONCURRENT_REQS = 4
374
375 # how many hosts to post to
376 STORE_REDUNDANCY = 3
377
378 # How many values to attempt to retrieve from the DHT.
379 # Setting this to 0 will try and get all values (which could take a while if
380 # a lot of nodes have values). Setting it negative will try to get that
381 # number of results from only the closest STORE_REDUNDANCY nodes to the hash.
382 # The default is a large negative number so all values from the closest
383 # STORE_REDUNDANCY nodes will be retrieved.
384 RETRIEVE_VALUES = -10000
385
386 # how many times in a row a node can fail to respond before it's booted from the routing table
387 MAX_FAILURES = 3
388
389 # never ping a node more often than this
390 MIN_PING_INTERVAL = 15m
391
392 # refresh buckets that haven't been touched in this long
393 BUCKET_STALENESS = 1h
394
395 # expire entries older than this
396 KEY_EXPIRE = 1h
397
398 # whether to spew info about the requests/responses in the protocol
399 SPEW = yes
400 """
401
402 def rmrf(top):
403     """Remove all the files and directories below a top-level one.
404     
405     @type top: C{string}
406     @param top: the top-level directory to start at
407     
408     """
409     
410     for root, dirs, files in os.walk(top, topdown=False):
411         for name in files:
412             os.remove(os.path.join(root, name))
413         for name in dirs:
414             os.rmdir(os.path.join(root, name))
415
416 def join(dir):
417     """Join together a list of directories into a path string.
418     
419     @type dir: C{list} of C{string}
420     @param dir: the path to join together
421     @rtype: C{string}
422     @return: the joined together path
423     
424     """
425     
426     joined = ''
427     for i in dir:
428         joined = os.path.join(joined, i)
429     return joined
430
431 def makedirs(dir):
432     """Create all the directories to make a path.
433     
434     @type dir: C{list} of C{string}
435     @param dir: the path to create
436     
437     """
438     if not os.path.exists(join(dir)):
439         os.makedirs(join(dir))
440
441 def touch(path):
442     """Create an empty file.
443     
444     @type path: C{list} of C{string}
445     @param path: the path to create
446     
447     """
448     
449     f = open(join(path), 'w')
450     f.close()
451
452 def start(cmd, args, work_dir = None):
453     """Fork and start a background process running.
454     
455     @type cmd: C{string}
456     @param cmd: the name of the command to run
457     @type args: C{list} of C{string}
458     @param args: the argument to pass to the command
459     @type work_dir: C{string}
460     @param work_dir: the directory to change to to execute the child process in
461         (optional, defaults to the current directory)
462     @rtype: C{int}
463     @return: the PID of the forked process
464     
465     """
466     
467     new_cmd = [cmd] + args
468     pid = os.spawnvp(os.P_NOWAIT, new_cmd[0], new_cmd)
469     return pid
470
471 def stop(pid):
472     """Stop a forked background process that is running.
473     
474     @type pid: C{int}
475     @param pid: the PID of the process to stop
476     @rtype: C{int}
477     @return: the return status code from the child
478     
479     """
480
481     # First try a keyboard interrupt
482     os.kill(pid, signal.SIGINT)
483     for i in xrange(5):
484         sleep(1)
485         (r_pid, r_value) = os.waitpid(pid, os.WNOHANG)
486         if r_pid:
487             return r_value
488     
489     # Try a keyboard interrupt again, just in case
490     os.kill(pid, signal.SIGINT)
491     for i in xrange(5):
492         sleep(1)
493         (r_pid, r_value) = os.waitpid(pid, os.WNOHANG)
494         if r_pid:
495             return r_value
496
497     # Try a terminate
498     os.kill(pid, signal.SIGTERM)
499     for i in xrange(5):
500         sleep(1)
501         (r_pid, r_value) = os.waitpid(pid, os.WNOHANG)
502         if r_pid:
503             return r_value
504
505     # Finally a kill, don't return until killed
506     os.kill(pid, signal.SIGKILL)
507     while not r_pid:
508         sleep(1)
509         (r_pid, r_value) = os.waitpid(pid, os.WNOHANG)
510
511     return r_value
512
513 def apt_get(num_down, cmd):
514     """Start an apt-get process in the background.
515
516     The default argument specified to the apt-get invocation are
517     'apt-get -d -q -c <conf_file>'. Any additional arguments (including
518     the apt-get action to use) should be specified.
519     
520     @type num_down: C{int}
521     @param num_down: the number of the downloader to use
522     @type cmd: C{list} of C{string}
523     @param cmd: the arguments to pass to the apt-get process
524     @rtype: C{int}
525     @return: the PID of the background process
526     
527     """
528     
529     print '*************** apt-get (' + str(num_down) + ') ' + ' '.join(cmd) + ' ****************'
530     apt_conf = join([down_dir(num_down), 'etc', 'apt', 'apt.conf'])
531     dpkg_status = join([down_dir(num_down), 'var', 'lib', 'dpkg', 'status'])
532     args = ['-d', '-c', apt_conf, '-o', 'Dir::state::status='+dpkg_status] + cmd
533     pid = start('apt-get', args)
534     return pid
535
536 def bootstrap_address(num_boot):
537     """Determine the bootstrap address to use for a node.
538     
539     @type num_boot: C{int}
540     @param num_boot: the number of the bootstrap node
541     @rtype: C{string}
542     @return: the bootstrap address to use
543     
544     """
545     
546     return 'localhost:1' + str(num_boot) + '969'
547
548 def down_dir(num_down):
549     """Determine the working directory to use for a downloader.
550     
551     @type num_down: C{int}
552     @param num_down: the number of the downloader
553     @rtype: C{string}
554     @return: the downloader's directory
555     
556     """
557     
558     return os.path.join(CWD,'downloader' + str(num_down))
559
560 def boot_dir(num_boot):
561     """Determine the working directory to use for a bootstrap node.
562     
563     @type num_boot: C{int}
564     @param num_boot: the number of the bootstrap node
565     @rtype: C{string}
566     @return: the bootstrap node's directory
567     
568     """
569     
570     return os.path.join(CWD,'bootstrap' + str(num_boot))
571
572 def start_downloader(bootstrap_addresses, num_down, options = {},
573                      mirror = 'ftp.us.debian.org/debian', 
574                      suites = 'main contrib non-free', clean = True):
575     """Initialize a new downloader process.
576
577     The default arguments specified to the downloader invocation are
578     the configuration directory, apt port, minport, maxport and the
579     maximum upload rate. 
580     Any additional arguments needed should be specified by L{options}.
581     
582     @type num_down: C{int}
583     @param num_down: the number of the downloader to use
584     @type options: C{dictionary}
585     @param options: the dictionary of string formatting values for creating
586         the apt-p2p configuration file (see L{apt_p2p_conf_template} above).
587         (optional, defaults to only using the default arguments)
588     @type mirror: C{string}
589     @param mirror: the Debian mirror to use
590         (optional, defaults to 'ftp.us.debian.org/debian')
591     @type suites: C{string}
592     @param suites: space separated list of suites to download
593         (optional, defaults to 'main contrib non-free')
594     @type clean: C{boolean}
595     @param clean: whether to remove any previous downloader files
596         (optional, defaults to removing them)
597     @rtype: C{int}
598     @return: the PID of the downloader process
599     
600     """
601     
602     assert num_down < 100
603     
604     print '************************** Starting Downloader ' + str(num_down) + ' **************************'
605
606     downloader_dir = down_dir(num_down)
607     
608     if clean:
609         try:
610             rmrf(downloader_dir)
611         except:
612             pass
613     
614         # Create the directory structure needed by apt
615         makedirs([downloader_dir, 'etc', 'apt', 'apt.conf.d'])
616         makedirs([downloader_dir, 'var', 'lib', 'apt', 'lists', 'partial'])
617         makedirs([downloader_dir, 'var', 'lib', 'dpkg'])
618         makedirs([downloader_dir, 'var', 'cache', 'apt', 'archives', 'partial'])
619         touch([downloader_dir, 'var', 'lib', 'apt', 'lists', 'lock'])
620         touch([downloader_dir, 'var', 'lib', 'dpkg', 'lock'])
621         touch([downloader_dir, 'var', 'lib', 'dpkg', 'status'])
622         touch([downloader_dir, 'var', 'cache', 'apt', 'archives', 'lock'])
623
624         # Create apt's config files
625         f = open(join([downloader_dir, 'etc', 'apt', 'sources.list']), 'w')
626         f.write('deb http://localhost:1%02d77/%s/ stable %s\n' % (num_down, mirror, suites))
627         f.close()
628
629         f = open(join([downloader_dir, 'etc', 'apt', 'apt.conf']), 'w')
630         f.write('Dir "' + downloader_dir + '"')
631         f.write(apt_conf_template)
632         f.close()
633
634     defaults = {'PORT': '1%02d77' % num_down,
635                 'CACHE_DIR': downloader_dir,
636                 'DHT-ONLY': 'no',
637                 'BOOTSTRAP': bootstrap_addresses,
638                 'BOOTSTRAP_NODE': 'no'}
639
640     for k in options:
641         defaults[k] = options[k]
642     f = open(join([downloader_dir, 'apt-p2p.conf']), 'w')
643     f.write(apt_p2p_conf_template % defaults)
644     f.close()
645     
646     pid = start('python', [join([sys.path[0], 'apt-p2p.py']),
647                            '--config-file=' + join([downloader_dir, 'apt-p2p.conf']),
648                            '--log-file=' + join([downloader_dir, 'apt-p2p.log']),],
649                 downloader_dir)
650     return pid
651
652 def start_bootstrap(bootstrap_addresses, num_boot, options = [], clean = True):
653     """Initialize a new bootstrap node process.
654
655     The default arguments specified to the apt-p2p invocation are
656     the state file and port to use. Any additional arguments needed 
657     should be specified by L{options}.
658     
659     @type num_boot: C{int}
660     @param num_boot: the number of the bootstrap node to use
661     @type options: C{list} of C{string}
662     @param options: the arguments to pass to the bootstrap node
663         (optional, defaults to only using the default arguments)
664     @type clean: C{boolean}
665     @param clean: whether to remove any previous bootstrap node files
666         (optional, defaults to removing them)
667     @rtype: C{int}
668     @return: the PID of the downloader process
669     
670     """
671     
672     assert num_boot < 10
673
674     print '************************** Starting Bootstrap ' + str(num_boot) + ' **************************'
675
676     bootstrap_dir = boot_dir(num_boot)
677     
678     if clean:
679         try:
680             rmrf(bootstrap_dir)
681         except:
682             pass
683
684     makedirs([bootstrap_dir])
685
686     defaults = {'PORT': '1%d969' % num_boot,
687                 'CACHE_DIR': bootstrap_dir,
688                 'DHT-ONLY': 'yes',
689                 'BOOTSTRAP': bootstrap_addresses,
690                 'BOOTSTRAP_NODE': 'yes'}
691
692     for k in options:
693         defaults[k] = options[k]
694     f = open(join([bootstrap_dir, 'apt-p2p.conf']), 'w')
695     f.write(apt_p2p_conf_template % defaults)
696     f.close()
697     
698     pid = start('python', [join([sys.path[0], 'apt-p2p.py']),
699                            '--config-file=' + join([bootstrap_dir, 'apt-p2p.conf']),
700                            '--log-file=' + join([bootstrap_dir, 'apt-p2p.log']),],
701                 bootstrap_dir)
702
703     return pid
704
705 def run_test(bootstraps, downloaders, apt_get_queue):
706     """Run a single test.
707     
708     @type bootstraps: C{dictionary} of {C{int}: C{list} of C{string}}
709     @param bootstraps: the bootstrap nodes to start, keys are the bootstrap numbers and
710         values are the list of options to invoke the bootstrap node with
711     @type downloaders: C{dictionary} of {C{int}: (C{int}, C{list} of C{string})}
712     @param downloaders: the downloaders to start, keys are the downloader numbers and
713         values are the list of options to invoke the downloader with
714     @type apt_get_queue: C{list} of (C{int}, C{list} of C{string})
715     @param apt_get_queue: the apt-get downloader to use and commands to execute
716     @rtype: C{list} of (C{float}, C{int})
717     @return: the execution time and returned status code for each element of apt_get_queue
718     
719     """
720     
721     running_bootstraps = {}
722     running_downloaders = {}
723     running_apt_get = {}
724     apt_get_results = []
725
726     try:
727         boot_keys = bootstraps.keys()
728         boot_keys.sort()
729         bootstrap_addresses = bootstrap_address(boot_keys[0])
730         for i in xrange(1, len(boot_keys)):
731             bootstrap_addresses += '\n      ' + bootstrap_address(boot_keys[i])
732             
733         for k, v in bootstraps.items():
734             running_bootstraps[k] = start_bootstrap(bootstrap_addresses, k, v)
735         
736         sleep(5)
737         
738         for k, v in downloaders.items():
739             running_downloaders[k] = start_downloader(bootstrap_addresses, k, v)
740     
741         sleep(5)
742         
743         for (num_down, cmd) in apt_get_queue:
744             running_apt_get[num_down] = apt_get(num_down, cmd)
745             start_time = time()
746             (pid, r_value) = os.waitpid(running_apt_get[num_down], 0)
747             elapsed = time() - start_time
748             del running_apt_get[num_down]
749             r_value = r_value / 256
750             apt_get_results.append((elapsed, r_value))
751
752             if r_value == 0:
753                 print '********** apt-get completed successfully in ' +  str(elapsed) + ' sec. *****************'
754             else:
755                 print '********** apt-get finished with status ' + str(r_value) + ' in ' +  str(elapsed) + ' sec. ************'
756         
757             sleep(5)
758             
759     except:
760         print '************************** Exception occurred **************************'
761         print_exc()
762         print '************************** will attempt to shut down *******************'
763         
764     print '*********************** shutting down the apt-gets *******************'
765     for k, v in running_apt_get.items():
766         try:
767             print 'apt-get', k, stop(v)
768         except:
769             print '************************** Exception occurred **************************'
770             print_exc()
771
772     sleep(5)
773
774     print '*********************** shutting down the downloaders *******************'
775     for k, v in running_downloaders.items():
776         try:
777             print 'downloader', k, stop(v)
778         except:
779             print '************************** Exception occurred **************************'
780             print_exc()
781
782     sleep(5)
783
784     print '************************** shutting down the bootstraps *******************'
785     for k, v in running_bootstraps.items():
786         try:
787             print 'bootstrap', k, stop(v)
788         except:
789             print '************************** Exception occurred **************************'
790             print_exc()
791
792     print '************************** Test Results *******************'
793     i = -1
794     for (num_down, cmd) in apt_get_queue:
795         i += 1
796         s = str(num_down) + ': "apt-get ' + ' '.join(cmd) + '" '
797         if len(apt_get_results) > i:
798             (elapsed, r_value) = apt_get_results[i]
799             s += 'took ' + str(elapsed) + ' secs (' + str(r_value) + ')'
800         else:
801             s += 'did not complete'
802         print s
803     
804     return apt_get_results
805
806 def get_usage():
807     """Get the usage information to display to the user.
808     
809     @rtype: C{string}
810     @return: the usage information to display
811     
812     """
813     
814     s = 'Usage: ' + sys.argv[0] + ' (all|<test>|help)\n\n'
815     s += '  all    - run all the tests\n'
816     s += '  help   - display this usage information\n'
817     s += '  <test> - run the <test> test (see list below for valid tests)\n\n'
818     
819     t = tests.items()
820     t.sort()
821     for k, v in t:
822         s += 'test "' + str(k) + '" - ' + v[0] + '\n'
823     
824     return s
825
826 if __name__ == '__main__':
827     if len(sys.argv) != 2:
828         print get_usage()
829     elif sys.argv[1] == 'all':
830         for k, v in tests.items():
831             run_test(v[1], v[2], v[3])
832     elif sys.argv[1] in tests:
833         v = tests[sys.argv[1]]
834         run_test(v[1], v[2], v[3])
835     elif sys.argv[1] == 'help':
836         print get_usage()
837     else:
838         print 'Unknown test to run:', sys.argv[1], '\n'
839         print get_usage()
840