Pratiques avancées et méconnues en python

Pratiques avancées et méconnues en Python















 Moyenne

Licence









 Connectez-vous ou inscrivez-vous pour bénéficier de toutes les fonctionnalités de ce cours !

Introduction du cours



Beaucoup de gens pensent maîtriser correctement le langage Python après quelques cours lus, et quelques exercices réalisés.
Cette sensation vient de la simplicité apparente de Python pour un débutant. Pourtant, malgré ce que l'on pense, un code Python est relativement souvent améliorable sur de nombreux points, et c'est sur ces points que l'on distingue un codeur expérimenté d'un codeur débutant. :)

Ce tutoriel recense la plupart de ces points permettant de rendre son code plus lisible et plus pythonnique en utilisant des fonctionnalités méconnues du langage et en l'exploitant à 100 %.

De par sa nature, ce tutoriel ne vise clairement pas un public débutant en Python, mais plutôt un public ayant un peu d'expérience en Python et prêt à se documenter pour en savoir plus sur ce qui y est dit, car rien n'est aussi bien documenté que la documentation elle-même. :)

Bonne lecture à vous.


La fonction enumerate


Un besoin assez courant quand on manipule une liste ou tout autre objet itérable est de récupérer en même temps l'élément et son indice à chaque itération. Pour cela, la méthode habituellement utilisée est simple : au lieu d'itérer sur notre liste, on va itérer sur une liste d'entiers partant de 0 et allant de 1 en 1 jusqu'au dernier indice valide de la liste, obtenue via la fonction xrange. Cette méthode n'est pas du tout efficace : en effet, manipuler ainsi l'indice est totalement contre-intuitif et va à l'encontre du principe des itérateurs en Python.

Un exemple de code utilisant cette mauvaise méthode :
python1for indice in xrange(0, len(liste)):

2 print "liste[%d] = %r" % (indice, liste[indice])

3





Pour réaliser ce genre d'itérations, on va utiliser la fonction enumerate : elle permet en effet de récupérer une liste de tuples (indice, valeur) en fonction du contenu de la liste, et d'une manière très pratique. On l'utilise comme ceci :
python1for indice, valeur in enumerate(liste):

2 print "liste[%d] = %r" % (indice, valeur)

3# ou sinon, comme enumerate renvoie une liste de tuples :

4for indval in enumerate(liste):

5 print "liste[%d] = %r" % indval

6





Cette manière de faire se rapproche beaucoup plus de ce qui doit être fait en Python si l'on veut utiliser correctement le langage : on itère directement sur les valeurs à la sortie d'un générateur, au lieu d'utiliser un indice (manière plus courante dans les langages comme le C n'ayant pas d'itérateurs comme ceux de Python).

Avec enumerate, on peut par exemple écrire très facilement un code numérotant les lignes d'un texte :
python1texte = file('nom-de-fichier').read()

2for numberedline in enumerate(texte.split('\n')):

3 print "%d\t%s" % numberedline

4





Au niveau des performances, l'utilisation de enumerate par rapport à des indices ne change strictement rien, avec une différence de temps d'exécution d'un centième de seconde sur un million d'itérations. Aucun argument n'est donc bon pour continuer à utiliser les indices dans ce genre de cas. :)

Pour plus d'informations : PEP 279.


Les générateurs


Ce qu'on appelle en Python "générateurs" sont des objets que l'on crée d'une manière plutôt originale, en appelant une fonction que l'on crée soi-même et qui possède dans son code l'instruction yield. Cette fonction ne doit retourner aucune valeur.

Un exemple de code créant un générateur est le suivant :
pycon1>>> def generateur():

2... while True: yield 1

3...

4>>> generateur

5

6>>> type(generateur)

7

8>>> generateur()

9

10>>> type(generateur())

11

12





Nous avons donc créé un générateur.
C'est beau, mais vous vous demandez sûrement à quoi ces générateurs servent.
Eh bien ce sont des objets itérables, c'est-à-dire qu'ils vont successivement renvoyer différentes valeurs.
Pour récupérer ces différentes valeurs, il y a plusieurs solutions :

•soit utiliser une boucle classique for ... in ...: ;


•soit utiliser la méthode next du générateur.


Pour bien comprendre, prenons l'exemple d'une fonction nous permettant, à l'instar de la fonction xrange, de nous donner une liste de nombres de 0 à y.
python1def range_perso(x, y=0):

2 if y < x: # Si y est inférieur à x on inverse ces deux valeurs 3 x, y = y, x 4 5 yield x # On renvoie la première valeur de X 6 while x < y: 7 x += 1 8 yield x # On retourne x 9 On peut par exemple choisir d'utiliser notre nouvelle fonction / generateurrange_perso(x,y) dans une boucle for : python1for n in range_perso(10): 2 print n 3 Le principe de fonctionnement d'un générateur est simple. Quand on veut récupérer une valeur, il va commencer à exécuter le code de la fonction, jusqu'au moment où l'exécution rencontrera une instruction yield. À ce moment-là, le code s'arrête, et on ressort de la fonction en ayant comme valeur la valeur donnée à l'instruction yield rencontrée. Lorsque l'exécution atteint la fin de la fonction, le générateur envoie une exception de type StopIteration. Cette exception est : •soit à rattraper manuellement en cas d'utilisation de la méthode next du générateur ; •soit signifie la fin de la boucle for dans le cas d'une itération par boucle for ... in ...:. On peut ainsi coder des tonnes de fonctions très pratiques qui renverraient normalement par exemple des listes, en leur faisant renvoyer les valeurs une par une. Par exemple, ce générateur implémente la suite de Syracuse : python1def syracuse(n): 2 yield n 3 while n != 1: 4 if n % 2 == 0: 5 n = n / 2 6 else: 7 n = 3 * n + 1 8 yield n 9 10for n in syracuse(3): 11 print n 12 Un générateur ne doit pas forcément s'arrêter. Par exemple, ce générateur part d'un nombre x, et donne toutes les valeurs en partant de x : x + 1, x + 2, x + 3, etc. python1def countfrom(x): 2 while True: 3 yield x 4 x += 1 5 6for n in countfrom(10): 7 print n 8 if n > 20: break # Si on ne break pas, on est en boucle infinie

9 # car le générateur ne s'arrête pas.

10





Avec les générateurs, on peut aussi recoder la fonction enumerate vue précédemment (qui est en réalité un générateur codé en C et intégré à la bibliothèque standard Python).
python1def enumerate(li):

2 for i in xrange(0, len(li)):

3 yield i, li[i]

4





La fonction xrange est, elle aussi, un générateur codé en C, mais que l'on peut très facilement programmer en Python :
python1def xrange(start, stop=None, step=1):

2 if stop is None:

3 start, stop = 0, start

4 while step > 0 and start < stop or step < 0 and start > stop:

5 yield start

6 start += step

7





Pour plus d'informations : PEP 255


Les coroutines


Les coroutines sont des fonctions utilisant les générateurs de Python, et permettant de réaliser des choses impossibles autrement.
Leur première implémentation en Python a été réalisée par le projet Stackless Python, puis la PEP 342 a intégré tout ce qui est nécessaire à la création de coroutines à CPython, l'interpréteur Python que vous connaissez. :)

Leur principale particularité est de pouvoir mettre en pause leur exécution en renvoyant une valeur (donc, comme un générateur). Pendant cette pause, elles peuvent également recevoir une valeur leur indiquant comment continuer leur exécution. Pour stopper l'exécution de notre coroutine, on va utiliser l'instruction yield vue précédemment pour les générateurs. La différence est que l'on pourra faire des choses comme ceci :
python1var = yield 42

2





Notre instruction yieldrenvoie donc une valeur qui lui est donnée pendant sa pause, et qui est par défaut None. Pour assigner une valeur au résultat de yield, on va utiliser la méthode send de notre générateur. On peut ainsi faire interagir notre générateur et le reste de notre programme très facilement, sans utiliser de variables globales.

Un exemple d'utilisation de la méthode send est celui d'un générateur qui compte de 0 à x, auquel on va pouvoir faire modifier la valeur actuelle du compteur, comme ceci :
python1def compteur(x):

2 n = 0

3 while n <= x: 4 v = (yield n) # Prenez l'habitude de mettre des parenthèses 5 # autour d'une instruction yield ;) 6 if v is not None: 7 n = v 8 else: 9 n += 1 10 11gen = compteur(25) 12for i in gen: 13 print i 14 # Si on en est à 15, on veut passer directement à 18 15 if i == 15: 16 gen.send(18) 17 Maintenant, voyons plus précisément les coroutines en elles-mêmes : ce sont deux fonctions qui vont interagir entre elles avec ce système de yield et send, et ainsi se communiquer des valeurs tout en gardant un contexte évoluant au fur et à mesure. On peut reprendre l'exemple de la PEP 342 en le simplifiant : un script écrivant les lignes d'un texte une par une dans des fichiers différents : python1def ecrire_lignes_vers(combien, destination): 2 """ 3 Écrit `combien` lignes vers `destination`. 4 """ 5 while True: 6 lignes = [ ] 7 plein = False 8 commence = False 9 try: 10 for i in xrange(combien): 11 commence = True 12 lignes.append((yield)) 13 plein = True 14 except GeneratorExit: 15 # On a appelé la méthode close() de notre générateur qui 16 # le fait normalement s'arrêter ici. Si notre liste de 17 # lignes n'est pas pleine, on force son écriture. 18 if not plein and commence: 19 destination.send(lignes) 20 destination.close() 21 return 22 else: 23 # Pas d'exceptions, ça roule, on envoie vers la 24 # destination 25 destination.send(lignes) 26 27def ecrire_vers_fichiers(): 28 """ 29 Écrit les lignes vers des fichiers numérotés. 30 """ 31 i = 0 32 while True: 33 file('decoupe%04d.txt' % i, 'w').write('\n'.join((yield))) 34 i += 1 35 36def decouper_fichier_par(fichier, combien): 37 destination = ecrire_vers_fichiers() 38 ecrivain_lignes = ecrire_lignes_vers(combien, destination) 39 40 # On initialise les générateurs pour éviter une exception 41 destination.next() 42 ecrivain_lignes.next() 43 44 for ligne in file(fichier).read().split('\n'): 45 ecrivain_lignes.send(ligne) 46 ecrivain_lignes.close() 47 Cet exemple montre une jolie utilisation des coroutines pour couper un fichier en fichiers de n lignes numérotées dans l'ordre. Elles permettent également bien d'autres choses, qui sont mieux expliquées sur la page wikipédia anglaise des coroutines. Pour plus d'informations : PEP 342. Les list comprehensions et generator expressions Les list comprehensions et generator expressions sont deux concepts très proches facilitant énormément la manipulation de listes et la création de générateurs simples. Voyons tout d'abord les list comprehensions, plus faciles à aborder que les generator expressions que nous verrons ensuite. Il arrive parfois que l'on doive faire le même traitement sur tous les éléments d'une liste, ou qu'on veuille éliminer tous les éléments d'une liste ne satisfaisant pas un prédicat. Pour cela, plusieurs solutions sont possibles : •la boucle for : c'est une solution plutôt mauvaise car elle nécessite (si on veut faire quelque chose de correct) une copie de la liste ; elle ne permet pas de travailler directement sur nos éléments ; •les méthodes map/filter et les itérateurs imap/ifilter : cette solution est clairement meilleure, du moins en termes de performances ; ces fonctions sont codées en C et travaillent directement sur les éléments de notre liste. Cependant, lorsque le traitement à réaliser n'est pas faisable par une fonction déjà créée, on doit créer cette fonction ou utiliser une fonction lambda, ralentissant ainsi l'exécution et réduisant la lisibilité ; •les list comprehensions : elles permettent de récupérer une nouvelle liste avec tous les éléments de l'ancienne liste filtrés et sur lesquels on a effectué (ou non) un traitement. C'est à cette méthode, comme vous l'avez sûrement compris, que l'on va s'intéresser. :) Une list comprehension a la syntaxe suivante : python1[expression for element in liste if predicat] 2 Le prédicat étant optionnel, la syntaxe peut donc se réduire à ceci : python1[expression for element in liste] 2 expression est une expression Python (donc par exemple un tuple, une liste, une fonction, un type, une list comprehension, ou même plus simplement une somme ou un produit ;) ), qui peut utiliser notre variable element. Cette list comprehension va créer une nouvelle liste avec, à la place de element, la valeur de expression qui peut, bien entendu, dépendre de element comme vous l'aurez sûrement compris. ;) Voyons maintenant quelques choses réalisables facilement avec les list comprehensions : pycon1>>> liste = range(10) # On prend une liste contenant les 10 premiers entiers naturels

2>>> liste

3[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

4>>> [element + 1 for element in liste] # La même liste en ajoutant 1 à chaque élément

5[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

6>>> [element ** 2 for element in liste] # On élève les éléments au carré

7[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

8>>> liste, liste == range(10) # La liste n'est pas modifiée ;)

9([0, 1, 2, 3, 4, 5, 6, 7, 8, 9], True)

10>>> liste = [element for element in liste if element % 2 == 0] # On prend tous les éléments pairs de notre liste

11>>> liste

12[0, 2, 4, 6, 8]

13>>> [element ** 4 for element in liste if element < 7] # On met à la puissance 4 les éléments inférieurs à 7 14[0, 16, 256, 1296] 15 Maintenant que les list comprehensions n'ont plus de secrets pour vous, voyons leur petite soeur : les generator expressions. Ces expressions sont très proches des list comprehensions ; la seule différence est que, contrairement aux list comprehensions qui renvoient une liste, la generator expression renvoie un générateur sur lequel on peut itérer pour récupérer les éléments calculés. Cela permet de réaliser la transformation de nos éléments à la volée quand on itére sur notre générateur. ;) Leur syntaxe est, elle aussi, simplissime : python1(expression for element in liste) 2 On peut également, comme pour les list comprehensions, rajouter une condition avec if predicat au bout. La seule vraie différence est l'utilisation de parenthèses à la place des crochets. Cela permet d'ailleurs de l'utiliser avec une légère variante syntaxique lors de l'appel d'une fonction : python1fonction(expression for element in liste) 2 Un petit exemple de leur utilisation est le suivant : pycon1>>> liste = range(10)

2>>> (elem - 5 for elem in liste)

3

4>>> gen = (elem - 5 for elem in liste)

5>>> for elem in gen: print elem

6...

7-5

8-4

9-3

10-2

11-1

120

131

142

153

164

17>>> list(elem - 5 for elem in liste) # Une autre façon d'écrire une list comprehension ;)

18[-5, -4, -3, -2, -1, 0, 1, 2, 3, 4]

19





Utilisez les list comprehensions et les generator expressions le plus souvent possible quand vous réalisez des traitements simples sur les éléments d'une liste : cela simplifie énormément la lecture de votre code par rapport à une boucle. ;)

Pour plus d'informations, PEP 202 et PEP 289.


La fonction zip


La fonction zip est une fonction très simple nous venant des langages fonctionnels tels que Objective Caml ou Haskell, et permettant de combiner plusieurs listes en une seule, de manière à rendre les itérations plus efficaces.

En effet, imaginons que nous voulions itérer sur deux listes. La solution naïve venant à l'esprit est la suivante :
python1for i in xrange(min(len(liste1), len(liste2))):

2 e1, e2 = liste1[i], liste2[i]

3 # Actions en utilisant e1 et e2

4





Cependant, comme il a été dit dans la partie sur enumerate, les indices sont à éviter le plus possible dans ce genre de contexte. Pour réaliser cela, on a donc recours à la fameuse fonction zip qui nous permet de faire cette itération sur deux listes facilement :
python1for e1, e2 in zip(liste1, liste2):

2 # Actions en utilisant e1 et e2

3





Ceci s'explique par la définition de zip que l'on peut trouver dans la documentation de Python.
zip(...)
zip(seq1 [, seq2 [...]]) -> [(seq1[0], seq2[0] ...), (...)]

Return a list of tuples, where each tuple contains the i-th element
from each of the argument sequences. The returned list is truncated
in length to the length of the shortest argument sequence.

zip réalise donc la fonction suivante : pour une liste [a, b, c] et une autre liste [d, e, f], zip nous donnera une liste [(a, d), (b, e), (c, f)]. En effet :
pycon1>>> zip(['a', 'b', 'c'], ['d', 'e', 'f'])

2[('a', 'd'), ('b', 'e'), ('c', 'f')]

3





Pensez donc à zip quand vous itérerez sur plusieurs listes. ;)

En revanche et contrairement à d'autres langages, Python ne fournit pas de fonction unzip réalisant le rôle inverse de zip. Cependant, on peut très facilement exprimer la fonction unzip en fonction de zip :
pycon1>>> unzip = lambda liste: [list(li) for li in zip(*liste)]

2>>> unzip([(1, 2), (3, 4), (5, 6)])

3[[1, 3, 5], [2, 4, 6]]

4





Voilà qui conclut cette partie sur zip, une fonction très simple d'utilisation mais très pratique. :)


Le module itertools


Le module itertools est un module standard Python proposant nombre de générateurs prêts à l'emploi dans votre code, vous permettant ainsi de réaliser des choses compliquées très facilement. Par exemple, des fonctions comme map ou filter renvoient des listes, alors que l'évaluation complète n'est pas forcément nécessaire. itertools pallie ce problème en fournissant des générateurs se comportant de la même manière. :)

imap, ifilter, ifilterfalse

Ces trois fonctions, relativement proches les unes des autres, permettent de reproduire le fonctionnement des fonctions standard map et filter tout en utilisant des générateurs. On trouve également ifilterfalse qui a le comportement inverse de ifilter et prend donc uniquement les éléments ne satisfaisant pas au prédicat.
pycon1>>> from itertools import imap, ifilter, ifilterfalse

2>>> pair = lambda n: n % 2 == 0

3>>> carre = lambda n: n ** 2

4>>> imap(carre, xrange(10)) # Renvoie un générateur

5

6>>> for elem in imap(carre, xrange(10)): print elem

7...

80

91

104

119

1216

1325

1436

1549

1664

1781

18>>> list(ifilter(pair, xrange(10)))

19[0, 2, 4, 6, 8]

20>>> list(ifilterfalse(pair, xrange(10)))

21[1, 3, 5, 7, 9]

22





chain

chain est un générateur lui aussi très simple. Il prend en paramètre une liste d'objets itérables (comme des listes, par exemple), et itère sur chacun d'eux, dans l'ordre. :)
Par exemple, pour itérer sur les nombres de 0 à 10, puis 15 à 20, et enfin 30 à 45 :
pycon1>>> from itertools import chain

2>>> list(chain(xrange(11), xrange(15, 21), xrange(30, 46)))

3[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 15, 16, 17, 18, 19, 20, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45]

4





takewhile et dropwhile

Ces deux fonctions complémentaires permettent de prendre ou de rejeter des éléments tant qu'ils satisfont un prédicat. Une fois qu'un élément satisfait ce prédicat, selon la fonction, on jette tous les éléments ou on les prend tous. Si vous êtes un minimum capables de comprendre l'anglais, vous comprendrez très facilement l'exemple suivant :
pycon1>>> from itertools import takewhile, dropwhile

2>>> list(takewhile(lambda i: i < 10, xrange(20))) # On prend tant que i < 10 3[0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 4>>> list(dropwhile(lambda i: i < 10, xrange(20))) # On jette tant que i < 10 5[10, 11, 12, 13, 14, 15, 16, 17, 18, 19] 6 groupby Ce générateur magique permet de regrouper les valeurs consécutives sortant d'un générateur en un tuple (valeur, itérateur sur ces valeurs). Un exemple de son utilisation est le suivant : pycon1>>> from itertools import groupby

2>>> liste = list('aaaaabbbcddddee')

3>>> for element, iterateur in groupby(liste):

4... # element est l'élément répété une ou plusieurs fois

5... # iterateur est un itérateur sur la répétition de cet élément ; on l'utilise particulièrement pour savoir combien de fois il est répété

6... print "%s est répété %d fois" % (element, len(list(iterateur)))

7...

8a est répété 5 fois

9b est répété 3 fois

10c est répété 1 fois

11d est répété 4 fois

12e est répété 2 fois

13





On peut donc réaliser des choses plutôt marrantes avec cette fonction, comme par exemple implémenter très facilement l'algorithme de compression RLE :
python1from itertools import groupby

2def rle(data):

3 for value, it in groupby(data):

4 numb = len(list(it))

5 while numb > 255:

6 yield "%s%s" % (chr(255), value)

7 numb -= 255

8 if numb != 0:

9 yield "%s%s" % (chr(numb), value)

10






Le mot clé with


Peut-être avez-vous déjà travaillé sur des fichiers en Python, ou sur d'autres ressources nécessitant d'être fermées après utilisation.
Dans des cas critiques, si cette fermeture n'a pas lieu (à cause d'une erreur, par exemple), cela peut provoquer de gros problèmes dans le système. Pour se protéger contre ça, la solution utilisée la plupart du temps est la suivante :
python1f = open('fichier', 'w')

2try:

3 # Opérations sur f

4except Exception:

5 # Une erreur a eu lieu, on la gère (ou non)

6finally:

7 # On referme notre fichier

8 f.close()

9





L'instruction with permet de beaucoup simplifier ce genre de codes en les transformant en ceci (qui réalise strictement la même chose) :
python1with open('fichier', 'w') as f:

2 # Opérations sur f

3





Ce code réalise vraiment la même chose que les blocs try au-dessus, exceptée la possibilité de gérer nous-mêmes les erreurs. Cela passe par l'utilisation des contexts managers, des objets possédant deux méthodes magiques : __enter__ et __exit__ appelées à l'entrée ou à la sortie d'un bloc with.

Cette méthode n'est cependant disponible qu'avec des versions de Python récentes (au moins Python 2.6 ou au moins Python 3.0).

Pour plus d'informations : PEP 343

Ce tutoriel est terminé.
Nous espérons vous y avoir appris pas mal de choses nouvelles sur le langage Python. Ces notions sont inconnues des débutants Python mais devraient être utilisées par des codeurs expérimentés.

Tutoriel propulsé par mdown et tutosuite, merci aux auteurs de ces deux outils.
Merci à Tarek Ziadé pour son lightning talk aux PyCon 2008 m'ayant inspiré ce tutoriel



Pratiques avancées et méconnues en Python















 Moyenne

Licence









 Connectez-vous ou inscrivez-vous pour bénéficier de toutes les fonctionnalités de ce cours !

Introduction du cours



Beaucoup de gens pensent maîtriser correctement le langage Python après quelques cours lus, et quelques exercices réalisés.
Cette sensation vient de la simplicité apparente de Python pour un débutant. Pourtant, malgré ce que l'on pense, un code Python est relativement souvent améliorable sur de nombreux points, et c'est sur ces points que l'on distingue un codeur expérimenté d'un codeur débutant. :)

Ce tutoriel recense la plupart de ces points permettant de rendre son code plus lisible et plus pythonnique en utilisant des fonctionnalités méconnues du langage et en l'exploitant à 100 %.

De par sa nature, ce tutoriel ne vise clairement pas un public débutant en Python, mais plutôt un public ayant un peu d'expérience en Python et prêt à se documenter pour en savoir plus sur ce qui y est dit, car rien n'est aussi bien documenté que la documentation elle-même. :)

Bonne lecture à vous.


La fonction enumerate


Un besoin assez courant quand on manipule une liste ou tout autre objet itérable est de récupérer en même temps l'élément et son indice à chaque itération. Pour cela, la méthode habituellement utilisée est simple : au lieu d'itérer sur notre liste, on va itérer sur une liste d'entiers partant de 0 et allant de 1 en 1 jusqu'au dernier indice valide de la liste, obtenue via la fonction xrange. Cette méthode n'est pas du tout efficace : en effet, manipuler ainsi l'indice est totalement contre-intuitif et va à l'encontre du principe des itérateurs en Python.

Un exemple de code utilisant cette mauvaise méthode :
python1for indice in xrange(0, len(liste)):

2 print "liste[%d] = %r" % (indice, liste[indice])

3





Pour réaliser ce genre d'itérations, on va utiliser la fonction enumerate : elle permet en effet de récupérer une liste de tuples (indice, valeur) en fonction du contenu de la liste, et d'une manière très pratique. On l'utilise comme ceci :
python1for indice, valeur in enumerate(liste):

2 print "liste[%d] = %r" % (indice, valeur)

3# ou sinon, comme enumerate renvoie une liste de tuples :

4for indval in enumerate(liste):

5 print "liste[%d] = %r" % indval

6





Cette manière de faire se rapproche beaucoup plus de ce qui doit être fait en Python si l'on veut utiliser correctement le langage : on itère directement sur les valeurs à la sortie d'un générateur, au lieu d'utiliser un indice (manière plus courante dans les langages comme le C n'ayant pas d'itérateurs comme ceux de Python).

Avec enumerate, on peut par exemple écrire très facilement un code numérotant les lignes d'un texte :
python1texte = file('nom-de-fichier').read()

2for numberedline in enumerate(texte.split('\n')):

3 print "%d\t%s" % numberedline

4





Au niveau des performances, l'utilisation de enumerate par rapport à des indices ne change strictement rien, avec une différence de temps d'exécution d'un centième de seconde sur un million d'itérations. Aucun argument n'est donc bon pour continuer à utiliser les indices dans ce genre de cas. :)

Pour plus d'informations : PEP 279.


Les générateurs


Ce qu'on appelle en Python "générateurs" sont des objets que l'on crée d'une manière plutôt originale, en appelant une fonction que l'on crée soi-même et qui possède dans son code l'instruction yield. Cette fonction ne doit retourner aucune valeur.

Un exemple de code créant un générateur est le suivant :
pycon1>>> def generateur():

2... while True: yield 1

3...

4>>> generateur

5

6>>> type(generateur)

7

8>>> generateur()

9

10>>> type(generateur())

11

12





Nous avons donc créé un générateur.
C'est beau, mais vous vous demandez sûrement à quoi ces générateurs servent.
Eh bien ce sont des objets itérables, c'est-à-dire qu'ils vont successivement renvoyer différentes valeurs.
Pour récupérer ces différentes valeurs, il y a plusieurs solutions :

•soit utiliser une boucle classique for ... in ...: ;


•soit utiliser la méthode next du générateur.


Pour bien comprendre, prenons l'exemple d'une fonction nous permettant, à l'instar de la fonction xrange, de nous donner une liste de nombres de 0 à y.
python1def range_perso(x, y=0):

2 if y < x: # Si y est inférieur à x on inverse ces deux valeurs 3 x, y = y, x 4 5 yield x # On renvoie la première valeur de X 6 while x < y: 7 x += 1 8 yield x # On retourne x 9 On peut par exemple choisir d'utiliser notre nouvelle fonction / generateurrange_perso(x,y) dans une boucle for : python1for n in range_perso(10): 2 print n 3 Le principe de fonctionnement d'un générateur est simple. Quand on veut récupérer une valeur, il va commencer à exécuter le code de la fonction, jusqu'au moment où l'exécution rencontrera une instruction yield. À ce moment-là, le code s'arrête, et on ressort de la fonction en ayant comme valeur la valeur donnée à l'instruction yield rencontrée. Lorsque l'exécution atteint la fin de la fonction, le générateur envoie une exception de type StopIteration. Cette exception est : •soit à rattraper manuellement en cas d'utilisation de la méthode next du générateur ; •soit signifie la fin de la boucle for dans le cas d'une itération par boucle for ... in ...:. On peut ainsi coder des tonnes de fonctions très pratiques qui renverraient normalement par exemple des listes, en leur faisant renvoyer les valeurs une par une. Par exemple, ce générateur implémente la suite de Syracuse : python1def syracuse(n): 2 yield n 3 while n != 1: 4 if n % 2 == 0: 5 n = n / 2 6 else: 7 n = 3 * n + 1 8 yield n 9 10for n in syracuse(3): 11 print n 12 Un générateur ne doit pas forcément s'arrêter. Par exemple, ce générateur part d'un nombre x, et donne toutes les valeurs en partant de x : x + 1, x + 2, x + 3, etc. python1def countfrom(x): 2 while True: 3 yield x 4 x += 1 5 6for n in countfrom(10): 7 print n 8 if n > 20: break # Si on ne break pas, on est en boucle infinie

9 # car le générateur ne s'arrête pas.

10





Avec les générateurs, on peut aussi recoder la fonction enumerate vue précédemment (qui est en réalité un générateur codé en C et intégré à la bibliothèque standard Python).
python1def enumerate(li):

2 for i in xrange(0, len(li)):

3 yield i, li[i]

4





La fonction xrange est, elle aussi, un générateur codé en C, mais que l'on peut très facilement programmer en Python :
python1def xrange(start, stop=None, step=1):

2 if stop is None:

3 start, stop = 0, start

4 while step > 0 and start < stop or step < 0 and start > stop:

5 yield start

6 start += step

7





Pour plus d'informations : PEP 255


Les coroutines


Les coroutines sont des fonctions utilisant les générateurs de Python, et permettant de réaliser des choses impossibles autrement.
Leur première implémentation en Python a été réalisée par le projet Stackless Python, puis la PEP 342 a intégré tout ce qui est nécessaire à la création de coroutines à CPython, l'interpréteur Python que vous connaissez. :)

Leur principale particularité est de pouvoir mettre en pause leur exécution en renvoyant une valeur (donc, comme un générateur). Pendant cette pause, elles peuvent également recevoir une valeur leur indiquant comment continuer leur exécution. Pour stopper l'exécution de notre coroutine, on va utiliser l'instruction yield vue précédemment pour les générateurs. La différence est que l'on pourra faire des choses comme ceci :
python1var = yield 42

2





Notre instruction yieldrenvoie donc une valeur qui lui est donnée pendant sa pause, et qui est par défaut None. Pour assigner une valeur au résultat de yield, on va utiliser la méthode send de notre générateur. On peut ainsi faire interagir notre générateur et le reste de notre programme très facilement, sans utiliser de variables globales.

Un exemple d'utilisation de la méthode send est celui d'un générateur qui compte de 0 à x, auquel on va pouvoir faire modifier la valeur actuelle du compteur, comme ceci :
python1def compteur(x):

2 n = 0

3 while n <= x: 4 v = (yield n) # Prenez l'habitude de mettre des parenthèses 5 # autour d'une instruction yield ;) 6 if v is not None: 7 n = v 8 else: 9 n += 1 10 11gen = compteur(25) 12for i in gen: 13 print i 14 # Si on en est à 15, on veut passer directement à 18 15 if i == 15: 16 gen.send(18) 17 Maintenant, voyons plus précisément les coroutines en elles-mêmes : ce sont deux fonctions qui vont interagir entre elles avec ce système de yield et send, et ainsi se communiquer des valeurs tout en gardant un contexte évoluant au fur et à mesure. On peut reprendre l'exemple de la PEP 342 en le simplifiant : un script écrivant les lignes d'un texte une par une dans des fichiers différents : python1def ecrire_lignes_vers(combien, destination): 2 """ 3 Écrit `combien` lignes vers `destination`. 4 """ 5 while True: 6 lignes = [ ] 7 plein = False 8 commence = False 9 try: 10 for i in xrange(combien): 11 commence = True 12 lignes.append((yield)) 13 plein = True 14 except GeneratorExit: 15 # On a appelé la méthode close() de notre générateur qui 16 # le fait normalement s'arrêter ici. Si notre liste de 17 # lignes n'est pas pleine, on force son écriture. 18 if not plein and commence: 19 destination.send(lignes) 20 destination.close() 21 return 22 else: 23 # Pas d'exceptions, ça roule, on envoie vers la 24 # destination 25 destination.send(lignes) 26 27def ecrire_vers_fichiers(): 28 """ 29 Écrit les lignes vers des fichiers numérotés. 30 """ 31 i = 0 32 while True: 33 file('decoupe%04d.txt' % i, 'w').write('\n'.join((yield))) 34 i += 1 35 36def decouper_fichier_par(fichier, combien): 37 destination = ecrire_vers_fichiers() 38 ecrivain_lignes = ecrire_lignes_vers(combien, destination) 39 40 # On initialise les générateurs pour éviter une exception 41 destination.next() 42 ecrivain_lignes.next() 43 44 for ligne in file(fichier).read().split('\n'): 45 ecrivain_lignes.send(ligne) 46 ecrivain_lignes.close() 47 Cet exemple montre une jolie utilisation des coroutines pour couper un fichier en fichiers de n lignes numérotées dans l'ordre. Elles permettent également bien d'autres choses, qui sont mieux expliquées sur la page wikipédia anglaise des coroutines. Pour plus d'informations : PEP 342. Les list comprehensions et generator expressions Les list comprehensions et generator expressions sont deux concepts très proches facilitant énormément la manipulation de listes et la création de générateurs simples. Voyons tout d'abord les list comprehensions, plus faciles à aborder que les generator expressions que nous verrons ensuite. Il arrive parfois que l'on doive faire le même traitement sur tous les éléments d'une liste, ou qu'on veuille éliminer tous les éléments d'une liste ne satisfaisant pas un prédicat. Pour cela, plusieurs solutions sont possibles : •la boucle for : c'est une solution plutôt mauvaise car elle nécessite (si on veut faire quelque chose de correct) une copie de la liste ; elle ne permet pas de travailler directement sur nos éléments ; •les méthodes map/filter et les itérateurs imap/ifilter : cette solution est clairement meilleure, du moins en termes de performances ; ces fonctions sont codées en C et travaillent directement sur les éléments de notre liste. Cependant, lorsque le traitement à réaliser n'est pas faisable par une fonction déjà créée, on doit créer cette fonction ou utiliser une fonction lambda, ralentissant ainsi l'exécution et réduisant la lisibilité ; •les list comprehensions : elles permettent de récupérer une nouvelle liste avec tous les éléments de l'ancienne liste filtrés et sur lesquels on a effectué (ou non) un traitement. C'est à cette méthode, comme vous l'avez sûrement compris, que l'on va s'intéresser. :) Une list comprehension a la syntaxe suivante : python1[expression for element in liste if predicat] 2 Le prédicat étant optionnel, la syntaxe peut donc se réduire à ceci : python1[expression for element in liste] 2 expression est une expression Python (donc par exemple un tuple, une liste, une fonction, un type, une list comprehension, ou même plus simplement une somme ou un produit ;) ), qui peut utiliser notre variable element. Cette list comprehension va créer une nouvelle liste avec, à la place de element, la valeur de expression qui peut, bien entendu, dépendre de element comme vous l'aurez sûrement compris. ;) Voyons maintenant quelques choses réalisables facilement avec les list comprehensions : pycon1>>> liste = range(10) # On prend une liste contenant les 10 premiers entiers naturels

2>>> liste

3[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

4>>> [element + 1 for element in liste] # La même liste en ajoutant 1 à chaque élément

5[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

6>>> [element ** 2 for element in liste] # On élève les éléments au carré

7[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

8>>> liste, liste == range(10) # La liste n'est pas modifiée ;)

9([0, 1, 2, 3, 4, 5, 6, 7, 8, 9], True)

10>>> liste = [element for element in liste if element % 2 == 0] # On prend tous les éléments pairs de notre liste

11>>> liste

12[0, 2, 4, 6, 8]

13>>> [element ** 4 for element in liste if element < 7] # On met à la puissance 4 les éléments inférieurs à 7 14[0, 16, 256, 1296] 15 Maintenant que les list comprehensions n'ont plus de secrets pour vous, voyons leur petite soeur : les generator expressions. Ces expressions sont très proches des list comprehensions ; la seule différence est que, contrairement aux list comprehensions qui renvoient une liste, la generator expression renvoie un générateur sur lequel on peut itérer pour récupérer les éléments calculés. Cela permet de réaliser la transformation de nos éléments à la volée quand on itére sur notre générateur. ;) Leur syntaxe est, elle aussi, simplissime : python1(expression for element in liste) 2 On peut également, comme pour les list comprehensions, rajouter une condition avec if predicat au bout. La seule vraie différence est l'utilisation de parenthèses à la place des crochets. Cela permet d'ailleurs de l'utiliser avec une légère variante syntaxique lors de l'appel d'une fonction : python1fonction(expression for element in liste) 2 Un petit exemple de leur utilisation est le suivant : pycon1>>> liste = range(10)

2>>> (elem - 5 for elem in liste)

3

4>>> gen = (elem - 5 for elem in liste)

5>>> for elem in gen: print elem

6...

7-5

8-4

9-3

10-2

11-1

120

131

142

153

164

17>>> list(elem - 5 for elem in liste) # Une autre façon d'écrire une list comprehension ;)

18[-5, -4, -3, -2, -1, 0, 1, 2, 3, 4]

19





Utilisez les list comprehensions et les generator expressions le plus souvent possible quand vous réalisez des traitements simples sur les éléments d'une liste : cela simplifie énormément la lecture de votre code par rapport à une boucle. ;)

Pour plus d'informations, PEP 202 et PEP 289.


La fonction zip


La fonction zip est une fonction très simple nous venant des langages fonctionnels tels que Objective Caml ou Haskell, et permettant de combiner plusieurs listes en une seule, de manière à rendre les itérations plus efficaces.

En effet, imaginons que nous voulions itérer sur deux listes. La solution naïve venant à l'esprit est la suivante :
python1for i in xrange(min(len(liste1), len(liste2))):

2 e1, e2 = liste1[i], liste2[i]

3 # Actions en utilisant e1 et e2

4





Cependant, comme il a été dit dans la partie sur enumerate, les indices sont à éviter le plus possible dans ce genre de contexte. Pour réaliser cela, on a donc recours à la fameuse fonction zip qui nous permet de faire cette itération sur deux listes facilement :
python1for e1, e2 in zip(liste1, liste2):

2 # Actions en utilisant e1 et e2

3





Ceci s'explique par la définition de zip que l'on peut trouver dans la documentation de Python.
zip(...)
zip(seq1 [, seq2 [...]]) -> [(seq1[0], seq2[0] ...), (...)]

Return a list of tuples, where each tuple contains the i-th element
from each of the argument sequences. The returned list is truncated
in length to the length of the shortest argument sequence.

zip réalise donc la fonction suivante : pour une liste [a, b, c] et une autre liste [d, e, f], zip nous donnera une liste [(a, d), (b, e), (c, f)]. En effet :
pycon1>>> zip(['a', 'b', 'c'], ['d', 'e', 'f'])

2[('a', 'd'), ('b', 'e'), ('c', 'f')]

3





Pensez donc à zip quand vous itérerez sur plusieurs listes. ;)

En revanche et contrairement à d'autres langages, Python ne fournit pas de fonction unzip réalisant le rôle inverse de zip. Cependant, on peut très facilement exprimer la fonction unzip en fonction de zip :
pycon1>>> unzip = lambda liste: [list(li) for li in zip(*liste)]

2>>> unzip([(1, 2), (3, 4), (5, 6)])

3[[1, 3, 5], [2, 4, 6]]

4





Voilà qui conclut cette partie sur zip, une fonction très simple d'utilisation mais très pratique. :)


Le module itertools


Le module itertools est un module standard Python proposant nombre de générateurs prêts à l'emploi dans votre code, vous permettant ainsi de réaliser des choses compliquées très facilement. Par exemple, des fonctions comme map ou filter renvoient des listes, alors que l'évaluation complète n'est pas forcément nécessaire. itertools pallie ce problème en fournissant des générateurs se comportant de la même manière. :)

imap, ifilter, ifilterfalse

Ces trois fonctions, relativement proches les unes des autres, permettent de reproduire le fonctionnement des fonctions standard map et filter tout en utilisant des générateurs. On trouve également ifilterfalse qui a le comportement inverse de ifilter et prend donc uniquement les éléments ne satisfaisant pas au prédicat.
pycon1>>> from itertools import imap, ifilter, ifilterfalse

2>>> pair = lambda n: n % 2 == 0

3>>> carre = lambda n: n ** 2

4>>> imap(carre, xrange(10)) # Renvoie un générateur

5

6>>> for elem in imap(carre, xrange(10)): print elem

7...

80

91

104

119

1216

1325

1436

1549

1664

1781

18>>> list(ifilter(pair, xrange(10)))

19[0, 2, 4, 6, 8]

20>>> list(ifilterfalse(pair, xrange(10)))

21[1, 3, 5, 7, 9]

22





chain

chain est un générateur lui aussi très simple. Il prend en paramètre une liste d'objets itérables (comme des listes, par exemple), et itère sur chacun d'eux, dans l'ordre. :)
Par exemple, pour itérer sur les nombres de 0 à 10, puis 15 à 20, et enfin 30 à 45 :
pycon1>>> from itertools import chain

2>>> list(chain(xrange(11), xrange(15, 21), xrange(30, 46)))

3[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 15, 16, 17, 18, 19, 20, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45]

4





takewhile et dropwhile

Ces deux fonctions complémentaires permettent de prendre ou de rejeter des éléments tant qu'ils satisfont un prédicat. Une fois qu'un élément satisfait ce prédicat, selon la fonction, on jette tous les éléments ou on les prend tous. Si vous êtes un minimum capables de comprendre l'anglais, vous comprendrez très facilement l'exemple suivant :
pycon1>>> from itertools import takewhile, dropwhile

2>>> list(takewhile(lambda i: i < 10, xrange(20))) # On prend tant que i < 10 3[0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 4>>> list(dropwhile(lambda i: i < 10, xrange(20))) # On jette tant que i < 10 5[10, 11, 12, 13, 14, 15, 16, 17, 18, 19] 6 groupby Ce générateur magique permet de regrouper les valeurs consécutives sortant d'un générateur en un tuple (valeur, itérateur sur ces valeurs). Un exemple de son utilisation est le suivant : pycon1>>> from itertools import groupby

2>>> liste = list('aaaaabbbcddddee')

3>>> for element, iterateur in groupby(liste):

4... # element est l'élément répété une ou plusieurs fois

5... # iterateur est un itérateur sur la répétition de cet élément ; on l'utilise particulièrement pour savoir combien de fois il est répété

6... print "%s est répété %d fois" % (element, len(list(iterateur)))

7...

8a est répété 5 fois

9b est répété 3 fois

10c est répété 1 fois

11d est répété 4 fois

12e est répété 2 fois

13





On peut donc réaliser des choses plutôt marrantes avec cette fonction, comme par exemple implémenter très facilement l'algorithme de compression RLE :
python1from itertools import groupby

2def rle(data):

3 for value, it in groupby(data):

4 numb = len(list(it))

5 while numb > 255:

6 yield "%s%s" % (chr(255), value)

7 numb -= 255

8 if numb != 0:

9 yield "%s%s" % (chr(numb), value)

10






Le mot clé with


Peut-être avez-vous déjà travaillé sur des fichiers en Python, ou sur d'autres ressources nécessitant d'être fermées après utilisation.
Dans des cas critiques, si cette fermeture n'a pas lieu (à cause d'une erreur, par exemple), cela peut provoquer de gros problèmes dans le système. Pour se protéger contre ça, la solution utilisée la plupart du temps est la suivante :
python1f = open('fichier', 'w')

2try:

3 # Opérations sur f

4except Exception:

5 # Une erreur a eu lieu, on la gère (ou non)

6finally:

7 # On referme notre fichier

8 f.close()

9





L'instruction with permet de beaucoup simplifier ce genre de codes en les transformant en ceci (qui réalise strictement la même chose) :
python1with open('fichier', 'w') as f:

2 # Opérations sur f

3





Ce code réalise vraiment la même chose que les blocs try au-dessus, exceptée la possibilité de gérer nous-mêmes les erreurs. Cela passe par l'utilisation des contexts managers, des objets possédant deux méthodes magiques : __enter__ et __exit__ appelées à l'entrée ou à la sortie d'un bloc with.

Cette méthode n'est cependant disponible qu'avec des versions de Python récentes (au moins Python 2.6 ou au moins Python 3.0).

Pour plus d'informations : PEP 343

Ce tutoriel est terminé.
Nous espérons vous y avoir appris pas mal de choses nouvelles sur le langage Python. Ces notions sont inconnues des débutants Python mais devraient être utilisées par des codeurs expérimentés.

Tutoriel propulsé par mdown et tutosuite, merci aux auteurs de ces deux outils.
Merci à Tarek Ziadé pour son lightning talk aux PyCon 2008 m'ayant inspiré ce tutoriel