32 lines
909 B
Python
32 lines
909 B
Python
#!/usr/bin/env python
|
|
# coding: utf8
|
|
|
|
#pour installer nltk stopWords tout là : http://www.nltk.org/data.html
|
|
import re
|
|
from nltk.tokenize import sent_tokenize, word_tokenize
|
|
from nltk.corpus import stopwords
|
|
|
|
with open("mirabeau.txt", "r") as source:
|
|
texte = source.read()
|
|
texte = str.lower(texte)
|
|
print(texte)
|
|
#enlever les traits d'union et les apostrophes
|
|
texte = texte.replace("'", " ")
|
|
texte = texte.replace("-", " ")
|
|
#print(texte)
|
|
liste_phrase = texte.split(" ")
|
|
print("liste des mots originaux séparés:", liste_phrase)
|
|
|
|
liste_reduit = []
|
|
|
|
stopWords = set(stopwords.words('french'))
|
|
for w in liste_phrase:
|
|
if w not in stopWords:
|
|
liste_reduit.append(w)
|
|
#print("liste des mots réduit :", liste_reduit)
|
|
poeme_reduit = (" ".join(liste_reduit))
|
|
print("version réduite du poeme :", poeme_reduit)
|
|
|
|
with open("mirabeau_reduit.txt", "w") as destination :
|
|
destination.write(" ".join(liste_reduit))
|