commited all contents created by participants

2017-12-21 18:12:40 +01:00
parent cefd1c2ad0
commit b936b1e616
2137 changed files with 1076319 additions and 730 deletions
@@ -0,0 +1,92 @@
+#!/usr/bin/env python2.7.14
+# -*- coding: utf-8 -*-
+
+# libraries webscrapping
+# from pattern.web import Newsfeed
+# from pattern.web import Wikipedia
+from pattern.web import *
+import wikipedia
+# libraries traitement langage
+from pattern.en import tag
+import random
+
+# -------------------------- #
+# déclaration des fonctions
+# -------------------------- #
+
+# fonction qui récupère un flux RSS
+def get_rss( url ):
+    # on boucle dans le flux rss
+    for result in Newsfeed().search(url)[:1]:
+        # on recupère le premier titre
+        str = repr(result.title)
+        # on remplace les apostrophe
+        str = str.replace("'","")
+        # on enlève le u (première lettre unicode string)
+        str = str.replace(str[:1],'')
+        return str
+
+# fonction qui teste une string pour trouver un nom
+def prc_word( str, postag ):
+    words = []
+    # on cherche dans la str les noms et on les stocke dans une liste
+    for word, pos in tag(str):
+        if pos == postag:
+            words.append(word)
+    # on retourne le second élement du tableau
+
+    #list_len = len(words)
+    #ran_num = random.randint(0,list_len)
+
+    #return words[ran_num]
+    return words
+
+# fonction qui va chercher une page wikipedia
+def get_wiki( str ):
+    # on appelle la page wikipedia
+    page = wikipedia.page( str )
+    # on recupère le contenu texte
+    cont = page.content
+    # on sépare le texte avec les retours à la ligne
+    res = cont.split('\n')
+    #res = wikipedia.summary(str, sentences=1)
+    #res = wikipedia.search(str, results=1)
+    #list_len = len(res)
+    #ran_num = random.randint(0,list_len)
+    #return res[ran_num]
+    return res
+
+# fonction pour écrire le fichier texte
+def write_txt( str, nom_file ):
+    # on ouvre un fichier
+    file = open(nom_file, 'w')
+    # on l'écrit
+    file.write( str )
+    file.close()
+    print 'fichier écrit'
+
+
+# -------------------------- #
+# appelle des fonctions
+# -------------------------- #
+
+# on recupère un flux rss
+str_rss = get_rss('https://www.theguardian.com/world/rss')
+# on recupère un nom
+wrd_tag = prc_word(str_rss, 'NN')
+# on va chercher la définition dans wikipedia
+str_from_word = get_wiki(wrd_tag)
+# on recupère un nom
+#wrd_tag2 = prc_word(str_from_word[1], 'NN')
+# on va chercher la définition dans wikipedia
+#str_from_word2 = get_wiki(wrd_tag2)
+
+#str_final = str_rss + '\n' + wrd_tag + '\n' + str_from_word
+
+print str_rss
+print wrd_tag
+print str_from_word
+#print wrd_tag2
+#print str_from_word2[2]
+
+#write_txt(str_final, 'test.txt')