joelnazarene

main4

Apr 3rd, 2019
81
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Python 7.00 KB | None | 0 0
  1. import time
  2. import bs4
  3. import re
  4. from selenium import webdriver
  5. from bs4 import BeautifulSoup as soup
  6.  
  7. print("=================================================WELCOME TO RESEARCHER'S APP===========================================================================================")
  8. b1=input("enter text \n")
  9.  
  10. y='1'
  11. while(y != 'q'):
  12.     print("=========================================================================================================================================================================")
  13.     print("1 IEEE")
  14.     print("2 SCIENCE OPEN ")
  15.     print("3 SCIENCE DIRECT")
  16.     print("4 ARXIV")
  17.     print("5 PAPERITY")
  18.     print("6 DOAJ \n")
  19.     y =input("enter choice enter 'q' to exit ")
  20.  
  21.     if(y=='1'):
  22.  
  23.    
  24.         driver = webdriver.Firefox()
  25.         url="https://ieeexplore.ieee.org/search/searchresult.jsp?newsearch=true&queryText="
  26.         b2=b1.replace(" ","%20")
  27.         url=url+b2
  28.         driver.get(url)
  29.         time.sleep(5)
  30.         refs=driver.page_source
  31.         pagesoup=soup(refs,"html.parser")
  32.  
  33.         containers=pagesoup.findAll("a",{"href":re.compile('/document/.*')})
  34.  
  35.  
  36.         i=0
  37.         u="https://ieeexplore.ieee.org"
  38.         for container in containers :
  39.             try:  
  40.                 if(len(container.text)>20):
  41.                     i=i+1
  42.                     if(i%2 != 0):
  43.                         print("=====================================================================================================================================================")
  44.                         print("\n")
  45.                         print(container.text)
  46.                         driver.get(u+ container['href'])
  47.                         time.sleep(2)
  48.                         refs=driver.page_source
  49.    
  50.                         s=soup(refs,"html.parser")
  51.                         c=s.find("div",{"class":"abstract-text row"})
  52.                         print(c.div.div.text)
  53.                         print("\n")
  54.                         print("===================================================================================================================================================")
  55.             except(TypeError,AttributeError):
  56.                         print("ABSTRACT IS NOT AVAILABLE FOR THIS ARTICLE")
  57.  
  58.         driver.close()
  59.     elif(y=='2'):
  60.         driver = webdriver.Firefox()
  61.         url="https://www.scienceopen.com/search#('v'~3_'id'~''_'isExactMatch'~true_'context'~null_'kind'~77_'order'~0_'orderLowestFirst'~false_'query'~'"
  62.         b2=b1.replace(" ","%20")
  63.         b3="'_'filters'~!*)"
  64.        
  65.         print("\n\n")
  66.         url=url+b2+b3
  67.         driver.get(url)
  68.         time.sleep(2)
  69.         refs=driver.page_source
  70.         pagesoup=soup(refs,"html.parser")
  71.     #containers=pagesoup.findAll("div",{"class":'main-section'})
  72.         containers=pagesoup.findAll("a",{"href":re.compile('/document.*')})
  73.     #print(containers[0].a['href'])
  74.    
  75.        
  76.         u="https://www.scienceopen.com"
  77.         for container in containers :
  78.             try :
  79.                 if(len(container.text)>20):
  80.                        
  81.                     driver.get(u + container['href'])
  82.                     refs=driver.page_source
  83.                     s=soup(refs,"html.parser")
  84.                     c=s.find("div",{"itemprop":"description"})
  85.                     print(c.text)
  86.                            
  87.             except :
  88.                 continue
  89.         driver.close()
  90.     elif(y=='3'):
  91.             driver = webdriver.Firefox()
  92.             url="https://www.sciencedirect.com/search?qs="
  93.             b3="&show=25&sortBy=relevance"
  94.    
  95.            
  96.             b2=b1.replace(" ","%20")
  97.            
  98.             print("\n\n")
  99.             url=url+b2+b3
  100.             driver.get(url)
  101.             time.sleep(2)
  102.             refs=driver.page_source
  103.             pagesoup=soup(refs,"html.parser")
  104.            
  105.             containers=pagesoup.findAll("a",{"href":re.compile('/pii/.*')})
  106.        
  107.  
  108.        
  109.             u="https://www.sciencedirect.com"
  110.             for container in containers :
  111.      
  112.                 if(len(container.text)>20):
  113.                
  114.        
  115.        
  116.        
  117.                        print(container.text)
  118.                        driver.get(u + container['href'])
  119.                        refs=driver.page_source
  120.                        s=soup(refs,"html.parser")
  121.                        c=s.find("div",{"id":"abstracts"})
  122.                        print(c.text)
  123.                        print("\n========================================================================================================================================")
  124.    
  125.             driver.close()
  126.     elif(y=='4'):
  127.         driver = webdriver.Firefox()
  128.         url='https://arxiv.org/search/?query='
  129.    
  130.    
  131.         b2=b1.replace(" ","+")
  132.         b3='&searchtype=all&source=header'
  133.         print("\n\n")
  134.         url=url+b2+b3
  135.         driver.get(url)
  136.         time.sleep(2)
  137.         refs=driver.page_source
  138.         pagesoup=soup(refs,"html.parser")
  139.  
  140.         containers=pagesoup.findAll("span",{"class":"abstract-full has-text-grey-dark mathjax"})
  141.    
  142.         i=0
  143.    
  144.         for container in containers :
  145.      
  146.          try :
  147.              if(len(container.text)>200):  
  148.                 print(container.text)
  149.                 print("\n")
  150.          except :
  151.             continue
  152.         driver.close()
  153.    
  154.     elif(y=='5'):
  155.         driver = webdriver.Firefox()
  156.         url="https://paperity.org/search/?q="
  157.    
  158.        
  159.         b2=b1.replace(" ","+")
  160.    
  161.         print("\n\n")
  162.         url=url+b2
  163.         driver.get(url)
  164.    
  165.         time.sleep(2)
  166.  
  167.         refs=driver.page_source
  168.    
  169.         pagesoup=soup(refs,"html.parser")
  170.         #containers=pagesoup.findAll("div",{"class":'result-item-content'})
  171.         containers=pagesoup.findAll("a",{"href":re.compile('/p/.*')})
  172.         #print(containers)
  173.  
  174.         i=0
  175.         u="https://paperity.org"
  176.         for container in containers :
  177.          try :
  178.             if(len(container.text)>20):
  179.                 i=i+1
  180.        
  181.            # print(i)
  182.                 if(i%2!=0):
  183.                    print(container.text)
  184.                    driver.get(u + container['href'])
  185.                    refs=driver.page_source
  186.                    s=soup(refs,"html.parser")
  187.                    c=s.find("blockquote")
  188.                    print(c.text)
  189.                 print("\n")
  190.          except :
  191.                 continue
  192.         driver.close()
  193.    
  194.     elif(y=='6'):
  195.         driver = webdriver.Firefox()
  196.         url='https://doaj.org/search?source={"query"%3A{"query_string"%3A{"query"%3A"'
  197.         b2=b1.replace(" ","%20")
  198.         b3='"%2C"default_operator"%3A"AND"}}%2C"from"%3A0%2C"size"%3A10}'
  199.        
  200.         print("\n\n")
  201.         url=url+b2+b3
  202.         driver.get(url)
  203.         time.sleep(2)
  204.         refs=driver.page_source
  205.         pagesoup=soup(refs,"html.parser")
  206.        
  207.         containers=pagesoup.findAll("div",{"class":"abstract_text"})
  208.         c2=pagesoup.findAll("a",{"href":re.compile('/article.*')})
  209.         i=0
  210.        
  211.         for container in containers :
  212.          
  213.           '''if (len(c2[i].text)>20):
  214.            print(c2[i].text)
  215.          i=i+1'''
  216.           try :
  217.             if(len(container.text)>20):
  218.            
  219.        
  220.        
  221.                 print(container.text)
  222.                 print("\n")
  223.           except :
  224.                 continue
  225.         driver.close()
Add Comment
Please, Sign In to add comment