API tools faq
paste
joelnazarene

main9

joelnazarene
Apr 8th, 2019
110
0
Never
Add comment
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Python 10.47 KB | None | 0 0
raw download clone embed print report
  1. import time
  2. import bs4
  3. import re
  4. import sys
  5. from PyQt5 import QtCore, QtGui, QtWidgets
  6. from PyQt5.QtCore import *
  7. from PyQt5.QtGui import *
  8. from PyQt5.QtWidgets import *
  9. from PyQt5.QtWebEngineWidgets import QWebEngineView as QWebView,QWebEnginePage as QWebPage
  10. from PyQt5.QtWebEngineWidgets import QWebEngineSettings as QWebSettings
  11. from PyQt5.QtWidgets import QApplication, QWidget, QMainWindow
  12. from selenium import webdriver
  13. from bs4 import BeautifulSoup as soup
  14.  
  15. print("=================================================WELCOME TO RESEARCHER'S APP===========================================================================================")
  16. b1=input("enter text \n")
  17.  
  18. y='1'
  19. while(y != 'q'):
  20.     print("=========================================================================================================================================================================")
  21.     print("1 IEEE")
  22.     print("2 SCIENCE OPEN ")
  23.     print("3 SCIENCE DIRECT")
  24.     print("4 ARXIV")
  25.     print("5 PAPERITY")
  26.     print("6 DOAJ ")
  27.     print("7 ALL")
  28.     y =input("enter choice enter 'q' to exit ")
  29.     if(y != 'q'):
  30.            r = input("enter the number of abstracts to be displayed")
  31.     if(y=='1' or y=='7'):
  32.  
  33.  
  34.         driver = webdriver.Firefox()
  35.         url="https://ieeexplore.ieee.org/search/searchresult.jsp?newsearch=true&queryText="
  36.         b2=b1.replace(" ","%20")
  37.         url=url+b2
  38.         driver.get(url)
  39.         time.sleep(5)
  40.         refs=driver.page_source
  41.         pagesoup=soup(refs,"html.parser")
  42.        
  43.         containers=pagesoup.findAll("a",{"href":re.compile('/document/.*')})
  44.  
  45.  
  46.         i=0
  47.         urlist=[]
  48.         u="https://ieeexplore.ieee.org"
  49.         for container in containers :
  50.             try:
  51.                 if(len(container.text)>20):
  52.                     i=i+1
  53.                     if(i%2 != 0 and i/2 < int(r)):
  54.                         print("=====================================================IEEE RESULTS================================================================================================")
  55.                        
  56.                        
  57.                         print(container.text)
  58.                      
  59.                         driver.get(u+ container['href'])
  60.                         time.sleep(2)
  61.                         refs=driver.page_source
  62.                         urlist.append(u+ container['href'])
  63.                         s=soup(refs,"html.parser")
  64.                         c=s.find("div",{"class":"abstract-text row"})
  65.                         print(c.div.div.text)
  66.                         print("\n")
  67.                         print("===================================================================================================================================================")
  68.             except(TypeError,AttributeError):
  69.                           print("ABSTRACT IS NOT AVAILABLE FOR THIS ARTICLE")
  70.         print(urlist)
  71.         x=input("enter number \n")
  72.         b=int(x)-1
  73.         print(urlist[b])
  74.         driver.close()
  75.     if(y=='2' or y=='7'):
  76.         driver = webdriver.Firefox()
  77.         url="https://www.scienceopen.com/search#('v'~3_'id'~''_'isExactMatch'~true_'context'~null_'kind'~77_'order'~0_'orderLowestFirst'~false_'query'~'"
  78.         b2=b1.replace(" ","%20")
  79.         b3="'_'filters'~!*)"
  80.  
  81.         print("\n\n")
  82.         url=url+b2+b3
  83.         driver.get(url)
  84.         time.sleep(2)
  85.         refs=driver.page_source
  86.         pagesoup=soup(refs,"html.parser")
  87.     #containers=pagesoup.findAll("div",{"class":'main-section'})
  88.        
  89.         containers=pagesoup.findAll("a",{"href":re.compile('/document.*')})
  90.     #print(containers[0].a['href'])
  91.    
  92.         i=0
  93.         u="https://www.scienceopen.com"
  94.         urlist=[]
  95.         for container in containers :
  96.             try :
  97.                 if(len(container.text)>20 and i < int(r)):
  98.                     i=i+1
  99.                     driver.get(u + container['href'])
  100.                     urlist.append(u+ container['href'])
  101.                     refs=driver.page_source
  102.                     s=soup(refs,"html.parser")
  103.                     t=s.find("title")
  104.                     c=s.find("div",{"itemprop":"description"})
  105.                     print(t.text + "\n========================================================SCIENCE OPEN======================================================================================")
  106.                     print(c.text + "\n=========================================================SCIENCE OPEN==========================================================================================")
  107.                            
  108.             except :
  109.                 continue
  110.         print(urlist)
  111.         driver.close()
  112.     if(y=='3'or y=='7'):
  113.             driver = webdriver.Firefox()
  114.             url="https://www.sciencedirect.com/search?qs="
  115.             b3="&show=25&sortBy=relevance"
  116.    
  117.            
  118.             b2=b1.replace(" ","%20")
  119.            
  120.             print("\n\n")
  121.             url=url+b2+b3
  122.             driver.get(url)
  123.             time.sleep(2)
  124.             refs=driver.page_source
  125.             pagesoup=soup(refs,"html.parser")
  126.             urlist=[]
  127.             containers=pagesoup.findAll("a",{"href":re.compile('/pii/.*')})
  128.            
  129.  
  130.        
  131.             u="https://www.sciencedirect.com"
  132.             i=0
  133.             for container in containers :
  134.                 i=i+1
  135.                 if(len(container.text)>20 and i <= int(r)):
  136.                
  137.        
  138.        
  139.        
  140.                        print(container.text)
  141.                        driver.get(u + container['href'])
  142.                        refs=driver.page_source
  143.                        urlist.append(u+ container['href'])
  144.                        s=soup(refs,"html.parser")
  145.                        c=s.find("div",{"id":"abstracts"})
  146.                        print(c.text)
  147.                        print("\n==================================================SCIENCE DIRECT======================================================================================")
  148.             print(urlist)
  149.             driver.close()
  150.     if(y=='4' or y=='7'):
  151.         driver = webdriver.Firefox()
  152.         url='https://arxiv.org/search/?query='
  153.    
  154.    
  155.         b2=b1.replace(" ","+")
  156.         b3='&searchtype=all&source=header'
  157.         print("\n\n")
  158.         url=url+b2+b3
  159.         driver.get(url)
  160.         time.sleep(2)
  161.         refs=driver.page_source
  162.         pagesoup=soup(refs,"html.parser")
  163.        
  164.        
  165.  
  166.         containers=pagesoup.findAll("span",{"class":"abstract-full has-text-grey-dark mathjax"})
  167.         urlist=[]
  168.         i=0
  169.         u="https://arxiv.org/abs/"
  170.         for container in containers :
  171.          d=container.parent.parent.contents[3].text
  172.          e=container.parent.parent.a.text
  173.          try :
  174.              if(len(container.text)>200 and i <= int(r)):  
  175.                 print(d+"\n")
  176.                 g=e[6:]
  177.                 urlist.append(u+g)
  178.                 print(container.text +"\n====================================================ARXIV=================================================================================================================")
  179.                 print("\n")
  180.                 i=i+1
  181.          except :
  182.             continue
  183.         print(urlist)
  184.         driver.close()
  185.    
  186.     if(y=='5' or y=='7'):
  187.         driver = webdriver.Firefox()
  188.         url="https://paperity.org/search/?q="
  189.    
  190.        
  191.         b2=b1.replace(" ","+")
  192.    
  193.         print("\n\n")
  194.         url=url+b2
  195.         driver.get(url)
  196.    
  197.         time.sleep(2)
  198.  
  199.         refs=driver.page_source
  200.    
  201.         pagesoup=soup(refs,"html.parser")
  202.         #containers=pagesoup.findAll("div",{"class":'result-item-content'})
  203.         containers=pagesoup.findAll("a",{"href":re.compile('/p/.*')})
  204.         #print(containers)
  205.        
  206.         urlist=[]
  207.         i=0
  208.         u="https://paperity.org"
  209.         for container in containers :
  210.          try :
  211.             if(len(container.text)>20):
  212.                 i=i+1
  213.        
  214.            # print(i)
  215.                 if(i%2!=0 and i <= int(r)):
  216.                    print(container.text)
  217.                    driver.get(u + container['href'])
  218.                    refs=driver.page_source
  219.                    s=soup(refs,"html.parser")
  220.                    c=s.find("blockquote")
  221.                    urlist.append(u+ container['href'])
  222.                    
  223.                    print(c.text +"\n================================================PAPERITY================================================================================================================")
  224.                 print("\n")
  225.          except :
  226.                 continue
  227.         print(urlist)
  228.         driver.close()
  229.    
  230.     if(y=='6' or y=='7'):
  231.         driver = webdriver.Firefox()
  232.         url='https://doaj.org/search?source={"query"%3A{"query_string"%3A{"query"%3A"'
  233.         b2=b1.replace(" ","%20")
  234.         b3='"%2C"default_operator"%3A"AND"}}%2C"from"%3A0%2C"size"%3A10}'
  235.        
  236.         print("\n\n")
  237.         url=url+b2+b3
  238.         driver.get(url)
  239.         time.sleep(2)
  240.         refs=driver.page_source
  241.         pagesoup=soup(refs,"html.parser")
  242.         #containers=pagesoup.findAll("div",{"class":'main-section'})
  243.         containers=pagesoup.findAll("div",{"class":"abstract_text"})
  244.    
  245.        
  246.         #print(containers[0].a['href'])
  247.         #print("reached contA")
  248.         c2=pagesoup.findAll("a",{"href":re.compile('/article.*')})
  249.         i=0
  250.         urlist=[]
  251.         u="https://doaj.org"
  252.         for container in containers :
  253.          # print("for loop")
  254.          try :
  255.             if(len(container.text)>20 and i <= int(r)):
  256.              
  257.                
  258.                # print(i)
  259.                 #if(i%2!=0):
  260.                
  261.                 #   driver.get(u + container['href'])
  262.                  #  refs=driver.page_source
  263.                 #   s=soup(refs,"html.parser")
  264.                   # c=s.find("div",{"itemprop":"description"})
  265.              if("Full Text" in c2[i].text):
  266.                 i=i+1
  267.              print(c2[i].text+"\n=====================================================DOAJ=========================================================================================="+container.text+"\n==============================================================================================================================================================================")
  268.              i=i+1
  269.              urlist.append(u+ c2[i]['href'])
  270.              #print(c2[i].text+"\n")
  271.          except :
  272.             continue
  273.         driver.close()
  274.         print(urlist)
Add Comment
Please, Sign In to add comment
Public Pastes
We use cookies for various purposes including analytics. By continuing to use Pastebin, you agree to our use of cookies as described in the Cookies Policy.  OK, I Understand
Not a member of Pastebin yet?
Sign Up, it unlocks many cool features!