API tools faq
paste
joelnazarene

blaah2

joelnazarene
Apr 9th, 2019
70
0
Never
Add comment
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Python 13.29 KB | None | 0 0
raw download clone embed print report
  1. import time
  2. import bs4
  3. import re
  4. import sys
  5. from PyQt5 import QtCore, QtGui, QtWidgets
  6. from PyQt5.QtCore import *
  7. from PyQt5.QtGui import *
  8. from PyQt5.QtWidgets import *
  9. from PyQt5.QtWebEngineWidgets import QWebEngineView as QWebView,QWebEnginePage as QWebPage
  10. from PyQt5.QtWebEngineWidgets import QWebEngineSettings as QWebSettings
  11. from PyQt5.QtWidgets import QApplication, QWidget, QMainWindow
  12. from selenium import webdriver
  13. from bs4 import BeautifulSoup as soup
  14.  
  15. print("=================================================WELCOME TO RESEARCHER'S APP===========================================================================================")
  16. b1=input("enter text \n")
  17.  
  18. y='1'
  19. while(y != 'q'):
  20.     print("=========================================================================================================================================================================")
  21.     print("1 IEEE")
  22.     print("2 SCIENCE OPEN ")
  23.     print("3 SCIENCE DIRECT")
  24.     print("4 ARXIV")
  25.     print("5 PAPERITY")
  26.     print("6 DOAJ ")
  27.     print("7 ALL")
  28.     y =input("enter choice enter 'q' to exit ")
  29.     if(y != 'q'):
  30.            r = input("enter the number of abstracts to be displayed")
  31.     if(y=='1' or y=='7'):
  32.  
  33.  
  34.         driver = webdriver.Firefox()
  35.         url="https://ieeexplore.ieee.org/search/searchresult.jsp?newsearch=true&queryText="
  36.         b2=b1.replace(" ","%20")
  37.         url=url+b2
  38.         driver.get(url)
  39.         time.sleep(5)
  40.         refs=driver.page_source
  41.         pagesoup=soup(refs,"html.parser")
  42.        
  43.         containers=pagesoup.findAll("a",{"href":re.compile('/document/.*')})
  44.  
  45.  
  46.         i=0
  47.         urlist=[]
  48.         u="https://ieeexplore.ieee.org"
  49.         for container in containers :
  50.             try:
  51.                 if(len(container.text)>20):
  52.                     i=i+1
  53.                     if(i%2 != 0 and i/2 < int(r)):
  54.                         print("=====================================================IEEE RESULTS================================================================================================")
  55.                        
  56.                        
  57.                         print(container.text)
  58.                      
  59.                         driver.get(u+ container['href'])
  60.                         time.sleep(2)
  61.                         refs=driver.page_source
  62.                         urlist.append(u+ container['href'])
  63.                         s=soup(refs,"html.parser")
  64.                         c=s.find("div",{"class":"abstract-text row"})
  65.                         print(c.div.div.text)
  66.                         print("\n")
  67.                         print("===================================================================================================================================================")
  68.             except(TypeError,AttributeError):
  69.                           print("ABSTRACT IS NOT AVAILABLE FOR THIS ARTICLE")
  70.         print(urlist)
  71.         x=input("enter number \n")
  72.         b=int(x)-1
  73.         print(urlist[b])
  74.         j=input("do you want to see the search results webpage ? y/n ")
  75.         if (j == 'y'):
  76.             app = QApplication(sys.argv)
  77.  
  78.             web = QWebView()
  79.             web.load(QUrl(urlist[b]))
  80.             web.show()
  81.  
  82.             sys.exit(app.exec_())
  83.         driver.close()
  84.     if(y=='2' or y=='7'):
  85.         driver = webdriver.Firefox()
  86.         url="https://www.scienceopen.com/search#('v'~3_'id'~''_'isExactMatch'~true_'context'~null_'kind'~77_'order'~0_'orderLowestFirst'~false_'query'~'"
  87.         b2=b1.replace(" ","%20")
  88.         b3="'_'filters'~!*)"
  89.  
  90.         print("\n\n")
  91.         url=url+b2+b3
  92.         driver.get(url)
  93.         time.sleep(2)
  94.         refs=driver.page_source
  95.         pagesoup=soup(refs,"html.parser")
  96.     #containers=pagesoup.findAll("div",{"class":'main-section'})
  97.        
  98.         containers=pagesoup.findAll("a",{"href":re.compile('/document.*')})
  99.     #print(containers[0].a['href'])
  100.    
  101.         i=0
  102.         u="https://www.scienceopen.com"
  103.         urlist=[]
  104.         for container in containers :
  105.             try :
  106.                 if(len(container.text)>20 and i < int(r)):
  107.                     i=i+1
  108.                     driver.get(u + container['href'])
  109.                     urlist.append(u+ container['href'])
  110.                     refs=driver.page_source
  111.                     s=soup(refs,"html.parser")
  112.                     t=s.find("title")
  113.                     c=s.find("div",{"itemprop":"description"})
  114.                     print("=======================================================================================================================================================================================\n"+t.text + "\n========================================================SCIENCE OPEN======================================================================================")
  115.                     print(c.text + "\n=========================================================SCIENCE OPEN==========================================================================================")
  116.                            
  117.             except :
  118.                 continue
  119.         x=input("enter number \n")
  120.         b=int(x)-1
  121.         print(urlist[b])
  122.         j=input("do you want to see the search results webpage ? y/n ")
  123.         if (j == 'y'):
  124.             app = QApplication(sys.argv)
  125.  
  126.             web = QWebView()
  127.             web.load(QUrl(urlist[b]))
  128.             web.show()
  129.  
  130.             sys.exit(app.exec_())
  131.         driver.close()
  132.     if(y=='3'or y=='7'):
  133.             driver = webdriver.Firefox()
  134.             url="https://www.sciencedirect.com/search?qs="
  135.             b3="&show=25&sortBy=relevance"
  136.    
  137.            
  138.             b2=b1.replace(" ","%20")
  139.            
  140.             print("\n\n")
  141.             url=url+b2+b3
  142.             driver.get(url)
  143.             time.sleep(2)
  144.             refs=driver.page_source
  145.             pagesoup=soup(refs,"html.parser")
  146.             urlist=[]
  147.             containers=pagesoup.findAll("a",{"href":re.compile('/pii/.*')})
  148.            
  149.  
  150.        
  151.             u="https://www.sciencedirect.com"
  152.             i=0
  153.             for container in containers :
  154.                 i=i+1
  155.                 if(len(container.text)>20 and i <= int(r)):
  156.                
  157.        
  158.        
  159.        
  160.                        print("======================================================================================================================================================================\n"+container.text)
  161.                        driver.get(u + container['href'])
  162.                        refs=driver.page_source
  163.                        urlist.append(u+ container['href'])
  164.                        s=soup(refs,"html.parser")
  165.                        c=s.find("div",{"id":"abstracts"})
  166.                        print(c.text)
  167.                        print("\n==================================================SCIENCE DIRECT======================================================================================")
  168.             x=input("enter number \n")
  169.             b=int(x)-1
  170.             print(urlist[b])
  171.             j=input("do you want to see the search results webpage ? y/n ")
  172.             if (j == 'y'):
  173.              app = QApplication(sys.argv)
  174.  
  175.              web = QWebView()
  176.              web.load(QUrl(urlist[b]))
  177.              web.show()
  178.  
  179.              sys.exit(app.exec_())
  180.             driver.close()
  181.     if(y=='4' or y=='7'):
  182.         driver = webdriver.Firefox()
  183.         url='https://arxiv.org/search/?query='
  184.    
  185.    
  186.         b2=b1.replace(" ","+")
  187.         b3='&searchtype=all&source=header'
  188.         print("\n\n")
  189.         url=url+b2+b3
  190.         driver.get(url)
  191.         time.sleep(2)
  192.         refs=driver.page_source
  193.         pagesoup=soup(refs,"html.parser")
  194.        
  195.        
  196.  
  197.         containers=pagesoup.findAll("span",{"class":"abstract-full has-text-grey-dark mathjax"})
  198.         urlist=[]
  199.         i=0
  200.         u="https://arxiv.org/abs/"
  201.         for container in containers :
  202.          d=container.parent.parent.contents[3].text
  203.          e=container.parent.parent.a.text
  204.          try :
  205.              if(len(container.text)>200 and i <= int(r)):  
  206.                 print(d+"\n====================================================================================================================================================================================================\n")
  207.                 g=e[6:]
  208.                 urlist.append(u+g)
  209.                 print(container.text +"\n====================================================ARXIV=================================================================================================================")
  210.                 print("\n")
  211.                 i=i+1
  212.          except :
  213.             continue
  214.         print(urlist)
  215.         x=input("enter number \n")
  216.         b=int(x)-1
  217.         print(urlist[b])
  218.         j=input("do you want to see the search results webpage ? y/n ")
  219.         if (j == 'y'):
  220.             app = QApplication(sys.argv)
  221.  
  222.             web = QWebView()
  223.             web.load(QUrl(urlist[b]))
  224.             web.show()
  225.  
  226.             sys.exit(app.exec_())
  227.         driver.close()
  228.    
  229.     if(y=='5' or y=='7'):
  230.         driver = webdriver.Firefox()
  231.         url="https://paperity.org/search/?q="
  232.    
  233.        
  234.         b2=b1.replace(" ","+")
  235.    
  236.         print("\n\n")
  237.         url=url+b2
  238.         driver.get(url)
  239.    
  240.         time.sleep(2)
  241.  
  242.         refs=driver.page_source
  243.    
  244.         pagesoup=soup(refs,"html.parser")
  245.         #containers=pagesoup.findAll("div",{"class":'result-item-content'})
  246.         containers=pagesoup.findAll("a",{"href":re.compile('/p/.*')})
  247.         #print(containers)
  248.        
  249.         urlist=[]
  250.         i=0
  251.         u="https://paperity.org"
  252.         for container in containers :
  253.          try :
  254.             if(len(container.text)>20):
  255.                 i=i+1
  256.        
  257.            # print(i)
  258.                 if(i%2!=0 and i <= int(r)):
  259.                    print("========================================================================================================================================================================="+container.text)
  260.                    driver.get(u + container['href'])
  261.                    refs=driver.page_source
  262.                    s=soup(refs,"html.parser")
  263.                    c=s.find("blockquote")
  264.                    urlist.append(u+ container['href'])
  265.                    
  266.                    print(c.text +"\n================================================PAPERITY================================================================================================================")
  267.                 print("\n")
  268.          except :
  269.                 continue
  270.         print(urlist)
  271.         x=input("enter number \n")
  272.         b=int(x)-1
  273.         print(urlist[b])
  274.         j=input("do you want to see the search results webpage ? y/n ")
  275.         if (j == 'y'):
  276.             app = QApplication(sys.argv)
  277.  
  278.             web = QWebView()
  279.             web.load(QUrl(urlist[b]))
  280.             web.show()
  281.  
  282.             sys.exit(app.exec_())
  283.         driver.close()
  284.    
  285.     if(y=='6' or y=='7'):
  286.         driver = webdriver.Firefox()
  287.         url='https://doaj.org/search?source={"query"%3A{"query_string"%3A{"query"%3A"'
  288.         b2=b1.replace(" ","%20")
  289.         b3='"%2C"default_operator"%3A"AND"}}%2C"from"%3A0%2C"size"%3A10}'
  290.        
  291.         print("\n\n")
  292.         url=url+b2+b3
  293.         driver.get(url)
  294.         time.sleep(2)
  295.         refs=driver.page_source
  296.         pagesoup=soup(refs,"html.parser")
  297.         #containers=pagesoup.findAll("div",{"class":'main-section'})
  298.         containers=pagesoup.findAll("div",{"class":"abstract_text"})
  299.    
  300.        
  301.         #print(containers[0].a['href'])
  302.         #print("reached contA")
  303.         c2=pagesoup.findAll("a",{"href":re.compile('/article.*')})
  304.         i=0
  305.         urlist=[]
  306.         u="https://doaj.org"
  307.         for container in containers :
  308.          # print("for loop")
  309.          try :
  310.             if(len(container.text)>20 and i <= int(r)):
  311.              
  312.                
  313.                # print(i)
  314.                 #if(i%2!=0):
  315.                
  316.                 #   driver.get(u + container['href'])
  317.                  #  refs=driver.page_source
  318.                 #   s=soup(refs,"html.parser")
  319.                   # c=s.find("div",{"itemprop":"description"})
  320.              if("Full Text" in c2[i].text):
  321.                 i=i+1
  322.              print("================================================================================================================================================="+c2[i].text+"\n=====================================================DOAJ=========================================================================================="+container.text+"\n==============================================================================================================================================================================")
  323.              i=i+1
  324.              urlist.append(u+ c2[i]['href'])
  325.              #print(c2[i].text+"\n")
  326.          except :
  327.             continue
  328.         driver.close()
  329.         print(urlist)
  330.         x=input("enter number \n")
  331.         b=int(x)-1
  332.         print(urlist[b])
  333.         j=input("do you want to see the search results webpage ? y/n ")
  334.         if (j == 'y'):
  335.             app = QApplication(sys.argv)
  336.  
  337.             web = QWebView()
  338.             web.load(QUrl(urlist[b]))
  339.             web.show()
  340.  
  341.             sys.exit(app.exec_())
Add Comment
Please, Sign In to add comment
Public Pastes
We use cookies for various purposes including analytics. By continuing to use Pastebin, you agree to our use of cookies as described in the Cookies Policy.  OK, I Understand
Not a member of Pastebin yet?
Sign Up, it unlocks many cool features!