Advertisement
chevengur

СПРИНТ №1 | Базовые алгоритмы | Урок 6: Ранжирование по релевантности

Sep 8th, 2023
399
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
C++ 4.91 KB | None | 0 0
  1. #include <iostream>
  2. #include <set>
  3. #include <string>
  4. #include <utility>
  5. #include <vector>
  6. #include <algorithm>
  7.  
  8. using namespace std;
  9.  
  10. const int MAX_RESULT_DOCUMENT_COUNT = 5;
  11.  
  12. string ReadLine() {
  13.     string s;
  14.     getline(cin, s);
  15.     return s;
  16. }
  17.  
  18. int ReadLineWithNumber() {
  19.     int result = 0;
  20.     cin >> result;
  21.     ReadLine();
  22.     return result;
  23. }
  24.  
  25. vector<string> SplitIntoWords(const string& text) {
  26.     vector<string> words;
  27.     string word;
  28.     for (const char c : text) {
  29.         if (c == ' ') {
  30.             if (!word.empty()) {
  31.                 words.push_back(word);
  32.                 word.clear();
  33.             }
  34.         }
  35.         else {
  36.             word += c;
  37.         }
  38.     }
  39.     if (!word.empty()) {
  40.         words.push_back(word);
  41.     }
  42.  
  43.     return words;
  44. }
  45.  
  46. set<string> ParseStopWords(const string& text) {
  47.     set<string> stop_words;
  48.     for (const string& word : SplitIntoWords(text)) {
  49.         stop_words.insert(word);
  50.     }
  51.     return stop_words;
  52. }
  53.  
  54. vector<string> SplitIntoWordsNoStop(const string& text, const set<string>& stop_words) {
  55.     vector<string> words;
  56.     for (const string& word : SplitIntoWords(text)) {
  57.         if (stop_words.count(word) == 0) {
  58.             words.push_back(word);
  59.         }
  60.     }
  61.     return words;
  62. }
  63.  
  64. void AddDocument(vector<pair<int, vector<string>>>& documents, const set<string>& stop_words,
  65.     int document_id, const string& document) {
  66.     const vector<string> words = SplitIntoWordsNoStop(document, stop_words);
  67.     documents.push_back(pair<int, vector<string>>{document_id, words});
  68. }
  69.  
  70. set<string> ParseQuery(const string& text, const set<string>& stop_words) {
  71.     set<string> query_words;
  72.     for (const string& word : SplitIntoWordsNoStop(text, stop_words)) {
  73.         query_words.insert(word);
  74.     }
  75.     return query_words;
  76. }
  77.  
  78. int MatchDocument(const pair<int, vector<string>>& content, const set<string>& query_words) {
  79.     if (query_words.empty()) {
  80.         return 0;
  81.     }
  82.     set<string> matched_words;
  83.     for (const string& word : content.second) {
  84.         if (matched_words.count(word) != 0) {
  85.             continue;
  86.         }
  87.         if (query_words.count(word) != 0) {
  88.             matched_words.insert(word);
  89.         }
  90.     }
  91.  
  92.     // Преобразовываем беззнаковое число типа size_t в int используя
  93.     // static_cast<int>
  94.     return static_cast<int>(matched_words.size());
  95. }
  96.  
  97. // Для каждого документа возвращает его релевантность и id
  98. vector<pair<int, int>> FindAllDocuments(const vector<pair<int, vector<string>>>& documents, const set<string>& query_words){
  99.     // Превратите функцию FindDocuments в FindAllDocuments
  100.     // Первым элементом возвращаемых пар идёт релевантность документа, а вторым - его id
  101.     vector<pair<int, int>> matched_documents;
  102.     for (const auto& document : documents) {
  103.         const int relevance = MatchDocument(document, query_words);
  104.         if (relevance > 0) {
  105.             matched_documents.push_back({ relevance, document.first });
  106.         }
  107.     }
  108.     return matched_documents;
  109. }
  110.  
  111.  
  112.  
  113. // Возвращает топ-5 самых релевантных документов в виде пар: {id, релевантность}
  114. vector<pair<int, int>> FindTopDocuments(const vector<pair<int, vector<string>>>& documents, const set<string>& stop_words, const string& raw_query) {
  115.     // Напишите функцию, используя FindAllDocuments
  116.     vector<pair<int, int>> doc_find;
  117.     set<string> query = ParseQuery(raw_query, stop_words);
  118.     vector<pair<int, int>> doc_relevance = FindAllDocuments(documents, query);
  119.     sort(doc_relevance.begin(), doc_relevance.end());
  120.     reverse(doc_relevance.begin(), doc_relevance.end());
  121.     for (auto&[relevance, doc_id] : doc_relevance) {
  122.         swap(relevance, doc_id);
  123.         doc_find.push_back({ relevance, doc_id });
  124.     }
  125.     if (doc_relevance.size() > MAX_RESULT_DOCUMENT_COUNT) {
  126.         doc_find.resize(MAX_RESULT_DOCUMENT_COUNT);
  127.         return doc_find;
  128.     }
  129.     return doc_find;
  130.    
  131. }
  132.  
  133.  
  134. int main() {
  135.     const string stop_words_joined = ReadLine();
  136.     const set<string> stop_words = ParseStopWords(stop_words_joined);
  137.  
  138.     // Чтение документов
  139.     vector<pair<int, vector<string>>> documents;
  140.     const int document_count = ReadLineWithNumber();
  141.     for (int document_id = 0; document_id < document_count; ++document_id) {
  142.         AddDocument(documents, stop_words, document_id, ReadLine());
  143.     }
  144.  
  145.     const string query = ReadLine();
  146.     // Вместо FindDocuments используйте FindTopDocuments
  147.     for (auto [document_id, relevance] : FindTopDocuments(documents, stop_words, query)) {
  148.         cout << "{ document_id = "s << document_id << ", relevance = "s << relevance << " }"s
  149.             << endl;
  150.     }
  151. }
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement