Share to: share facebook share twitter share wa share telegram print page

Релевантность

Релева́нтность (от англ. relevant — существенный, уместный[1]) в информационной науке и информационном поиске означает степень соответствия найденного документа или набора документов информационным нуждам пользователя (Релевантность, Relevance).

Профессор Тефко Сарацевич[исп.] отмечает тесную связь данной концепции с базовыми понятиями когнитивной теории релевантности[англ.], разработанной Дэном Спербером[англ.] и Дейдрой Уилсон[англ.], и таким разделом математики, как релевантная логика.

Большой практический интерес к алгоритмам автоматической оценки релевантности связан с их использованием при ранжировании в поисковых системах.

Релевантность — это обозначение субъективной степени соответствия чего-либо в моменте[2] времени[3][4].

Определение подразумевает:

  1. Обозначение степени — исходит от субъективности конкретного наблюдателя или группы наблюдателей.
  2. Подразумеваемое понятие[5] «чего-либо» — отсылка на любой вид информации или объекта, субъекта или процесса в онлайн-офлайн пространстве.
  3. Степень релевантности — это значимость в моменте времени, как правило, максимальный уровень адекватности[6], соответствия[7], необходимости[8], применимости[9] с точки зрения наблюдателя.

Концепция релевантности[10][11] — это субъективная значимость соответствия чего-либо в мере восприятия наблюдателя на данный момент времени.

Концепция включает в себя соотношение между А (или количеством А) и Б (или количеством Б) а также свойством — С (или свойствами — С).

Части (А) и (Б) могут быть материальными и нематериальными или комбинациями того и другого.

Примерами материальных составляющих являются — документы, механизмы, процессы и т. д.

Примерами нематериальных составляющих являются — понятия, информация и т. д.

Комбинациями того и другого — задача, ситуация, обязанности и т. д.

Свойства С такие как утилитарность, адекватность, полезность устанавливают контекст или основу соответствия между А и Б.

Соотношение между А и Б считается релевантным по свойствам С, где свойства С субъективны и могут быть очевидными и неочевидными, сформулированными и подразумеваемыми, рациональными или нерациональными в моменте времени.

История

Первое упоминание термина релевантность было в 1733 году[12][13].

Первое применение термина в контексте анализа значимости соответствия чего-либо было дано в 1854 году работой Джеймс Фредерик Феррьер[14].

В 60-х годах ХХ столетия термин стал «модным» словом, применяемым в дискуссиях на социально значимые вопросы для электората[15].

Первые теории анализа степеней соответствия берут своё начало из эпистемологии — раздела философии, который изучает такие вопросы:

Концепция релевантности, раскрываемая в эпистемологии, послужила фундаментом в развитии ряда научных областей, например: когнитология, логика, информационные науки.

В информационной науке концепция релевантности формально была представлена в 1958 году работой Brian Campbell Vickery тематического анализа для поиска информации[16] и послужила в качестве ориентира последующих исследований концепции в области информационного поиска.

В настоящее время каждый пользователь интернета по мере собственного восприятия обозначает степень релевантности информационного контента в соответствии с собственными интересами. Концепция релевантности в сети затрагивает каждого интернет-пользователя, а степень значимости информации наиболее широко анализируема в период развития информационных технологий.

Исследования

Информационные науки

Кластер информационных наук включает в себя множество разных областей, таких как:

Практики (Information scientist[англ.]) исследуют аспекты релевантности в рамках взаимодействия пользователей и организаций с информационными системами для определения параметров, используемых в методах обозначения мер соответствия информации.

В информационной науке релевантность подразумевает соотношение и меру соответствия[17]. Как правило, понятие означает меру информации, передаваемой документом относительно запроса пользователя.

Критерии релевантности используются для количественной оценки отдельных явлений. Например, когда пользователь оценивает полезность, важность, уместность документа или представление документа к требуемой информации запросу, задаче, ситуации и т. д.

Информационные технологии изменили то, как большинство пользователей получают, организовывают, сохраняют, накапливают, анализируют информацию. В любом взаимодействии с ИТ понятие релевантность играет основополагающую роль, но в то же время не имеет однозначного определения, поскольку субъективная мера соответствия не имеет окончательного измерения[18].

Любые поисковые алгоритмы, как и все существующие информационные системы, с разным уровнем успеха пытаются приблизиться к понятию абсолютной релевантности.

Релевантность в информационном поиске

Ключевое отличие области информационного поиска (ИП) от теории информации или библиотековедения, это причастность спецификаций, предназначенных для поиска. В области (ИП) концепция релевантности считается основополагающей, на основе которой конструируется индексация и информационно-поисковые системы[19] (ИПС).

Концепция[20] релевантность в (ИПС), представляет собой соотношение между компонентами из групп (А) и (Б), по соответствию (Е) в определённый момент времени, где (А) и (Б) подразумевают виды, а (Е) значимость релевантности.

Компонентом (А) может быть, i) документ который будет получен пользователем поисковой системой (ИПС) или ii) представление документа, в виде ключевых слов, фраз или предложений, либо iii) информация, передаваемая чтением полученного документа.

Компонентом (Б) может быть, i) задача перед пользователем, которая требует информацию для решения или ii) необходимая информация, в понимании пользователя представляющая саму задачу, либо iii) запрос, в виде слов, фраз или предложений для извлечения информации.

(Е) полагает меру соответствия, то есть оценку одного или нескольких людей и время вынесенного решения.

«Интеллектуальная индексация информации — это сама специфика поиска, прикладные поисковые методики, механизмы, формулы и системы для операций поиска[21] — Calvin Mooers[англ.]».

Системы информационного поиска сконструированы для извлечения релевантной информации по запросу пользователя. В критерии поиска, как правило, используются два основных показателя recall — полнота и precision — точность. В совокупности они обозначают значимость соответствия данного запроса, что и является понятием релевантности[22].

Критерий (пертинентность) эффективности информационно-поисковых систем измеряет вероятность соответствия между релевантностью, извлекаемой системой (формальная релевантность), и субъективной релевантностью данного пользователя (содержательная релевантность)[23].

Существует несколько подходов к оценке релевантности. Содержательная релевантность — соответствие ответов информационному запросу, определяемое неформальным путём. Формальная релевантность — соответствие, определяемое путём сравнения образа поискового запроса с поисковым образом ответа по определённому алгоритму.

Одним из распространённых методов для оценки релевантности является TF-IDF-метод. Его смысл сводится к тому, что чем больше локальная частота термина (запроса) в документе (TF) и больше «редкость» (то есть, чем реже он встречается в других документах) термина в коллекции (IDF), тем выше вес данного ответа по отношению к термину — то есть ответ будет выдаваться раньше в результатах поиска по данному термину. Автор метода — Джерард Солтон (англ. Gerard Salton), в дальнейшем доработан Карен Спарк Джонс.

Когнитивная наука

Согласно теории релевантности[англ.], восприятие информации соответствует чему-либо (имеет релевантность) тогда и только тогда, когда её переработка даёт какие-либо положительные когнитивные эффекты[24][25].

Когнитивистика исследует эффекты и свойства человеческого познания и интеллекта. В развитии познания поиск релевантности является основным из процессов человеческого мышления[26].

В 1986 году Дэн Спербер[англ.] и Дейдра Уилсон[англ.], авторы теории релевантности[англ.], в работе «Принципы релевантности»[27] обозначили центральное значение релевантности в любых суждениях и коммуникациях. Также авторы отмечали, что процессы интуитивного мышления, связанные с соотношением физических предметов, выходят за рамки исследования теории релевантности.

В 1990 году исследования Gorayska-Lindsay показали, что теория релевантности также решает вопросы в соотношениях физических предметов. Ключевая идея в их решении в том, что релевантность имеет целенаправленность[28]. Где (А) релевантный элемент для (Б), если (Б) является целью, и (А) необходим в достижении (Б).

Релевантность в логике

«Луна сделана из сыра. Таким образом, в настоящее время в Эквадоре либо идёт дождь, либо нет».

В соответствии с правилами классической логики вывод построен правильно, но с точки зрения релевантной логики причастное предположение никак не связано с выводом[29].

Релевантность в области логики исследуется в дедуктивных[30] умозаключениях, отвергая предшествующего, не имеющего отношения к следствию.

Методы релевантной логики основаны на принципе исключения нерелевантных предположений в исследовании и выстраивании логических выводов[31].

Наиболее[32] цитируемые работы анализа и критики релевантной логики: «Entailment, Vol. 1, 2: The Logic of Relevance and Necessity»[33]

Множество систем логической релевантности затрагивают такие области как:

Другие

Теория релевантности исследуется во множестве разных наук и с 2010 стала одной из основных[39] в областях прагматики, лингвистики, искусственного интеллекта, когнитивной психологии и т. д.

Примеры

Информационное пространство ИТ

Используя информационные технологии сети, пользователь в мере своего восприятия обозначает степень релевантности контента. С другой стороны, релевантность контента пользователя обозначает статус личности в онлайн-офлайн пространстве.

В процессе поиска, анализа или мониторинга информации (Поисковая система, Экспертная система, Content curation[англ.] и т. д.) в соответствии со своими интересами, пользователи обозначают степень релевантности контента. Используя возможности систем в виде подписок, «лайков», просмотров публикаций, пользователи обозначают релевантность авторов контента (Reputation system[англ.], Social network analysis software[англ.] и т. д.).

С другой стороны, пользователь, публикуя контент (Социальные медиа), в процессе мгновенной обратной связи в виде релевантных комментариев (Система мгновенного обмена сообщениями, Микроблогинг, Эмотикон и т. д.), приобретает значимость навыков или умений. Используя технологии (Social web[англ.], Social media marketing, Блог и т. д.), в рамках признания приобретённых навыков, продвижения или маркетинга своего контента, формирует свой статус релевантности (Индивидуальный бренд) в онлайн-офлайн пространстве.

Законодательство

В юриспруденции, в частности в сфере западного законодательства, «релевантность» согласно правилу Fed Rule[40] 401 Федерального Законодательства Доказательств США имеет следующее определение: «прилагающее доказательство имеет тенденцию делать какой-либо существующий факт дела, предоставленный следствием, более вероятным или менее вероятным, нежели это было бы без доказательства».

Правило Fed Rule 402[41] допускает прилагающее доказательство, только если оно имеет релевантность. С другой стороны понятие вероятность в определении релевантности имеет неоднозначное значение[42].

В значении существует и принцип логического исчисления математической вероятности, и принцип правдоподобия[43].

Существование в законодательстве однозначного правила релевантности доказательств и отсутствие однозначного понятия вероятности ярко обозначают важность концепции релевантности в области юриспруденции.

Экономика

Экономист Джон Мейнард Кейнс, теории которого являются основополагающими в современной макроэкономике, считал важным определять понятие релевантности в рамках задач с вычислением экономического риска. Кейнс предлагал измерять релевантность по принципу того, какие изменения вносит информация в анализ вероятности будущего события.

Экономист Людвиг фон Мизес, известеный по своим работам в области праксиологии и анализе индивидуального выбора и действия, применял термин релевантность в рамках экономических действий. В частности он считал, что «действие требует понимания релевантности прошлых действий для принятия следующих[44]». И предполагал, что релевантность определяется, прежде всего, по степени полезности[45], где полезность информации оценивается на основе субъективного суждения[46].

С точки зрения бухгалтерии релевантна та информация, которая в рамках анализа финансового учёта, прежде всего, необходима и влияет на решения пользователя[47].

В сфере экономики понятие релевантность, как правило, обозначает информацию, связанную с принятием наиболее эффективного решения.

Другие

Концепция релевантности имеет широкое применение в разных областях, таких как:

а также в различнных секторах услуг:

См. также

Примечания

  1. Словарь иностранных слов. — М.: «Русский язык», 1989. — 624 с. ISBN 5-200-00408-8
  2. Момент — это точка измерения на временной оси для конкретного наблюдателя
  3. Время обозначает пространство с равноправным временным измерением — пространственно-временной континуум
  4. Исследования временных факторов, касающихся систем информационного поиска, перечислены в Dynamics р.817, р.823-824. Relevance: The Whole History, Stefano Mizzaro. September-1997.
  5. Фреймворк данного понятия изложен в A Framework for Various Kinds of Relevance p.811-812, Relevance: The Whole History, Stefano Mizzaro. September-1997.
  6. Обозначаемая степень «релевантности» в области информационного поиска (Подробнее, основная статья Релевантность (информационный поиск))
  7. Обозначаемая степень «релевантности» в области законодательства, тест на соответствие доказательств (Подробнее, раздел статьи Законодательство)
  8. Обозначаемая степень «релевантности» в соотношение физических предметов, в области когнитивных наук (Подробнее, раздел статьи Когнитивная наука)
  9. Обозначаемая степень «релевантности» в области экономики (Подробнее, раздел статьи Экономика)
  10. Saracevic, 2007, Базовая концепция релевантности, Meaning of Relevance: How Relevance Is Universally Well Understood. Beyond Intuitive, p. 1918.
  11. Подробно о субъективности понятия в области информационной науки и информационном поиске изложено в Conclusion p231, The Foundation of the Concept of Relevance, Birger Hjørland[англ.]. February-2010.
  12. Merrian-Webster. Дата обращения: 19 января 2016. Архивировано 19 июня 2020 года.
  13. Dictionary.com. Дата обращения: 19 января 2016. Архивировано 6 марта 2016 года.
  14. Ferrier’s Institutes of Metaphysic: The Theory of Knowing and Being, p 46. Дата обращения: 19 января 2016. Архивировано 10 марта 2016 года.
  15. Подраздел Politics в статье Relevance
  16. Содержание представленных работ Vickery, B. C, Subject analysis for information retrieval (Vol. 2, pp. 855—865) Архивная копия от 18 июня 2020 на Wayback Machine, The structure of information retrieval systems (Vol. 2, pp. 1275—1290) Архивная копия от 17 июня 2020 на Wayback Machine. Proceedings of the International Conference on Scientific Information, (ICSI,1958). Washington, DC: National Academy of Sciences
  17. Saracevic, 2007, Summary: Attributes of Relevance in Information Science, p. 1920.
  18. Saracevic, 2007, Introduction: How IT made the study of Relevance Ever More Relevant, p. 1916.
  19. Подробное изложение о концепции релевантности и (ИПС) в разделе «System» or «Algorithmic» Relevance р.218-221, The Foundation of the Concept of Relevance, Birger Hjorland. February-2010.
  20. Виды релевантности и типы значимости изложены в разделе A Framework for Various Kinds of Relevance стр.811-812, Relevance: The Whole History, Stefano Mizzaro September-1997.
  21. The Zator-A Proposal: A Machine for Complete Documentation, 1947. Reprinted with preface as Zator Technical Bulletin No. 65 (1951). Calvin N. Mooers, Charles Babbage Institute, University of Minnesota Архивная копия от 18 октября 2016 на Wayback Machine
  22. Machine literature searching VIII, Operational criteria for designing information retrieval systems,. Allen Kent, Madeline M. Berry, Fred U. Luehrs Jr. and J. W. Perry Journal of the American Society for Information Science and Technology, V-6, I-2, p.93-101, Apr 1955. Onlinelibrary.wiley.com Архивная копия от 10 апреля 2016 на Wayback Machine
  23. Saracevic, 2007, Historical Footnote: A Reminder of How Relevance Came Into Being in Information Retrieval, p. 1917—1918.
  24. «According to relevance theory, an input is RELEVANT to an individual when, and only when, its processing yields such positive cognitive effects» Теория Релевантности Архивная копия от 1 октября 2020 на Wayback Machine, Sperber & Wilson р.251
  25. Saracevic, 2007, Stratified Model, pp. 1926—1928.
  26. «the search for relevance is a basic feature of human cognition» Теория Релевантности Архивная копия от 1 октября 2020 на Wayback Machine, Sperber & Wilson р.251
  27. Когнитивный принцип релевантности: Человеческое суждение ориентировано на максимизацию релевантности. Коммуникационный принцип релевантности: Сказанное предполагает оптимальную релевантность. Теория Релевантности Архивная копия от 1 октября 2020 на Wayback Machine, Sperber & Wilson р.249, р.254, р.256
  28. Roger Lindsay and Barbara Gorayska. Cognition and Technology, Relevance, goal management and cognitive technology Архивная копия от 18 июня 2020 на Wayback Machine p69
  29. Конспект части введение, Релевантная логика Архивная копия от 13 апреля 2021 на Wayback Machine, Stanford Encyclopedia of Philosophy, 1998.
  30. В данном контексте слово подразумевает выявление причастных из общего количества логических предположений для дальнейшего умозаключения.
  31. Saracevic, 2007, Relevance in Logic, p. 1920.
  32. Источник исследований философии, Philpapers.org Архивная копия от 13 января 2021 на Wayback Machine, Рубрика: Relevance Logic Архивная копия от 29 октября 2020 на Wayback Machine
  33. «Entailment, Vol. 1, 2: The Logic of Relevance and Necessity» Princeton University Press, Jan, 1976, Apr, 1992. Entailment, Vol. 1, Entailment, Vol. 2, Alan R Anderson[англ.] и Nuel D Belnap[англ.].
  34. Cambridge University Press, Relevance Logic: A Philosophical Interpretation. 1st Edition Архивная копия от 10 марта 2016 на Wayback Machine.
  35. Annals of Pure and Applied Logic Jun 2004, p195-217, Ternary Relations and Relevant Semantics Архивная копия от 17 июня 2020 на Wayback Machine.
  36. University of Glasgow, 1998. Logical Models in Information Retrieval Архивная копия от 16 января 2021 на Wayback Machine.
  37. University of Pisa (Italy), 1998. Information Retrieval, Imaging and Probabilistic Logic Архивная копия от 18 января 2021 на Wayback Machine.
  38. Artificial Intelligence (97) 1-5, The Relevance of Relevance Архивная копия от 17 июня 2020 на Wayback Machine.
  39. «relevance theory which as of 2010 has become mainstream in the area» Dan Sperber[англ.], Подраздел: Карьера.
  40. Тест на определение релевантности доказательств — Article IV. Relevance and its Limits. Rule 401 Архивная копия от 19 августа 2010 на Wayback Machine, Test for Relevant Evidence.
  41. Правило о допустимости релевантных доказательств — Article IV. Relevance and its Limits. Rule 402 Архивная копия от 19 августа 2010 на Wayback Machine, General Admissibility of Relevant Evidence.
  42. John Woods, University of British Columbia. Relevance in the Law: A logical Perspective: Архивная копия от 22 февраля 2016 на Wayback Machine Introduction p2 «неоднозначное понятие релевантности» — « law’s multi-faceted understanding of relevance».
  43. John Woods, University of British Columbia. Relevance in the Law: A Logical Perspective Архивная копия от 22 февраля 2016 на Wayback Machine: Introduction p2, «the concept it denotes is not one of probability but rather of plausibility» «подразумевает не только вероятность но и правдоподобность».
  44. Людвиг фон Мизес. Human Action Архивная копия от 23 марта 2020 на Wayback Machine 1998, Relevance of Judgments, p55
  45. Людвиг фон Мизес. Human Action Архивная копия от 23 марта 2020 на Wayback Machine 1998, Relevance Utility, p120
  46. Людвиг фон Мизес. Human Action Архивная копия от 23 марта 2020 на Wayback Machine 1998, Relevance of Judgments, p57
  47. Согласно, Obaidullah Jan ACA, CFA, Principles Relevance and Reliability, AccountingExplained.com Архивная копия от 26 сентября 2017 на Wayback Machine
  48. Реклама, 3-раздел: Функция. В рамках концепции релевантность. Основная функция рекламы, формировать релевантность товарам и брендам.
  49. Консалтинг, 1-раздел: Определение. В рамках концепции релевантность. Основная задача консалтинга заключается предоставлять релевантные решения с учётом предметной области и проблем клиента.

Литература

  • Relevance Theory: Applications and Implications / Carston R.[англ.], Uchida S.. — John Benjamins Publishing, 1998. — 312 с. — (Pragmatics & Beyond; new ser. 37). — ISBN 90-272-5049-9.
  • Jodłowiec M. The Challenges of Explicit and Implicit Communication: A Relevance-Theoretic Approach. — Peter Lang, 2015. — 192 с. — (Text - Meaning - Context: Cracow Studies in English Language, Literature and Culture. Volume 11). — ISBN 978-3-631-65867-3.
  • Saracevic T.[исп.]. Relevance: A Review of and a Framework for the Thinking on the Notion of Information Science (англ.) // Journal of American Society for Information Science. — 1975. — November, December (no. 26 (6)). — P. 321—343.
  • Saracevic T.[исп.]. Relevance: A Review of the Literature and a Framework for Thinking on the Notion in Information Science. Part II (англ.) // Advances in Librarianship. — 2006. — No. 30. — P. 3—71.
  • Saracevic T.[исп.]. Relevance: A Review of the Literature and a Framework for Thinking on the Notion in Information Science. Part II: Nature and Manifestations of Relevance (англ.) // Journal of American Society for Information Science and Technology. — 2007. — November (no. 58 (13)). — P. 1915—1933. — doi:10.1002/asi.20682.
  • Saracevic T.[исп.]. Relevance: A Review of the Literature and a Framework for Thinking on the Notion in Information Science. Part III: Behavior and Effects of Relevance (англ.) // Journal of American Society for Information Science and Technology. — 2007. — November (no. 58 (13)). — P. 2126—2144. — doi:10.1002/asi.20681.
  • Saracevic T.[исп.]. Research on relevance in information science: A historical perspective (англ.) // ASIS&T. — 2012. — P. 49—60.
  • Diane H. Sonnenwald. Theory Development in the Information Sciences. — University of Texas Press, 2016. — 303 с. — ISBN 9781477308264.
  • Sperber D.[англ.], Wilson D.[англ.]. Relevance: Communication and Cognition. — 2nd Edition. — Wiley, 1996. — 338 с. — ISBN 978-0631198789.
  • Sperber D., Wilson D. Meaning and Relevance. — Cambridge University Press, 2012. — 382 с. — ISBN 978-0521766777.
  • Pilkington A. CurrentPoetic Effects: A relevance theory perspective. — John Benjamins Publishing, 2000. — 228 с. — (Pragmatics & Beyond; new ser. 75). — ISBN 90-272-5091-X.
  • Tendahl M. A Hybrid Theory of Metaphor. Relevance Theory and Cognitive Linguistics. — Palgrave Macmillan, 2009. — 282 с. — ISBN 978-0-230-22793-4.
  • Current Issues in Relevance Theory / Rouchota V., Jucker A. H.. — John Benjamins Publishing, 1998. — 378 с. — (Pragmatics & Beyond; new ser. 58). — ISBN 90-272-5072-3.


Дополнительная литература

  • Barbara Gorayska, Cognition and Technology: Co-Existence, Convergence and Co-Evolution. 2010 Benjamins Publishing Co.
  • Alan R Anderson and Nuel D Belknap, Entailment, Vol. 1, 2: The Logic of Relevance and Necessity, Princeton University Press, Jan, 1976.
  • Edwin David Mares, Relevance Logic: A Philosophical Interpretation 1st Edition. Cambridge University Press.
  • Hjørland, Birger (2000). Relevance Research: The Missing Perspectives: «Non-relevance» and «Epistemological Relevance». Journal of the American Society for Information Science, 51(2), 209—211.
  • Hjørland, Birger (2001). Towards a theory of aboutness, subject, topicality, theme, domain, field, content. . . and relevance. Journal of the American Society for Information Science and Technology. 52(9),774-778.
  • Hjørland, Birger (2002), Epistemology and the Socio-Cognitive Perspective in Information Science. Journal of the American Society for Information Science and Technology, 53(4), 257—270.
  • Hjørland, B. (2010). The foundation of the concept of relevance. Journal of the American Society for Information Science and Technology, 61(2), 217—237.
  • Hjørland, Birger & Sejer Christensen, F. (2002). Work tasks and socio-cognitive relevance. A specific Example. Journal of the American Society for Information Science and Technology, 53(11), 960—965.
  • Millstone, E. & Crouch, D. (1986). The social relevance of science and technology education. An annotated bibliographic guide. UNESCO. (ED.86/WS.24) Link.
  • Gorayska B. & R. O. Lindsay (1993). The Roots of Relevance. Journal of Pragmatics 19, 301—323. Los Alamitos: IEEE Computer Society Press.
  • Lindsay, R. & Gorayska, B. (2002) Relevance, Goals and Cognitive Technology. International Journal of Cognitive Technology, 1, (2), 187—232
  • Sperber, D. & D. Wilson (1986/1995) Relevance: Communication and Cognition. 2nd edition. Oxford: Blackwell.
  • Sperber, D. & D. Wilson (1987). Précis of Relevance: Communication and Cognition. Behavioral and Brain Science, 10, 697—754.
  • Sperber, D. & D. Wilson (2004). Relevance Theory. In Horn, L.R. & Ward, G. (eds.) 2004 The Handbook of Pragmatics. Oxford: Blackwell, 607—632. http://www.dan.sperber.fr/?p=93

Публикации работ

Ссылки

Kembali kehalaman sebelumnya