<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">neicon</journal-id><journal-title-group><journal-title xml:lang="ru">Наука и научная информация</journal-title><trans-title-group xml:lang="en"><trans-title>Scholarly Research and Information</trans-title></trans-title-group></journal-title-group><issn pub-type="epub">2658-3143</issn><publisher><publisher-name>NP «NEICON»</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.24108/2658-3143-2019-2-2-129-138</article-id><article-id custom-type="elpub" pub-id-type="custom">neicon-43</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>БИБЛИОТЕКОВЕДЕНИЕ И ИНФОРМАТИКА</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>LIBRARY AND INFORMATION SCIENCES</subject></subj-group></article-categories><title-group><article-title>СВОЙСТВО, КОТОРОЕ НА САМОМ ДЕЛЕ ОЦЕНИВАЮТ, КОГДА ГОВОРЯТ, ЧТО ОЦЕНИВАЮТ “IMPACT”</article-title><trans-title-group xml:lang="en"><trans-title>THE PROPERTY THAT IS FACTUALLY BEING EVALUATED WHEN THEY SAY THEY EVALUATE IMPACT</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-0387-4515</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Лазарев</surname><given-names>В. С.</given-names></name><name name-style="western" xml:lang="en"><surname>Lazarev</surname><given-names>V. S.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Владимир Станиславович Лазарев, ведущий библиограф отдела маркетинга и проектной деятельности Researcher ID: D-5165-2016; Google Scholar: https://scholar.google.ru/citations?user=-C7EcR8AAAAJ&amp;hl=ru&amp;oi=sra Research Gate: https://www.researchgate.net/profile/Vladimir_Lazarev6</p></bio><bio xml:lang="en"><p>Vladimir S. Lazarev, Leading Bibliographer of the Marketing and Project Activity Department</p><p>Researcher ID: D-5165-2016;</p><p>Google Scholar: https://scholar.google.ru/citations?user=-C7EcR8AAAAJ&amp;hl=ru&amp;oi=sra;</p><p>Research Gate: https://www.researchgate.net/profile/Vladimir_Lazarev6</p></bio><email xlink:type="simple">vslazarev@bntu.by</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru">Научная библиотека Белорусского национального технического университета<country>Беларусь</country></aff><aff xml:lang="en">Scientific Library of the Belarusian National Technical University<country>Belarus</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2019</year></pub-date><pub-date pub-type="epub"><day>18</day><month>03</month><year>2019</year></pub-date><volume>2</volume><issue>2</issue><fpage>129</fpage><lpage>138</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Лазарев В.С., 2019</copyright-statement><copyright-year>2019</copyright-year><copyright-holder xml:lang="ru">Лазарев В.С.</copyright-holder><copyright-holder xml:lang="en">Lazarev V.S.</copyright-holder><license license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://05x01x01x01x02.ejs-01.elpub.dev/jour/article/view/43">https://05x01x01x01x02.ejs-01.elpub.dev/jour/article/view/43</self-uri><abstract><sec><title>Введение</title><p>Введение. Анализ употребляемых определений и трактовок понятия “impact’а” («воздействия»), введенного в оборот Ю. Гарфилдом в 1955 году, не позволяет утверждать, что в наукометрической литературе вообще существует строгое определение данного понятия. Поскольку предполагается, что его надежным показателем является цитируемость, следует ответить на вопрос, какое же свойство на самом деле отображается данным показателем.</p></sec><sec><title>Материалы и методы</title><p>Материалы и методы. Аналитическая интерпретация научной литературы, имеющей отношение к данной проблеме.</p></sec><sec><title>Результаты</title><p>Результаты. Сопоставление понятия «воздействия» с возможностями его количественной оценки цитируемостью показало ненадежность данного основного наукометрического метода для оценки именно «воздействия»: с точки зрения причинно-следственных связей «воздействие» может быть, а может и не быть причиной использования научных документов, отраженного в их цитируемости. Иными словами, цитируемость — не очень надежный proxy (замещающий показатель) для оценки плохо определенного (как показано в предыдущей статье — см. «Наука и научная информация» 2019;2(1):63–78) понятия «impact» («воздействие»). В то же время цитируемость нацелена на отображение ценности цитируемых научных документов (через отражение их использования при создании цитирующих документов).</p></sec><sec><title>Обсуждение и заключение</title><p>Обсуждение и заключение. Если принять, что «impact» не следует считать ключевым понятием наукометрии, то его место может естественно занять понятие ценности цитируемых документов, их совокупностей, создателей и т. д.</p></sec></abstract><trans-abstract xml:lang="en"><sec><title>Introduction</title><p>Introduction. Analysis of the definitions and perceptions of the notion of “impact”, introduced into circulation by Yu. Garfield in 1955, does not allow to assert that in the scientometrics literature there is a strict definition of this notion at all. Since it is assumed that citedness figures are its reliable indicator, it is necessary to discover what property is actually reflected by this indicator.</p></sec><sec><title>Materials and methods</title><p>Materials and methods. Analytical interpretation of the scientific literature related to this problem since 1955.</p></sec><sec><title>Results</title><p>Results. Comparison of the notion of “impact” with the possibilities of its quantitative evaluation by citedness figures demonstrated the unreliability of this basic scientometric method for the assessment of exactly “impact” as in terms of cause-and-effect relationships, “impact” may or may not be the reason for the use of scientific documents reflected in their citedness figures. In other words, citedness is not a very reliable proxy (substitute indicator) to be used for assessing poorly defined (as it was shown in my previous article published in Scholarly Research and Information; 2019;2(1):63–73) notion of “impact”. At the same time, citedness figures reflect the value of cited scientific documents (by reflecting their use while the creation of citing documents).</p><p>Discussion and Conclusions. If “impact” should not be considered as a key notion of scientometrics, then its place can naturally be taken by the notion of the value of cited documents, their totalities, creators, etc.</p></sec></trans-abstract><kwd-group xml:lang="ru"><kwd>impact</kwd><kwd>воздействие</kwd><kwd>наукометрия</kwd><kwd>количественная оценка</kwd><kwd>цитируемость</kwd><kwd>использование</kwd><kwd>ценность</kwd></kwd-group><kwd-group xml:lang="en"><kwd>impact</kwd><kwd>scientometrics</kwd><kwd>definitions</kwd><kwd>quantitative evaluation</kwd><kwd>citedness</kwd><kwd>use</kwd><kwd>value</kwd></kwd-group></article-meta></front><body><p>В предыдущей статье [<xref ref-type="bibr" rid="cit1">1</xref>] мы пытались показать, что, поскольку существующие определения поня­тия impact'a («воздействия») не могут быть при­знаны удовлетворительными, нельзя считать это понятие — как делает, например, L. Bornmann [<xref ref-type="bibr" rid="cit2">2</xref>] — «ключевым понятием наукометрии». Указывалось, что более или менее интуитивно понятными трак­товками «воздействия» являются представления о нем как о «сильном впечатлении» или «влия­нии» (произведенном на цитирующего автора). Далее, цитируемость, которая, как предполагает­ся многими специалистами, является достовер­ным показателем «воздействия» (напр., [3, с. 111; 4; 5, с. 2; 6, с. 342]), в действительности не имеет с ним причинно-следственных связей, т. к., отра­жая использование, цитируемость не обязательно отражает его по причине именно «воздействия» (т.е. «влияния» или «сильного впечатления») [<xref ref-type="bibr" rid="cit1">1</xref>]. (См. тж. [7, с. 442] с утверждением, что «неоднократ­но фальсифицировалось &lt;...&gt; предположение, &lt;...&gt; что ученые мотивированы ссылаться на то, ока­зывало на них влияние».) Также «воздействие» не обязательно приводит к использованию и по­тому не обязательно отображается в цитируемости [<xref ref-type="bibr" rid="cit1">1</xref>]. Поэтому следует считать, что цитируемость — не очень надежный proxy (замещающий показа­тель) для оценки плохо определенного понятия "impact" («воздействие»). Однако если осмыслить свойство цитируемых научных документов, отобра­жаемое в цитируемости, исходя не из догматиче­ской установки о том, что таковым является «воз­действие», а из непредвзятого анализа сущности самой природы цитируемости, то можно выявить именно то свойство цитируемых научных доку­ментов и их совокупностей, «ключевую» роль ко­торого в наукометрии, как представлялось, играет «воздействие». Задача выявления этого свойства и была поставлена в данной работе.</p><p>В [<xref ref-type="bibr" rid="cit1">1</xref>] зафиксирован тот факт, что цитируемость всегда и непосредственно отображает использова­ние цитируемых материалов. Напоминая об этом очевидном, но слишком часто многими забывае­мом положении, следует упомянуть об уже цитиро­ванных в [<xref ref-type="bibr" rid="cit1">1</xref>] работах [5, с. 2; 6, с. 342; 8]. Это же поло­жение содержится в [9; 10; 11, с. 120, 121, 130; 12, с. 273; 13, с. 4; 14, с. 133; 15, с. 11-12; 16, с. 93; 17, с. 6; 18, с. 96­98] и многих других публикациях. Из первых работ, посвященных анализу цитируемости, отметим ра­боту Н.Н. Fussler 1949 г. [<xref ref-type="bibr" rid="cit19">19</xref>], в которой целью ис­следования было выявление научной литературы, использованной в Соединенных Штатах химиками и физиками; ее «основным допущением», согласно формулировке автора, было то, что «цитирование обозначает использование цитируемого материа­ла» [19, с. 26].</p><p>Данный тезис представляется нам настоль­ко очевидным, что какое-то его дополнительное обоснование мы можем привести только в поле­мике с его противниками. Они же, в свою очередь, как видится, также не будучи в состоянии атако­вать его «в лоб», предпочитают «критиковать» его, рассматривая такие частные случаи проявления закономерности «цитируемость отражает исполь­зование», которые якобы ставят ее под сомнение. Другие же пытаются «показать», что якобы более надежным методом изучения использования до­кументов является изучение читательской актив­ности, направленной на ознакомление с доку­ментами; и эта мысль почему-то принимается ими за опровержение положения «цитируемость от­ражает использование» (что не было бы таковым даже при условии их правоты).</p><p>Такие «аргументы» первого направления, как наличие «отрицательного цитирования», самоцитирования, «вынужденного цитирова­ния», «запоздавшего цитирования» и т. п., рас­сматривать всерьез не приходится. Все эти слу­чаи цитирования отражают использование; например, «отрицательное цитирование» име­ет место в случае плодотворности опровержения критикуемой работы для развития собственной ар­гументации. Что до цитирования «вынужденного», то сколь бы «необязательным» оно ни казалось (или даже было!), без использования содержания цитируемой работы оно невозможно. Трудно пред­ставить, чем плохо и т. н. «запоздавшее цитирова­ние»: ведь без машины времени просто невозмож­но процитировать работу до того, как она начала использоваться, а если кто-то считает, что это про­исходит слишком поздно, то в чем повинен метод, регистрирующий этот факт?!. Что до самоцити- рования, то его отсутствие может свидетельство­вать лишь о том, что какая-то работа не развивает ни одну из предшествующих работ автора; поэтому волевое исключение самоцитирования лишь «ра­зорвет» отражение научных связей между публика­циями... Подробнее эти и другие аргументы «кри­тиков» и ответы на них рассмотрены в [17, с. 11-12].</p><p>Гораздо серьезнее представляются такие аргу­менты первого направления критики, как то,что не все используемое в действительности цитирует­ся (в силу недобросовестности или небрежности), а не все, что цитируется, было в действительно­сти хотя бы прочитано. Хотя в действительности первый аргумент не может быть принят по очень простой причине: при его истинности из него сле­дует лишь определенная ограниченность метода «цитат-анализ» (всегда признававшаяся тем же Ю. Гарфилдом и другими авторитетными разработ­чиками метода), но при отсутствии лучшего либо эталонного метода из этой констатации не сле­дует ровным счетом ничего. Метод несовершенен, но лучшего нет; следует ли этого, что необходимо отказаться от лучшего из возможных [17, с. 11]?! (О том, что изучение читательской активности, направленной на ознакомление с документами, не является «более надежным» методом изуче­ния использования документов, будет сказано не­сколькими строками ниже.)</p><p>Второй аргумент в наиболее убийственной фор­ме представлен в работе [<xref ref-type="bibr" rid="cit20">20</xref>], где не просто указа­но, что порой цитируются непрочитанные работы, но приведены (оставшиеся нам малопонятными) аргументы за то, что около 70-90% научных ссылок скопировано из списков литературы из других ра­бот. Но если это действительно так, следует просто срочно ликвидировать всю наукометрию как си­стему, построенную на абсолютно недостоверном фундаменте, — но многочисленные «работающие» в ней закономерности показывают, что абсолютно недостоверным этот фундамент назвать нельзя.</p><p>Второе направление атак на метод «цитат-ин- декс», это, как говорилось выше, утверждение о том, что изучение читательской активности, направленной на ознакомление с документами, «лучше» отражает использование. Ее сторонники уверены в своей правоте настолько, что сделали попытку пустить в оборот термин «библиометрия использования», имея в виду под «использова­нием» ту самую читательскую активность [<xref ref-type="bibr" rid="cit21">21</xref>]; на­столько, что даже в базе данных «Web of Science» в данные о каждом отраженном в ней документе включен так называемый «показатель использо­вания» — показатель, который в действительности отражает лишь усилия пользователей по доступу к этому документу. А чего стоит такое утверждение: «использование возникает, когда пользователь оформляет запрос на обслуживание, относящий­ся к определенному научному ресурсу, в конкрет­ную информационную службу» [21, с. 6]?! В таком «определении» использования говорится исклю­чительно о запросе; о самом же использовании запрошенного в таком «определении использова­ния» не говорится вообще ничего...</p><p>Если разбираться в этих притязаниях спокой­но, легко заметить, что на деле и состоявшаяся читательская активность говорит об использова­нии научных документов в научной деятельности значительно меньше, чем их цитируемость. Ведь изучение читательской активности по ознаком­лению с документами не отражает даже и самого факта прочтения («полистал и отложил» не зна­чит ни «прочитал», ни даже «почитал»). А из фак­та прочтения (которое не подтверждено!) не ясно, предпринималось ли оно просто для ознакомления или же в конкретной научной работе [22, c. 40; 23, c. 175]. Как писала Е. З. Мирская еще в 1976 г., «чтобы новое знание начало функционировать, оно долж­но быть ассимилировано научным сообществом, то есть замечено им, воспринято, оценено и исполь­зовано» [11, c. 119]. Стоит лишь окинуть взором эту цепочку, как становится ясным, что читательская активность относится в лучшем случае к первому и второму этапам (весьма часто, полагаем, лишь к первому), цитируемость же — именно к послед­нему. Неудивительно, что на протяжении своей статьи Е. З. Мирская неоднократно категорически утверждает: ссылки — свидетельство использова­ния цитирующим автором цитируемых материалов. (Ср.: «Ссылки могут рассматриваться как формаль­ная регистрация использования полученных кон­кретных научных данных (заключенных в &lt;цитиру­емой&gt; статье).» [14, с. 133].)</p><p>Наконец, исследователь может обращаться к оригиналу конкретного документа однократно, но впоследствии многократно использовать его содержание, и это приведет к соответствующим ошибкам в оценке использования по обраще­нию к документам [22, c. 40; 23, c. 180]. И, наоборот, многократно запрошенный документ может оста­ваться едва прочитанным. В многократных об­ращениях к документу отражается, по-видимому, процесс восприятия ранее замеченного докумен­та, а не его использования. В [<xref ref-type="bibr" rid="cit24">24</xref>], например, ука­зывалось, что анализ потока заказов по МБА куда полнее отражает использование, нежели цитируе­мость; но чего, с учетом изложенного, стоит такая «полнота»?</p><p>Итак, именно в сравнении с «альтернативным» методом становится яснее, что цитируемость под­тверждает состоявшееся использование науч­ного документа при выполнении имеющей к нему отношение творческой работы авторами цити­рующих работ: вначале документ прочитывается, затем — если он не выбрасывается за заведомой ненадобностью — он рассматривается (“it is being considered"), затем — вследствие рассмотрения — он, возможно, используется (для сравнения, вклю­чая опровержения, заимствования описанных ме­тодов, и т. д., и т. п.), затем — он цитируется [12, с. 273]...</p><p>Итак, использование — суть процесс, отобра­жаемый цитируемостью, с чем «громко» соглас­ны и многие приверженцы той точки зрения, что цитируемость является адекватным показате­лем «воздействия» (например, [5; 6; 25-27]). Одна­ко как, по их мнению, соотносятся использование и «воздействие»?</p><p>A.J. Nederhof и A.F.J. van Raan в [26, с. 326] как о само собой разумеющемся говорят о том, что цитиру- емость, отображая использование, отображает и «научное влияние». Для них это, по-видимому, аксиома, но понятно, что нужна более серьезная аргументация.</p><p>М. Liu [27, с. 370] отмечает, что вообще в соот­ветствии с «нормативной теорией цитирования» «люди отдают должное коллегам, работой кото­рых они пользуются, ссылаясь на эту работу, и по­тому цитируемость отображает влияние». Однако в связи с уже изложенным выше можно считать установленным, что это условие обязательно­сти «воздаяния» не соблюдается и поэтому четкая причинно-следственная связи между использова­нием и влиянием, описанная в [27, с. 370], отсутствует.</p><p>В работе Юджина Гарфилда [<xref ref-type="bibr" rid="cit25">25</xref>] указано, что «Частота цитируемости указывает на цен­ность журнальной статьи и ее использование» [25, с. 7]. И далее: «Когда врач или биомедицинский исследователь цитирует журнальную статью, это указывает на то, что цитируемый журнал каким-то образом повлиял на него» [25, с. 7]. То есть «воз­действие» вытекает из использования? Но только что таковым отображаемым в использовании свой­ством называлась ценность.</p><p>«Воздействие» и ценность смешиваются и в сле­дующей цитате: «Представление о цитировании как показателе влияния и инструменте оценки научного вклада &lt;т.е. «воздействия» — В.Л.&gt; пря­мо вытекает из следующего заявления: “Если чья- то работа не будет замечена и использована дру­гими в системе науки, могут возникнуть сомнения в ее ценности" [<xref ref-type="bibr" rid="cit28">28</xref>]» [29, с. 100]. То есть для авторов [<xref ref-type="bibr" rid="cit29">29</xref>] «воздействие» есть то ли следствие ценности, то ли то же самое, что сама ценность.</p><p>Но на самом деле именно ценность, а не «воз­действие» является единственным свойством, не­посредственно отображаемым в использовании. Приведем пространную цитату из нашей недав­ней работы: «В самом деле, в науке об информации понятие ценности определяется как “свойство ин­формации, определенное ее пригодностью к прак­тическому использованию в различных областях целенаправленной человеческой деятельности для достижения определенной цели" [30, с. 464]. Ценность информации прямо связана с ее исполь­зованием, будь то единичный документ или науч­ное периодическое издание как организованная совокупность документов: вне научного документа человеческое общество не имеет и научной инфор­мации, так как именно документ является матери­альной формой ее фиксации. Итак, должно быть ясным, что, будучи методом непосредственной оценки состоявшегося использования &lt;...&gt; цитиру­емых объектов &lt;...&gt;, подсчет ссылок является ме­тодом косвенной оценки их ценности [12, с. 273]. Обновленное определение ценности не противо­речит сказанному, но подтверждает его: “Ценность, в том числе научная, не является чисто природным свойством предмета (в нашем случае информа­ции), а образуется в результате предметно-прак­тического взаимодействия объекта и субъекта. Лю­бая ценность обусловлена практикой, понимаемой в самом широком смысле этого слова, и практика выступает как объективный определитель цен­ности. &lt;... &gt; Ценность объективна как порождение практического отношения (взаимодействия) объ­екта и субъекта &lt;...&gt; [31, с. 232]"» [18, c. 96-97].</p><p>Скажем больше: «Мало того, если в философии “ценность" трактуется как критерий предпочти­тельности в ситуации альтернативного выбора [32, с. 111], то выбор конкретной ссылки из множества возможных &lt;. &gt; сам по себе уже свидетельствует о ценности процитированного! Понятие ценно­сти трактуется также как способность содейство­вать достижению цели исследовательской деятель­ности [Там же] — и это соотносится с пониманием цитируемых работ как фактора, способствующего выполнению исследования» [17, c. 6].</p><p>В контексте сказанного можно вновь обратить­ся к наследию Ю. Гарфилда, который в заметке [<xref ref-type="bibr" rid="cit33">33</xref>] утверждает, что «импакт-фактор» является «в ос­новном мерилом использования (ценности?)». По­нятно, что это в еще большей степени может быть отнесено к показателям цитируемости в целом. Странно лишь то, что Ю. Гарфилд куда чаще (в из­вестных нам работах) предпочитал связывать ци- тируемость не с использованием и ценностью, а с воздействием.</p><p>Некоторые авторы совершенно серьезно утвер­ждают, что цитируемость отражает «не только ценность» (вариант: «не только качество»), но са­мые разнообразные свойства, и указывают на за­висимость цитируемости от десятков факторов [34, 35]. Эти заявления о том, что цитируемость отражает «не только использование», в сущности, курьезны, и их следует рассматривать не более как игру слов. В самом деле, с одной стороны, «критики» абсо­лютно правы в том, что использование может быть вызвано, мотивировано и «воздействием» цити­руемой работы, и ее «качеством», и ее ценностью при полном отсутствии качества (тот самый случай плодотворного отрицательного цитирования!). что оно может быть вызвано загадочным для науч­ного документа свойством аттрактивности, которое «побуждает» цитирующего автора выбрать для ци­тирования именно данный документ из несколь­ких равноценных (в глазах и самого цитирующего автора); они правы и в том, что оно может коррели­ровать с количеством авторов цитируемой работы или длиной ее реферата. — но, имея данные о ци- тируемости, никто, включая самого цитирующего автора, не в состоянии сказать, какой именно мо­тив вызвал использование. Зато, исходя из самого определения ценности — в сущности, любого из ее определений, рассмотренных нами выше, — мы мо­жем утверждать: имманентно в цитируемости ото­бражается именно ценность цитируемого доку­мента; отображается она опосредованно через его использование. В какой-то степени (и совершенно необязательно) при этом могут отражаться «воз­действие», «качество», «аттрактивность», но пре­имущественно и всегда отражается ценность.</p><p>А что же «воздействие»? Как мы стремились по­казать, оно может быть, а может и не быть причиной использования документа, может отображаться, а может и не отображаться в использовании. И по­тому точность отражения «воздействия» в цити- руемости «автоматически» ниже, нежели точность отображения в нем ценности. Если «воздействие» — характеристика, предполагаемо отображаемая в цитируемости, является лишь одним из возмож­ных мотивов использования цитируемого доку­мента и имеет с его цитируемостью вероятностные связи, то «ценность» — свойство документа, опре­деляющее его использование и имеющее с его цитируемостью причинно-следственные связи, то есть неизбежно отображаемое в цитируемости.</p><p>Если учесть при всем этом, что понятие «воздей­ствие» за предположительно 63 года своего суще­ствования (считая работу Ю. Гарфилда 1955 года [<xref ref-type="bibr" rid="cit3">3</xref>] первой) не сумело получить удовлетворительного определения, возникает вопрос: а что, собствен­но, вообще привносит оно в осознание процессов и следствий использования научных документов в библиометрии и наукометрии? Неужели конста­тация ценности тех или иных статей, характеристи­ка тех или иных авторов и научных организаций как «производителей» ценных документов сообща­ет нам меньше, чем утверждение, что те или иные документы (их авторы, организации и страны, в ко­торых они работают) оказывают «воздействие»?! И это — при том заведомом факте, что второе утверждение хуже обосновано логически и име­ет меньшую достоверность, причем само понятие «воздействия» удовлетворительно не определе­но. И это притом что альтернативы роли ценно­сти как свойства, отображаемого в цитируемости на основании причинно-следственных связей, просто нет — даже несмотря на то, что не все ис­пользованные работы цитируются, даже несмотря и на наличие некоторой доли «фальшивых ссы­лок» на непрочитанные работы. Нет альтернативы и цитируемости как показателю ценности: данные о читательской активности, хуже отражая исполь­зование, будут и менее надежным показателем ценности. Методическая же альтернатива оценке «воздействия» существует: о «воздействии» мож­но также судить, «“приклеившись" к ученому, когда он работает и обменивается мнениями с его колле­гами», изучив его рабочие тетради и т. д. [7, с. 442]. На самом деле при этом осуществлялась бы экс­пертная оценка — метод, «заточенный» на оцени­вание качества (в соответствии с определением самого свойства «качество» [37, с. 1858]). Однако «воздействие» при этом оказывается «характе­ристикой», на соответствие которой оценивается качество исследовательской работы [38, с. 15; 39, пункт 3.6.2] — весьма размытой, неопределенной характеристикой; и все-таки уровень опосредо­вания оценки «воздействия» здесь вряд ли выше, чем в случае с цитируемостью. Ценность же с помо­щью экспертной оценки нельзя определять даже предположительно в силу того, что само опреде­ление ценности основано на понятии использо­вания. Можно, конечно, уговорить эксперта про­вести «априорную оценку ценности», но как такую оценку ни называй, она окажется оценкой каче­ства — в соответствии с самим определением дан­ного свойства [<xref ref-type="bibr" rid="cit18">18</xref>]. С результатами экспертной оценки качества в соответствии с такой его харак­теристикой, как «воздействие», могут, конечно, коррелировать — «положительно и статистически значимо» — результаты подсчета цитируемости [40, с. 677], но при этом — как справедливо отме­чал M. Thelwall — «подсчет цитирований не изме­ряет воздействие», являясь лишь его «индикато­ром»6 [40, с. 677]. M. Thelwall добавляет при этом: «какое бы разумное определение “воздействия" мы ни использовали» [40, с. 677], но только — где оно, это разумное определение?! В короткой статье [<xref ref-type="bibr" rid="cit40">40</xref>] термин «impart» употреблен 20 раз, вот только его определение отсутствует.</p><p>Итак, после рассмотрения неопределенного понятия и «соответствующего ему» индикатора, оказавшегося на деле всего лишь не очень убе­дительным proxy, была выполнена аналитиче­ская интерпретация сущностных характеристик цитируемости, позволившая — через соотнесение с понятием использования (научных документов) — прийти к выводу, что «ключевыми понятиями на­укометрии» должны являться не «воздействие», а использование и ценность (как отражаемое ис­пользованием свойство научных документов, их со­вокупностей, содержащейся в них информации, их авторов и т. д.). Понятие «воздействие» («impart») при этом представляется просто избыточным.</p><p>Данный вывод представляется вполне очевид­ным. Однако соображения о соотношении понятий использования и ценности слишком часто вообще не принимаются во внимание апологетами «воз­действия» как якобы основной характеристики, отображаемой цитируемостью. (Как будто инфор­мация о «ценности» публикации для какой-то на­учной школы говорит меньше, чем информация о ее «воздействии» на эту школу!) Кроме того, по­следователи «нормативной теории цитирования», считая качество цитируемого документа основным свойством, отображаемом цитируемостью, также не замечают простейшей логической цепочки: «ци­тировано, потому что использовано, а если исполь­зовано, значит — ценно» [1; 18]. И поэтому рекон­струкция роли ценности (научных документов, их совокупностей, содержащейся в них информации, их авторов и т. д.) в наукометрических исследова­ниях, предпринятая в настоящей работе, представ­ляется нам необходимой и своевременной.</p></body><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Лазарев В.С. Неудовлетворительные определения или смутно понимаемое понятие? Об определениях термина «impact». Наука и научная информация. 2019;2(1):63–78. https://doi.org/10.24108/2658-3143-2019-2-1-63-78</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Insufficient Definitions or a Vaguely Grasped Notion? On Definitions of “Impact”. Nauka i nauchnaya informatsiya = Scholarly Research and Information. 2019;2(1):63–78 (In Russ.). https://doi.org/10.24108/2658-3143-2019-2-1-63-78</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Bornmann L. Is there currently a scientific revolution is scientometrics? Journal of the Association for Information Science and Technology. 2014;65(3):647–648. https://doi.org/10.1002/asi.23073</mixed-citation><mixed-citation xml:lang="en">Bornmann L. Is there currently a scientific revolution is scientometrics? Journal of the Association for Information Science and Technology. 2014;65(3):647–648. https://doi.org/10.1002/asi.23073</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Citation indexes for science: A new dimension in Documentation through association of ideas. Science. 1955;122(3159):108–111.</mixed-citation><mixed-citation xml:lang="en">Bornmann L. Is there currently a scientific revolution is scientometrics? Journal of the Association for Information Science and Technology. 2014;65(3):647–648. https://doi.org/10.1002/asi.23073</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Cole S., Cole J.R. Scientific output and recognition: A study in the operation of the reward system in science. American Sociological Review. 1967;32(3):377–390.</mixed-citation><mixed-citation xml:lang="en">Bornmann L. Is there currently a scientific revolution is scientometrics? Journal of the Association for Information Science and Technology. 2014;65(3):647–648. https://doi.org/10.1002/asi.23073</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E., Malin M.E. Can Nobel Prize winners be predicted? Paper presented at 135th Annual Meeting, American Association for the Advancement of Science, Dallas, Texas — December 26–31, 1968. Eugene Garfield, Ph.D. (1925–2017) S.a. URL: http://www.garfield.library.upenn.edu/papers/nobelpredicted.pdf (дата обращения 13.12.2018).</mixed-citation><mixed-citation xml:lang="en">Garfield E. Citation indexes for science: A new dimension in Documentation through association of ideas. Science. 1955;122(3159):108–111.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">MacRoberts M.H., MacRoberts B.R. Problems of citation analysis: A critical review. Journal of the American Society for Information Science. 1989;40(5):342–349.</mixed-citation><mixed-citation xml:lang="en">Garfield E. Citation indexes for science: A new dimension in Documentation through association of ideas. Science. 1955;122(3159):108–111.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">MacRoberts M.H., MacRoberts B.R. Problems of citation analysis. Scientometrics. 1996;36(3):435– 444.</mixed-citation><mixed-citation xml:lang="en">Garfield E. Citation indexes for science: A new dimension in Documentation through association of ideas. Science. 1955;122(3159):108–111.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">History of citation indexing. In: Essays. S.a., Clarivate Analytics. URL: https://clarivate.com/essays/history-citation-indexing/ (дата обращения 13.12.2018).</mixed-citation><mixed-citation xml:lang="en">Cole S., Cole J.R. Scientific output and recognition: A study in the operation of the reward system in science. American Sociological Review. 1967;32(3):377–390.</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Кара-Мурза С.Г. Цитирование в науке и подходы к оценке научного вклада. Вестник АН СССР. 1981;(5):68–75.</mixed-citation><mixed-citation xml:lang="en">Cole S., Cole J.R. Scientific output and recognition: A study in the operation of the reward system in science. American Sociological Review. 1967;32(3):377–390.</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Воверене О.И. Об оценке эффективности систем избирательного распространения информации. Научно-техническая информация. Сер. 1. 1973;(9):12–14.</mixed-citation><mixed-citation xml:lang="en">Cole S., Cole J.R. Scientific output and recognition: A study in the operation of the reward system in science. American Sociological Review. 1967;32(3):377–390.</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Мирская Е.З. Механизм оценки и формирования знания в естественных науках. Вопросы философии. 1976;(5):119–130.</mixed-citation><mixed-citation xml:lang="en">Garfield E., Malin M.E. Can Nobel Prize winners be predicted? Paper presented at 135th Annual Meeting, American Association for the Advancement of Science, Dallas, Texas — December 26–31, 1968. Eugene Garfield, Ph.D. (1925–2017) S.a. Available at: http://www.garfield.library.upenn.edu/papers/nobelpredicted.pdf ( accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. On chaos in bibliometric terminology. Scientometrics. 1996;35(2):271–277. https://doi.org/10.1007/BF02018485</mixed-citation><mixed-citation xml:lang="en">Garfield E., Malin M.E. Can Nobel Prize winners be predicted? Paper presented at 135th Annual Meeting, American Association for the Advancement of Science, Dallas, Texas — December 26–31, 1968. Eugene Garfield, Ph.D. (1925–2017) S.a. Available at: http://www.garfield.library.upenn.edu/papers/nobelpredicted.pdf ( accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Properties of scientific periodicals under bibliometric assessment. International Journal of Information Sciences for Decision Making. 1997;(1):1–17. URL: http://isdm.univ-tln.fr/PDF/isdm1/isdm1a6_lazarev.pdf (дата обращения 13.12.2018).</mixed-citation><mixed-citation xml:lang="en">Garfield E., Malin M.E. Can Nobel Prize winners be predicted? Paper presented at 135th Annual Meeting, American Association for the Advancement of Science, Dallas, Texas — December 26–31, 1968. Eugene Garfield, Ph.D. (1925–2017) S.a. Available at: http://www.garfield.library.upenn.edu/papers/nobelpredicted.pdf ( accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">van Raan A.F.J. In matters of quantitative studies of science the fault of theorists is offering too little and asking too much. Scientometrics. 1998;43(1):129–139. https://doi.org/10.1007/BF02458401</mixed-citation><mixed-citation xml:lang="en">MacRoberts M.H., MacRoberts B.R. Problems of citation analysis: A critical review. Journal of the American Society for Information Science. 1989;40(5):342–349.</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Citation analysis in the context of nobelistics: citedness figures (An essay of a bibliometrician) В кн.: Тютюнник В.М., Горбунов Г.В. (ред.) Нобелистика. Науковедение. Информатика: Материалы 5 Международной встречи-конференции лауреатов Нобелевских премий и нобелистов; 5 Междунар. (7 Тамбовской) науч. конф. «Информатика и науковедение», Тамбов, 17–20 ноября 1998 г. Тамбов: изд-во ТГУ им. Г.Р. Державина; изд-во МИНЦ, 1999.</mixed-citation><mixed-citation xml:lang="en">MacRoberts M.H., MacRoberts B.R. Problems of citation analysis: A critical review. Journal of the American Society for Information Science. 1989;40(5):342–349.</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Bornmann L., Mutz R., Neuhaus C., Daniel Y.-D. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics in Science and Environmental Politics. 2008;8:93–102. https://doi.org/10.3354/esep00084</mixed-citation><mixed-citation xml:lang="en">MacRoberts M.H., MacRoberts B.R. Problems of citation analysis: A critical review. Journal of the American Society for Information Science. 1989;40(5):342–349.</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Лазарев В.С. Научные документы и их упорядоченные совокупности: цитируемость, использование, ценность. Международный форум по информации. 2017;42(1):3–16. URL: http://lamb.viniti.ru/sid2/sid2free?sid2=J15472040 (дата обращения 13.12.2018).</mixed-citation><mixed-citation xml:lang="en">MacRoberts M.H., MacRoberts B.R. Problems of citation analysis. Scientometrics. 1996. 36(3): 435–444.</mixed-citation></citation-alternatives></ref><ref id="cit18"><label>18</label><citation-alternatives><mixed-citation xml:lang="ru">Лазарев В.С. Можно ли считать уровень цитируемости научных документов показателем их качества? В кн.: Груша А.И. и др. (ред.) Наукометрия: методология, инструменты, практическое применение: сб. науч. ст. Минск: Беларуская навука; 2018. URL: https://rep.bntu.by/handle/data/37342 (дата обращения 13.12.2018).</mixed-citation><mixed-citation xml:lang="en">MacRoberts M.H., MacRoberts B.R. Problems of citation analysis. Scientometrics. 1996. 36(3): 435–444.</mixed-citation></citation-alternatives></ref><ref id="cit19"><label>19</label><citation-alternatives><mixed-citation xml:lang="ru">Fussler H.H. Characteristics of the research literature used by chemists and physicists in the United States. Library Quarterly. 1949;19(1):19–35.</mixed-citation><mixed-citation xml:lang="en">MacRoberts M.H., MacRoberts B.R. Problems of citation analysis. Scientometrics. 1996. 36(3): 435–444.</mixed-citation></citation-alternatives></ref><ref id="cit20"><label>20</label><citation-alternatives><mixed-citation xml:lang="ru">Simkin M.V., Roychowdhury V.P. Stochastic modeling of citation slips. Scientometrics. 2005;62(3):367–384. https://doi.org/10.1007/s11192-005-0028-2</mixed-citation><mixed-citation xml:lang="en">History of citation indexing. In: Essays. S.a., Clarivate Analytics. Available at: https://clarivate.com/ essays/history-citation-indexing/ (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit21"><label>21</label><citation-alternatives><mixed-citation xml:lang="ru">Kurtz M.J., Bollen J. Usage bibliometrics. Annual Review of Information Science and Technology. 2010;44(1):3–64. https://doi.org/10.1002/aris.2010.1440440108</mixed-citation><mixed-citation xml:lang="en">History of citation indexing. In: Essays. S.a., Clarivate Analytics. Available at: https://clarivate.com/ essays/history-citation-indexing/ (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit22"><label>22</label><citation-alternatives><mixed-citation xml:lang="ru">Лазарев В.С. Учет заказов на копии статей в информационной работе (отклик на статью У.И.Б. Онуигбо). Международный форум по информации и документации. 1986;11(2):40–41. URL: https://rep.bntu.by/handle/data/25448 (дата обращения 13.12.2018).</mixed-citation><mixed-citation xml:lang="en">History of citation indexing. In: Essays. S.a., Clarivate Analytics. Available at: https://clarivate.com/ essays/history-citation-indexing/ (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit23"><label>23</label><citation-alternatives><mixed-citation xml:lang="ru">Лазарев В.С. Обращения читателей к научным периодическим изданиям как показатель тематической направленности изданий. В кн.: Методологические проблемы медицинской информатики и науковедения: Сб. науч. тр. Москва: Научно-производственное объединение «Союзмединформ» и др., 1989. URL: https://rep.bntu.by/handle/data/25434 (дата обращения 13.12.2018).</mixed-citation><mixed-citation xml:lang="en">Kara-Murza S.G. Citation in Science and Approaches to the Assessment of Scientific Impact. Vestnik AN SSSR = Herald of the USSR AS. 1981;(5):68–75 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit24"><label>24</label><citation-alternatives><mixed-citation xml:lang="ru">Scales P.A. Citation analysis as indicator of the use of serials: A comparison of ranked titles lists produced by counting and from the use data. Journal of Documentation. 1977;32:17–25. https://doi.org/10.1108/eb026612</mixed-citation><mixed-citation xml:lang="en">Kara-Murza S.G. Citation in Science and Approaches to the Assessment of Scientific Impact. Vestnik AN SSSR = Herald of the USSR AS. 1981;(5):68–75 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit25"><label>25</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Why are the impacts of the leading medical journals so similar and yet so different? Item-by-item audits reveal a diversity of editorial material. Current Contents. 1987;(2):7–13.</mixed-citation><mixed-citation xml:lang="en">Kara-Murza S.G. Citation in Science and Approaches to the Assessment of Scientific Impact. Vestnik AN SSSR = Herald of the USSR AS. 1981;(5):68–75 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit26"><label>26</label><citation-alternatives><mixed-citation xml:lang="ru">Nederhof A.J., van Raan A.F.J. Citation theory and the Ortega hypothesis. Scientometrics. 1987;12(5– 6):325–328. https://doi.org/10.1007/BF02016674</mixed-citation><mixed-citation xml:lang="en">Voverene O.I. On evaluation of the effectiveness of selective information dissemination systems. Nauchno-tekhnicheskaya informatsiya. Ser. 1. = Scientific and Technical Information. 1973;(9):12–14 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit27"><label>27</label><citation-alternatives><mixed-citation xml:lang="ru">Liu M. Progress in documentation — the complexities of citation practice: a review of citation studies. Journal of Documentation. 1993;49(4):370–408.</mixed-citation><mixed-citation xml:lang="en">Voverene O.I. On evaluation of the effectiveness of selective information dissemination systems. Nauchno-tekhnicheskaya informatsiya. Ser. 1. = Scientific and Technical Information. 1973;(9):12–14 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit28"><label>28</label><citation-alternatives><mixed-citation xml:lang="ru">Merton R.K. The sociology of science: An episodic memoir. In: The sociology of science in Europe. Carbondale: Southern Illinois Univ. Press, 1977. Цит. по [29, c. 100].</mixed-citation><mixed-citation xml:lang="en">Voverene O.I. On evaluation of the effectiveness of selective information dissemination systems. Nauchno-tekhnicheskaya informatsiya. Ser. 1. = Scientific and Technical Information. 1973;(9):12–14 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit29"><label>29</label><citation-alternatives><mixed-citation xml:lang="ru">Бредихин С.В., Кузнецов А.Ю., Щербакова Н.Г. Анализ цитирования в библиометрии. Новосибирск: ИВМиМГ СО РАН, НЭИКОН, 2013.</mixed-citation><mixed-citation xml:lang="en">Mirskaya E.Z. The mechanism of assessment and formation of knowledge in the natural sciences. Voprosy filosofii = Problems of philosophy. 1976;(5):119–130 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit30"><label>30</label><citation-alternatives><mixed-citation xml:lang="ru">Терминологический словарь по информатике. Москва: МЦНТИ, 1975.</mixed-citation><mixed-citation xml:lang="en">Mirskaya E.Z. The mechanism of assessment and formation of knowledge in the natural sciences. Voprosy filosofii = Problems of philosophy. 1976;(5):119–130 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit31"><label>31</label><citation-alternatives><mixed-citation xml:lang="ru">Зозулич М.Ф., Венделева М.А. Особенности управления информационными ресурсами предприятия. В кн.: Экономика и эффективность организации производства: сб. науч. тр. по итогам Междунар. науч.-техн. конф. Вып. 9. Брянск: БГИТА, 2008.</mixed-citation><mixed-citation xml:lang="en">Mirskaya E.Z. The mechanism of assessment and formation of knowledge in the natural sciences. Voprosy filosofii = Problems of philosophy. 1976;(5):119–130 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit32"><label>32</label><citation-alternatives><mixed-citation xml:lang="ru">Минкина В.А. Изучение документальных потоков для определения ценностных свойств технической литературы. В кн.: Труды Ленинградского государственного института культуры им. Н.К. Крупской. Т. 76: Документальные потоки по естествознанию и технике и проблемы библиографии. Л., 1983.</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. On chaos in bibliometric terminology. Scientometrics. 1996;35(2):271–277. https://doi.org/10.1007/BF02018485</mixed-citation></citation-alternatives></ref><ref id="cit33"><label>33</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Quality of impact factor of general medical journals — PRADVA wins hands down. British Medical Journal. 2003;326(7383):283. https://doi.org/10.1136/bmj.326.7383.283</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. On chaos in bibliometric terminology. Scientometrics. 1996;35(2):271–277. https://doi.org/10.1007/BF02018485</mixed-citation></citation-alternatives></ref><ref id="cit34"><label>34</label><citation-alternatives><mixed-citation xml:lang="ru">Tahamtan I., Afshar A.S.K., Ahamdzadeh K. Factors affecting number of citations: a comprehensive review of the literature. Scientometrics. 2016;107(3):1195–1225. https://doi.org/10.1007/s11192-016-1889-2</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. On chaos in bibliometric terminology. Scientometrics. 1996;35(2):271–277. https://doi.org/10.1007/BF02018485</mixed-citation></citation-alternatives></ref><ref id="cit35"><label>35</label><citation-alternatives><mixed-citation xml:lang="ru">Hamid R. Jamali H.R., Nikzad M. Article title type and its relation with the number of downloads and citations. Scientometrics. 2011;88(2):653–661. https://doi.org/10.1007/s11192-011-0412-z</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Properties of scientific periodicals under bibliometric assessment. International Journal of Information Sciences for Decision Making. 1997;(1):1–17. Available at: http://isdm.univ-tln.fr/PDF/isdm1/isdm1a6_lazarev.pdf (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit36"><label>36</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Is citation analysis a legitimate evaluation tool? Scientometrics. 1979;1(4):359–375.</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Properties of scientific periodicals under bibliometric assessment. International Journal of Information Sciences for Decision Making. 1997;(1):1–17. Available at: http://isdm.univ-tln.fr/PDF/isdm1/isdm1a6_lazarev.pdf (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit37"><label>37</label><citation-alternatives><mixed-citation xml:lang="ru">Gove Ph.B. (ed.-in-chief) Webster’s Third New International Dictionary of the English Language. Unabridged. Utilizing All the Experience and Resources of More than One Hundred Years of Merriam-Webster Dictionaries. Cologne: Köneman, 1993. 2663 p.</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Properties of scientific periodicals under bibliometric assessment. International Journal of Information Sciences for Decision Making. 1997;(1):1–17. Available at: http://isdm.univ-tln.fr/PDF/isdm1/isdm1a6_lazarev.pdf (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit38"><label>38</label><citation-alternatives><mixed-citation xml:lang="ru">Системы менеджмента качества. Основные положения и словарь СТБ ISO 9000-2015 (ISO 9000:2015, IDT). Взамен СТБ ИСО 9000-2006; введ. 2016-03-01. Минск: Госстандарт; БелГИСС, 2015.</mixed-citation><mixed-citation xml:lang="en">van Raan A.F.J. In matters of quantitative studies of science the fault of theorists is offering too little and asking too much. Scientometrics. 1998;43(1):129–139. https://doi.org/10.1007/BF02458401</mixed-citation></citation-alternatives></ref><ref id="cit39"><label>39</label><citation-alternatives><mixed-citation xml:lang="ru">Системы менеджмента качества. Основные положения и словарь (с Поправкой) ГОСТ Р ИСО 9000-2015 (Национальный стандарт Российской Федерации) URL: http://docs.cntd.ru/document/1200124393 (дата обращения 13.12.2018).</mixed-citation><mixed-citation xml:lang="en">van Raan A.F.J. In matters of quantitative studies of science the fault of theorists is offering too little and asking too much. Scientometrics. 1998;43(1):129–139. https://doi.org/10.1007/BF02458401</mixed-citation></citation-alternatives></ref><ref id="cit40"><label>40</label><citation-alternatives><mixed-citation xml:lang="ru">Thelwall M. Not dead, just resting: The practical value of per publications citation indicators. Journal of Informetrics. 2016;10(2):667–670.</mixed-citation><mixed-citation xml:lang="en">van Raan A.F.J. In matters of quantitative studies of science the fault of theorists is offering too little and asking too much. Scientometrics. 1998;43(1):129–139. https://doi.org/10.1007/BF02458401</mixed-citation></citation-alternatives></ref><ref id="cit41"><label>41</label><citation-alternatives><mixed-citation xml:lang="ru">Martin B.R., Irvine J. Assessing basic research. Some partial indicators of scientific progress in radio astronomy. Research Policy. 1983;12(2):61–90.</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Citation analysis in the context of nobelistics: citedness figures (An essay of a bibliometrician) In: Tyutyunnik V.M., Gorbunov G.V. (eds) Nobelistika. Naukovedenie. Informatika: Materialy 5 Mezhdunarodnoi vstrechi-konferentsii laureatov Nobelevskikh premii i nobelistov; 5 Mezhdunarodnoi (7 Tambovskoi) nauchnoi konferentsii “Informatika i naukovedenie”, Tambov, 17–20 November, 1998. Tambov: Tambov State University, 1999.</mixed-citation></citation-alternatives></ref><ref id="cit42"><label>42</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Citation analysis in the context of nobelistics: citedness figures (An essay of a bibliometrician) In: Tyutyunnik V.M., Gorbunov G.V. (eds) Nobelistika. Naukovedenie. Informatika: Materialy 5 Mezhdunarodnoi vstrechi-konferentsii laureatov Nobelevskikh premii i nobelistov; 5 Mezhdunarodnoi (7 Tambovskoi) nauchnoi konferentsii “Informatika i naukovedenie”, Tambov, 17–20 November, 1998. Tambov: Tambov State University, 1999.</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Citation analysis in the context of nobelistics: citedness figures (An essay of a bibliometrician) In: Tyutyunnik V.M., Gorbunov G.V. (eds) Nobelistika. Naukovedenie. Informatika: Materialy 5 Mezhdunarodnoi vstrechi-konferentsii laureatov Nobelevskikh premii i nobelistov; 5 Mezhdunarodnoi (7 Tambovskoi) nauchnoi konferentsii “Informatika i naukovedenie”, Tambov, 17–20 November, 1998. Tambov: Tambov State University, 1999.</mixed-citation></citation-alternatives></ref><ref id="cit43"><label>43</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Citation analysis in the context of nobelistics: citedness figures (An essay of a bibliometrician) In: Tyutyunnik V.M., Gorbunov G.V. (eds) Nobelistika. Naukovedenie. Informatika: Materialy 5 Mezhdunarodnoi vstrechi-konferentsii laureatov Nobelevskikh premii i nobelistov; 5 Mezhdunarodnoi (7 Tambovskoi) nauchnoi konferentsii “Informatika i naukovedenie”, Tambov, 17–20 November, 1998. Tambov: Tambov State University, 1999.</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Citation analysis in the context of nobelistics: citedness figures (An essay of a bibliometrician) In: Tyutyunnik V.M., Gorbunov G.V. (eds) Nobelistika. Naukovedenie. Informatika: Materialy 5 Mezhdunarodnoi vstrechi-konferentsii laureatov Nobelevskikh premii i nobelistov; 5 Mezhdunarodnoi (7 Tambovskoi) nauchnoi konferentsii “Informatika i naukovedenie”, Tambov, 17–20 November, 1998. Tambov: Tambov State University, 1999.</mixed-citation></citation-alternatives></ref><ref id="cit44"><label>44</label><citation-alternatives><mixed-citation xml:lang="ru">Bornmann L., Mutz R., Neuhaus C., Daniel Y.-D. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics in Science and Environmental Politics. 2008;8:93–102. https://doi.org/10.3354/esep00084</mixed-citation><mixed-citation xml:lang="en">Bornmann L., Mutz R., Neuhaus C., Daniel Y.-D. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics in Science and Environmental Politics. 2008;8:93–102. https://doi.org/10.3354/esep00084</mixed-citation></citation-alternatives></ref><ref id="cit45"><label>45</label><citation-alternatives><mixed-citation xml:lang="ru">Bornmann L., Mutz R., Neuhaus C., Daniel Y.-D. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics in Science and Environmental Politics. 2008;8:93–102. https://doi.org/10.3354/esep00084</mixed-citation><mixed-citation xml:lang="en">Bornmann L., Mutz R., Neuhaus C., Daniel Y.-D. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics in Science and Environmental Politics. 2008;8:93–102. https://doi.org/10.3354/esep00084</mixed-citation></citation-alternatives></ref><ref id="cit46"><label>46</label><citation-alternatives><mixed-citation xml:lang="ru">Bornmann L., Mutz R., Neuhaus C., Daniel Y.-D. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics in Science and Environmental Politics. 2008;8:93–102. https://doi.org/10.3354/esep00084</mixed-citation><mixed-citation xml:lang="en">Bornmann L., Mutz R., Neuhaus C., Daniel Y.-D. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics in Science and Environmental Politics. 2008;8:93–102. https://doi.org/10.3354/esep00084</mixed-citation></citation-alternatives></ref><ref id="cit47"><label>47</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Scientific documents and their regulated totalities: citedness, use, value. Mezhdunarodnyi forum po informatsii = International Forum on Information. 2017;42(1):3–16 (In Russ.). Available at: http://lamb.viniti.ru/sid2/sid2free?sid2=J15472040 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Scientific documents and their regulated totalities: citedness, use, value. Mezhdunarodnyi forum po informatsii = International Forum on Information. 2017;42(1):3–16 (In Russ.). Available at: http://lamb.viniti.ru/sid2/sid2free?sid2=J15472040 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit48"><label>48</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Scientific documents and their regulated totalities: citedness, use, value. Mezhdunarodnyi forum po informatsii = International Forum on Information. 2017;42(1):3–16 (In Russ.). Available at: http://lamb.viniti.ru/sid2/sid2free?sid2=J15472040 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Scientific documents and their regulated totalities: citedness, use, value. Mezhdunarodnyi forum po informatsii = International Forum on Information. 2017;42(1):3–16 (In Russ.). Available at: http://lamb.viniti.ru/sid2/sid2free?sid2=J15472040 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit49"><label>49</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Scientific documents and their regulated totalities: citedness, use, value. Mezhdunarodnyi forum po informatsii = International Forum on Information. 2017;42(1):3–16 (In Russ.). Available at: http://lamb.viniti.ru/sid2/sid2free?sid2=J15472040 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Scientific documents and their regulated totalities: citedness, use, value. Mezhdunarodnyi forum po informatsii = International Forum on Information. 2017;42(1):3–16 (In Russ.). Available at: http://lamb.viniti.ru/sid2/sid2free?sid2=J15472040 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit50"><label>50</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Is it right to consider the level of citations to scientific papers as the indicator of their quality? In: Grusha A.I. et al. (eds) Naukometriya: metodologiya, instrumenty, prakticheskoe primenenie: sbornik nauchnykh statei, Minsk: Belaruskaya navuka Publ.; 2018 (In Russ.). Available at: https://rep.bntu.by/handle/data/37342 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Is it right to consider the level of citations to scientific papers as the indicator of their quality? In: Grusha A.I. et al. (eds) Naukometriya: metodologiya, instrumenty, prakticheskoe primenenie: sbornik nauchnykh statei, Minsk: Belaruskaya navuka Publ.; 2018 (In Russ.). Available at: https://rep.bntu.by/handle/data/37342 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit51"><label>51</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Is it right to consider the level of citations to scientific papers as the indicator of their quality? In: Grusha A.I. et al. (eds) Naukometriya: metodologiya, instrumenty, prakticheskoe primenenie: sbornik nauchnykh statei, Minsk: Belaruskaya navuka Publ.; 2018 (In Russ.). Available at: https://rep.bntu.by/handle/data/37342 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Is it right to consider the level of citations to scientific papers as the indicator of their quality? In: Grusha A.I. et al. (eds) Naukometriya: metodologiya, instrumenty, prakticheskoe primenenie: sbornik nauchnykh statei, Minsk: Belaruskaya navuka Publ.; 2018 (In Russ.). Available at: https://rep.bntu.by/handle/data/37342 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit52"><label>52</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Is it right to consider the level of citations to scientific papers as the indicator of their quality? In: Grusha A.I. et al. (eds) Naukometriya: metodologiya, instrumenty, prakticheskoe primenenie: sbornik nauchnykh statei, Minsk: Belaruskaya navuka Publ.; 2018 (In Russ.). Available at: https://rep.bntu.by/handle/data/37342 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Is it right to consider the level of citations to scientific papers as the indicator of their quality? In: Grusha A.I. et al. (eds) Naukometriya: metodologiya, instrumenty, prakticheskoe primenenie: sbornik nauchnykh statei, Minsk: Belaruskaya navuka Publ.; 2018 (In Russ.). Available at: https://rep.bntu.by/handle/data/37342 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit53"><label>53</label><citation-alternatives><mixed-citation xml:lang="ru">Fussler H.H. Characteristics of the research literature used by chemists and physicists in the United States. Library Quarterly. 1949;19(1):19–35.</mixed-citation><mixed-citation xml:lang="en">Fussler H.H. Characteristics of the research literature used by chemists and physicists in the United States. Library Quarterly. 1949;19(1):19–35.</mixed-citation></citation-alternatives></ref><ref id="cit54"><label>54</label><citation-alternatives><mixed-citation xml:lang="ru">Fussler H.H. Characteristics of the research literature used by chemists and physicists in the United States. Library Quarterly. 1949;19(1):19–35.</mixed-citation><mixed-citation xml:lang="en">Fussler H.H. Characteristics of the research literature used by chemists and physicists in the United States. Library Quarterly. 1949;19(1):19–35.</mixed-citation></citation-alternatives></ref><ref id="cit55"><label>55</label><citation-alternatives><mixed-citation xml:lang="ru">Fussler H.H. Characteristics of the research literature used by chemists and physicists in the United States. Library Quarterly. 1949;19(1):19–35.</mixed-citation><mixed-citation xml:lang="en">Fussler H.H. Characteristics of the research literature used by chemists and physicists in the United States. Library Quarterly. 1949;19(1):19–35.</mixed-citation></citation-alternatives></ref><ref id="cit56"><label>56</label><citation-alternatives><mixed-citation xml:lang="ru">Simkin M.V., Roychowdhury V.P. Stochastic modeling of citation slips. Scientometrics. 2005;62(3):367– 384. https://doi.org/10.1007/s11192-005-0028-2</mixed-citation><mixed-citation xml:lang="en">Simkin M.V., Roychowdhury V.P. Stochastic modeling of citation slips. Scientometrics. 2005;62(3):367– 384. https://doi.org/10.1007/s11192-005-0028-2</mixed-citation></citation-alternatives></ref><ref id="cit57"><label>57</label><citation-alternatives><mixed-citation xml:lang="ru">Simkin M.V., Roychowdhury V.P. Stochastic modeling of citation slips. Scientometrics. 2005;62(3):367– 384. https://doi.org/10.1007/s11192-005-0028-2</mixed-citation><mixed-citation xml:lang="en">Simkin M.V., Roychowdhury V.P. Stochastic modeling of citation slips. Scientometrics. 2005;62(3):367– 384. https://doi.org/10.1007/s11192-005-0028-2</mixed-citation></citation-alternatives></ref><ref id="cit58"><label>58</label><citation-alternatives><mixed-citation xml:lang="ru">Simkin M.V., Roychowdhury V.P. Stochastic modeling of citation slips. Scientometrics. 2005;62(3):367– 384. https://doi.org/10.1007/s11192-005-0028-2</mixed-citation><mixed-citation xml:lang="en">Simkin M.V., Roychowdhury V.P. Stochastic modeling of citation slips. Scientometrics. 2005;62(3):367– 384. https://doi.org/10.1007/s11192-005-0028-2</mixed-citation></citation-alternatives></ref><ref id="cit59"><label>59</label><citation-alternatives><mixed-citation xml:lang="ru">Kurtz M.J., Bollen J. Usage bibliometrics. Annual Review of Information Science and Technology. 2010;44(1):3–64. https://doi.org/10.1002/aris.2010.1440440108</mixed-citation><mixed-citation xml:lang="en">Kurtz M.J., Bollen J. Usage bibliometrics. Annual Review of Information Science and Technology. 2010;44(1):3–64. https://doi.org/10.1002/aris.2010.1440440108</mixed-citation></citation-alternatives></ref><ref id="cit60"><label>60</label><citation-alternatives><mixed-citation xml:lang="ru">Kurtz M.J., Bollen J. Usage bibliometrics. Annual Review of Information Science and Technology. 2010;44(1):3–64. https://doi.org/10.1002/aris.2010.1440440108</mixed-citation><mixed-citation xml:lang="en">Kurtz M.J., Bollen J. Usage bibliometrics. Annual Review of Information Science and Technology. 2010;44(1):3–64. https://doi.org/10.1002/aris.2010.1440440108</mixed-citation></citation-alternatives></ref><ref id="cit61"><label>61</label><citation-alternatives><mixed-citation xml:lang="ru">Kurtz M.J., Bollen J. Usage bibliometrics. Annual Review of Information Science and Technology. 2010;44(1):3–64. https://doi.org/10.1002/aris.2010.1440440108</mixed-citation><mixed-citation xml:lang="en">Kurtz M.J., Bollen J. Usage bibliometrics. Annual Review of Information Science and Technology. 2010;44(1):3–64. https://doi.org/10.1002/aris.2010.1440440108</mixed-citation></citation-alternatives></ref><ref id="cit62"><label>62</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Reprint requests analysis in documentation (concerning the paper by W.I.B. Onuigbo). International Forum on Information and Documentation. 1986:11(2):40–41. Available at: https://rep.bntu.by/handle/data/25448 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Reprint requests analysis in documentation (concerning the paper by W.I.B. Onuigbo). International Forum on Information and Documentation. 1986:11(2):40–41. Available at: https://rep.bntu.by/handle/data/25448 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit63"><label>63</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Reprint requests analysis in documentation (concerning the paper by W.I.B. Onuigbo). International Forum on Information and Documentation. 1986:11(2):40–41. Available at: https://rep.bntu.by/handle/data/25448 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Reprint requests analysis in documentation (concerning the paper by W.I.B. Onuigbo). International Forum on Information and Documentation. 1986:11(2):40–41. Available at: https://rep.bntu.by/handle/data/25448 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit64"><label>64</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Reprint requests analysis in documentation (concerning the paper by W.I.B. Onuigbo). International Forum on Information and Documentation. 1986:11(2):40–41. Available at: https://rep.bntu.by/handle/data/25448 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Reprint requests analysis in documentation (concerning the paper by W.I.B. Onuigbo). International Forum on Information and Documentation. 1986:11(2):40–41. Available at: https://rep.bntu.by/handle/data/25448 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit65"><label>65</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Readers’ addressing to scientific periodicals as an indicator of the thematic focus of publications. In: Metodologicheskie problemy meditsinskoi informatiki i naukovedeniya: Sbornik nauchnykh trudov. Moscow, “Soyuzmedinform” Research and Production Association et al.; 1989 (In Russ.). Available at: https://rep.bntu.by/handle/data/25434 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Readers’ addressing to scientific periodicals as an indicator of the thematic focus of publications. In: Metodologicheskie problemy meditsinskoi informatiki i naukovedeniya: Sbornik nauchnykh trudov. Moscow, “Soyuzmedinform” Research and Production Association et al.; 1989 (In Russ.). Available at: https://rep.bntu.by/handle/data/25434 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit66"><label>66</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Readers’ addressing to scientific periodicals as an indicator of the thematic focus of publications. In: Metodologicheskie problemy meditsinskoi informatiki i naukovedeniya: Sbornik nauchnykh trudov. Moscow, “Soyuzmedinform” Research and Production Association et al.; 1989 (In Russ.). Available at: https://rep.bntu.by/handle/data/25434 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Readers’ addressing to scientific periodicals as an indicator of the thematic focus of publications. In: Metodologicheskie problemy meditsinskoi informatiki i naukovedeniya: Sbornik nauchnykh trudov. Moscow, “Soyuzmedinform” Research and Production Association et al.; 1989 (In Russ.). Available at: https://rep.bntu.by/handle/data/25434 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit67"><label>67</label><citation-alternatives><mixed-citation xml:lang="ru">Lazarev V.S. Readers’ addressing to scientific periodicals as an indicator of the thematic focus of publications. In: Metodologicheskie problemy meditsinskoi informatiki i naukovedeniya: Sbornik nauchnykh trudov. Moscow, “Soyuzmedinform” Research and Production Association et al.; 1989 (In Russ.). Available at: https://rep.bntu.by/handle/data/25434 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Lazarev V.S. Readers’ addressing to scientific periodicals as an indicator of the thematic focus of publications. In: Metodologicheskie problemy meditsinskoi informatiki i naukovedeniya: Sbornik nauchnykh trudov. Moscow, “Soyuzmedinform” Research and Production Association et al.; 1989 (In Russ.). Available at: https://rep.bntu.by/handle/data/25434 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit68"><label>68</label><citation-alternatives><mixed-citation xml:lang="ru">Scales P.A. Citation analysis as indicator of the use of serials: A comparison of ranked titles lists produced by counting and from the use data. Journal of Documentation. 1977;32:17–25. https://doi.org/10.1108/eb026612</mixed-citation><mixed-citation xml:lang="en">Scales P.A. Citation analysis as indicator of the use of serials: A comparison of ranked titles lists produced by counting and from the use data. Journal of Documentation. 1977;32:17–25. https://doi.org/10.1108/eb026612</mixed-citation></citation-alternatives></ref><ref id="cit69"><label>69</label><citation-alternatives><mixed-citation xml:lang="ru">Scales P.A. Citation analysis as indicator of the use of serials: A comparison of ranked titles lists produced by counting and from the use data. Journal of Documentation. 1977;32:17–25. https://doi.org/10.1108/eb026612</mixed-citation><mixed-citation xml:lang="en">Scales P.A. Citation analysis as indicator of the use of serials: A comparison of ranked titles lists produced by counting and from the use data. Journal of Documentation. 1977;32:17–25. https://doi.org/10.1108/eb026612</mixed-citation></citation-alternatives></ref><ref id="cit70"><label>70</label><citation-alternatives><mixed-citation xml:lang="ru">Scales P.A. Citation analysis as indicator of the use of serials: A comparison of ranked titles lists produced by counting and from the use data. Journal of Documentation. 1977;32:17–25. https://doi.org/10.1108/eb026612</mixed-citation><mixed-citation xml:lang="en">Scales P.A. Citation analysis as indicator of the use of serials: A comparison of ranked titles lists produced by counting and from the use data. Journal of Documentation. 1977;32:17–25. https://doi.org/10.1108/eb026612</mixed-citation></citation-alternatives></ref><ref id="cit71"><label>71</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Why are the impacts of the leading medical journals so similar and yet so different? Item-by-item audits reveal a diversity of editorial material. Current Contents. 1987;(2):7–13.</mixed-citation><mixed-citation xml:lang="en">Garfield E. Why are the impacts of the leading medical journals so similar and yet so different? Item-by-item audits reveal a diversity of editorial material. Current Contents. 1987;(2):7–13.</mixed-citation></citation-alternatives></ref><ref id="cit72"><label>72</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Why are the impacts of the leading medical journals so similar and yet so different? Item-by-item audits reveal a diversity of editorial material. Current Contents. 1987;(2):7–13.</mixed-citation><mixed-citation xml:lang="en">Garfield E. Why are the impacts of the leading medical journals so similar and yet so different? Item-by-item audits reveal a diversity of editorial material. Current Contents. 1987;(2):7–13.</mixed-citation></citation-alternatives></ref><ref id="cit73"><label>73</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Why are the impacts of the leading medical journals so similar and yet so different? Item-by-item audits reveal a diversity of editorial material. Current Contents. 1987;(2):7–13.</mixed-citation><mixed-citation xml:lang="en">Garfield E. Why are the impacts of the leading medical journals so similar and yet so different? Item-by-item audits reveal a diversity of editorial material. Current Contents. 1987;(2):7–13.</mixed-citation></citation-alternatives></ref><ref id="cit74"><label>74</label><citation-alternatives><mixed-citation xml:lang="ru">Nederhof A.J., van Raan A.F.J. Citation theory and the Ortega hypothesis. Scientometrics. 1987;12(5– 6):325–328. https://doi.org/10.1007/BF02016674</mixed-citation><mixed-citation xml:lang="en">Nederhof A.J., van Raan A.F.J. Citation theory and the Ortega hypothesis. Scientometrics. 1987;12(5– 6):325–328. https://doi.org/10.1007/BF02016674</mixed-citation></citation-alternatives></ref><ref id="cit75"><label>75</label><citation-alternatives><mixed-citation xml:lang="ru">Nederhof A.J., van Raan A.F.J. Citation theory and the Ortega hypothesis. Scientometrics. 1987;12(5– 6):325–328. https://doi.org/10.1007/BF02016674</mixed-citation><mixed-citation xml:lang="en">Nederhof A.J., van Raan A.F.J. Citation theory and the Ortega hypothesis. Scientometrics. 1987;12(5– 6):325–328. https://doi.org/10.1007/BF02016674</mixed-citation></citation-alternatives></ref><ref id="cit76"><label>76</label><citation-alternatives><mixed-citation xml:lang="ru">Nederhof A.J., van Raan A.F.J. Citation theory and the Ortega hypothesis. Scientometrics. 1987;12(5– 6):325–328. https://doi.org/10.1007/BF02016674</mixed-citation><mixed-citation xml:lang="en">Nederhof A.J., van Raan A.F.J. Citation theory and the Ortega hypothesis. Scientometrics. 1987;12(5– 6):325–328. https://doi.org/10.1007/BF02016674</mixed-citation></citation-alternatives></ref><ref id="cit77"><label>77</label><citation-alternatives><mixed-citation xml:lang="ru">Liu M. Progress in documentation — the complexities of citation practice: a review of citation studies. Journal of Documentation. 1993;49(4):370–408.</mixed-citation><mixed-citation xml:lang="en">Liu M. Progress in documentation — the complexities of citation practice: a review of citation studies. Journal of Documentation. 1993;49(4):370–408.</mixed-citation></citation-alternatives></ref><ref id="cit78"><label>78</label><citation-alternatives><mixed-citation xml:lang="ru">Liu M. Progress in documentation — the complexities of citation practice: a review of citation studies. Journal of Documentation. 1993;49(4):370–408.</mixed-citation><mixed-citation xml:lang="en">Liu M. Progress in documentation — the complexities of citation practice: a review of citation studies. Journal of Documentation. 1993;49(4):370–408.</mixed-citation></citation-alternatives></ref><ref id="cit79"><label>79</label><citation-alternatives><mixed-citation xml:lang="ru">Liu M. Progress in documentation — the complexities of citation practice: a review of citation studies. Journal of Documentation. 1993;49(4):370–408.</mixed-citation><mixed-citation xml:lang="en">Liu M. Progress in documentation — the complexities of citation practice: a review of citation studies. Journal of Documentation. 1993;49(4):370–408.</mixed-citation></citation-alternatives></ref><ref id="cit80"><label>80</label><citation-alternatives><mixed-citation xml:lang="ru">Merton R.K. The sociology of science: An episodic memoir. In: The sociology of science in Europe. Carbondale: Southern Illinois Univercity Press, 1977. Cited according to [29, page 100].</mixed-citation><mixed-citation xml:lang="en">Merton R.K. The sociology of science: An episodic memoir. In: The sociology of science in Europe. Carbondale: Southern Illinois Univercity Press, 1977. Cited according to [29, page 100].</mixed-citation></citation-alternatives></ref><ref id="cit81"><label>81</label><citation-alternatives><mixed-citation xml:lang="ru">Merton R.K. The sociology of science: An episodic memoir. In: The sociology of science in Europe. Carbondale: Southern Illinois Univercity Press, 1977. Cited according to [29, page 100].</mixed-citation><mixed-citation xml:lang="en">Merton R.K. The sociology of science: An episodic memoir. In: The sociology of science in Europe. Carbondale: Southern Illinois Univercity Press, 1977. Cited according to [29, page 100].</mixed-citation></citation-alternatives></ref><ref id="cit82"><label>82</label><citation-alternatives><mixed-citation xml:lang="ru">Merton R.K. The sociology of science: An episodic memoir. In: The sociology of science in Europe. Carbondale: Southern Illinois Univercity Press, 1977. Cited according to [29, page 100].</mixed-citation><mixed-citation xml:lang="en">Merton R.K. The sociology of science: An episodic memoir. In: The sociology of science in Europe. Carbondale: Southern Illinois Univercity Press, 1977. Cited according to [29, page 100].</mixed-citation></citation-alternatives></ref><ref id="cit83"><label>83</label><citation-alternatives><mixed-citation xml:lang="ru">Bredikhin S.V., Kuznetsov A.Yu., Shcherbakova N.G. Citation analysis in bibliometrics. Novosibirsk: Institute of Computational Mathematics and Mathematical Geophysics of the Siberian Branch of the Russian Academy of Sciences et al., 2013 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Bredikhin S.V., Kuznetsov A.Yu., Shcherbakova N.G. Citation analysis in bibliometrics. Novosibirsk: Institute of Computational Mathematics and Mathematical Geophysics of the Siberian Branch of the Russian Academy of Sciences et al., 2013 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit84"><label>84</label><citation-alternatives><mixed-citation xml:lang="ru">Bredikhin S.V., Kuznetsov A.Yu., Shcherbakova N.G. Citation analysis in bibliometrics. Novosibirsk: Institute of Computational Mathematics and Mathematical Geophysics of the Siberian Branch of the Russian Academy of Sciences et al., 2013 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Bredikhin S.V., Kuznetsov A.Yu., Shcherbakova N.G. Citation analysis in bibliometrics. Novosibirsk: Institute of Computational Mathematics and Mathematical Geophysics of the Siberian Branch of the Russian Academy of Sciences et al., 2013 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit85"><label>85</label><citation-alternatives><mixed-citation xml:lang="ru">Bredikhin S.V., Kuznetsov A.Yu., Shcherbakova N.G. Citation analysis in bibliometrics. Novosibirsk: Institute of Computational Mathematics and Mathematical Geophysics of the Siberian Branch of the Russian Academy of Sciences et al., 2013 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Bredikhin S.V., Kuznetsov A.Yu., Shcherbakova N.G. Citation analysis in bibliometrics. Novosibirsk: Institute of Computational Mathematics and Mathematical Geophysics of the Siberian Branch of the Russian Academy of Sciences et al., 2013 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit86"><label>86</label><citation-alternatives><mixed-citation xml:lang="ru">Dictionary of informatics terms. Moscow: International Centre for Scientific and Technical Information, 1975 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Dictionary of informatics terms. Moscow: International Centre for Scientific and Technical Information, 1975 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit87"><label>87</label><citation-alternatives><mixed-citation xml:lang="ru">Dictionary of informatics terms. Moscow: International Centre for Scientific and Technical Information, 1975 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Dictionary of informatics terms. Moscow: International Centre for Scientific and Technical Information, 1975 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit88"><label>88</label><citation-alternatives><mixed-citation xml:lang="ru">Dictionary of informatics terms. Moscow: International Centre for Scientific and Technical Information, 1975 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Dictionary of informatics terms. Moscow: International Centre for Scientific and Technical Information, 1975 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit89"><label>89</label><citation-alternatives><mixed-citation xml:lang="ru">Zozulich M.F., Vendeleva M.A. Specific features of enterprise information resources management. In: Ekonomika i effektivnost’ organizatsii proizvodstva: sbornik nauchnykh trudov po itogam Mezhdunarodnoi nauchno-tekhnicheskoi konferentsii. Issue 9. Bryansk: BSITA, 2008 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Zozulich M.F., Vendeleva M.A. Specific features of enterprise information resources management. In: Ekonomika i effektivnost’ organizatsii proizvodstva: sbornik nauchnykh trudov po itogam Mezhdunarodnoi nauchno-tekhnicheskoi konferentsii. Issue 9. Bryansk: BSITA, 2008 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit90"><label>90</label><citation-alternatives><mixed-citation xml:lang="ru">Zozulich M.F., Vendeleva M.A. Specific features of enterprise information resources management. In: Ekonomika i effektivnost’ organizatsii proizvodstva: sbornik nauchnykh trudov po itogam Mezhdunarodnoi nauchno-tekhnicheskoi konferentsii. Issue 9. Bryansk: BSITA, 2008 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Zozulich M.F., Vendeleva M.A. Specific features of enterprise information resources management. In: Ekonomika i effektivnost’ organizatsii proizvodstva: sbornik nauchnykh trudov po itogam Mezhdunarodnoi nauchno-tekhnicheskoi konferentsii. Issue 9. Bryansk: BSITA, 2008 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit91"><label>91</label><citation-alternatives><mixed-citation xml:lang="ru">Zozulich M.F., Vendeleva M.A. Specific features of enterprise information resources management. In: Ekonomika i effektivnost’ organizatsii proizvodstva: sbornik nauchnykh trudov po itogam Mezhdunarodnoi nauchno-tekhnicheskoi konferentsii. Issue 9. Bryansk: BSITA, 2008 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Zozulich M.F., Vendeleva M.A. Specific features of enterprise information resources management. In: Ekonomika i effektivnost’ organizatsii proizvodstva: sbornik nauchnykh trudov po itogam Mezhdunarodnoi nauchno-tekhnicheskoi konferentsii. Issue 9. Bryansk: BSITA, 2008 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit92"><label>92</label><citation-alternatives><mixed-citation xml:lang="ru">Minkina V.A. The study of documentary flows to determine the value properties of technical literature. In: Trudy Leningradskogo gosudarstvennogo instituta kul’tury. V. 76: The documentary flows on natural Sciences and engineering and problems bibliography. Leningrad, 1983 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Minkina V.A. The study of documentary flows to determine the value properties of technical literature. In: Trudy Leningradskogo gosudarstvennogo instituta kul’tury. V. 76: The documentary flows on natural Sciences and engineering and problems bibliography. Leningrad, 1983 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit93"><label>93</label><citation-alternatives><mixed-citation xml:lang="ru">Minkina V.A. The study of documentary flows to determine the value properties of technical literature. In: Trudy Leningradskogo gosudarstvennogo instituta kul’tury. V. 76: The documentary flows on natural Sciences and engineering and problems bibliography. Leningrad, 1983 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Minkina V.A. The study of documentary flows to determine the value properties of technical literature. In: Trudy Leningradskogo gosudarstvennogo instituta kul’tury. V. 76: The documentary flows on natural Sciences and engineering and problems bibliography. Leningrad, 1983 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit94"><label>94</label><citation-alternatives><mixed-citation xml:lang="ru">Minkina V.A. The study of documentary flows to determine the value properties of technical literature. In: Trudy Leningradskogo gosudarstvennogo instituta kul’tury. V. 76: The documentary flows on natural Sciences and engineering and problems bibliography. Leningrad, 1983 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Minkina V.A. The study of documentary flows to determine the value properties of technical literature. In: Trudy Leningradskogo gosudarstvennogo instituta kul’tury. V. 76: The documentary flows on natural Sciences and engineering and problems bibliography. Leningrad, 1983 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit95"><label>95</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Quality of impact factor of general medical journals — PRADVA wins hands down. British Medical Journal. 2003;326(7383):283. https://doi.org/10.1136/bmj.326.7383.283</mixed-citation><mixed-citation xml:lang="en">Garfield E. Quality of impact factor of general medical journals — PRADVA wins hands down. British Medical Journal. 2003;326(7383):283. https://doi.org/10.1136/bmj.326.7383.283</mixed-citation></citation-alternatives></ref><ref id="cit96"><label>96</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Quality of impact factor of general medical journals — PRADVA wins hands down. British Medical Journal. 2003;326(7383):283. https://doi.org/10.1136/bmj.326.7383.283</mixed-citation><mixed-citation xml:lang="en">Garfield E. Quality of impact factor of general medical journals — PRADVA wins hands down. British Medical Journal. 2003;326(7383):283. https://doi.org/10.1136/bmj.326.7383.283</mixed-citation></citation-alternatives></ref><ref id="cit97"><label>97</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Quality of impact factor of general medical journals — PRADVA wins hands down. British Medical Journal. 2003;326(7383):283. https://doi.org/10.1136/bmj.326.7383.283</mixed-citation><mixed-citation xml:lang="en">Garfield E. Quality of impact factor of general medical journals — PRADVA wins hands down. British Medical Journal. 2003;326(7383):283. https://doi.org/10.1136/bmj.326.7383.283</mixed-citation></citation-alternatives></ref><ref id="cit98"><label>98</label><citation-alternatives><mixed-citation xml:lang="ru">Tahamtan I., Afshar A.S.K., Ahamdzadeh K. Factors affecting number of citations: a comprehensive review of the literature. Scientometrics. 2016;107(3):1195–1225. https://doi.org/10.1007/s11192-016-1889-2</mixed-citation><mixed-citation xml:lang="en">Tahamtan I., Afshar A.S.K., Ahamdzadeh K. Factors affecting number of citations: a comprehensive review of the literature. Scientometrics. 2016;107(3):1195–1225. https://doi.org/10.1007/s11192-016-1889-2</mixed-citation></citation-alternatives></ref><ref id="cit99"><label>99</label><citation-alternatives><mixed-citation xml:lang="ru">Tahamtan I., Afshar A.S.K., Ahamdzadeh K. Factors affecting number of citations: a comprehensive review of the literature. Scientometrics. 2016;107(3):1195–1225. https://doi.org/10.1007/s11192-016-1889-2</mixed-citation><mixed-citation xml:lang="en">Tahamtan I., Afshar A.S.K., Ahamdzadeh K. Factors affecting number of citations: a comprehensive review of the literature. Scientometrics. 2016;107(3):1195–1225. https://doi.org/10.1007/s11192-016-1889-2</mixed-citation></citation-alternatives></ref><ref id="cit100"><label>100</label><citation-alternatives><mixed-citation xml:lang="ru">Tahamtan I., Afshar A.S.K., Ahamdzadeh K. Factors affecting number of citations: a comprehensive review of the literature. Scientometrics. 2016;107(3):1195–1225. https://doi.org/10.1007/s11192-016-1889-2</mixed-citation><mixed-citation xml:lang="en">Tahamtan I., Afshar A.S.K., Ahamdzadeh K. Factors affecting number of citations: a comprehensive review of the literature. Scientometrics. 2016;107(3):1195–1225. https://doi.org/10.1007/s11192-016-1889-2</mixed-citation></citation-alternatives></ref><ref id="cit101"><label>101</label><citation-alternatives><mixed-citation xml:lang="ru">Hamid R. Jamali H.R., Nikzad M. Article title type and its relation with the number of downloads and citations. Scientometrics. 2011;88(2):653–661. https://doi.org/10.1007/s11192-011-0412-z</mixed-citation><mixed-citation xml:lang="en">Hamid R. Jamali H.R., Nikzad M. Article title type and its relation with the number of downloads and citations. Scientometrics. 2011;88(2):653–661. https://doi.org/10.1007/s11192-011-0412-z</mixed-citation></citation-alternatives></ref><ref id="cit102"><label>102</label><citation-alternatives><mixed-citation xml:lang="ru">Hamid R. Jamali H.R., Nikzad M. Article title type and its relation with the number of downloads and citations. Scientometrics. 2011;88(2):653–661. https://doi.org/10.1007/s11192-011-0412-z</mixed-citation><mixed-citation xml:lang="en">Hamid R. Jamali H.R., Nikzad M. Article title type and its relation with the number of downloads and citations. Scientometrics. 2011;88(2):653–661. https://doi.org/10.1007/s11192-011-0412-z</mixed-citation></citation-alternatives></ref><ref id="cit103"><label>103</label><citation-alternatives><mixed-citation xml:lang="ru">Hamid R. Jamali H.R., Nikzad M. Article title type and its relation with the number of downloads and citations. Scientometrics. 2011;88(2):653–661. https://doi.org/10.1007/s11192-011-0412-z</mixed-citation><mixed-citation xml:lang="en">Hamid R. Jamali H.R., Nikzad M. Article title type and its relation with the number of downloads and citations. Scientometrics. 2011;88(2):653–661. https://doi.org/10.1007/s11192-011-0412-z</mixed-citation></citation-alternatives></ref><ref id="cit104"><label>104</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Is citation analysis a legitimate evaluation tool? Scientometrics. 1979;1(4):359–375.</mixed-citation><mixed-citation xml:lang="en">Garfield E. Is citation analysis a legitimate evaluation tool? Scientometrics. 1979;1(4):359–375.</mixed-citation></citation-alternatives></ref><ref id="cit105"><label>105</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Is citation analysis a legitimate evaluation tool? Scientometrics. 1979;1(4):359–375.</mixed-citation><mixed-citation xml:lang="en">Garfield E. Is citation analysis a legitimate evaluation tool? Scientometrics. 1979;1(4):359–375.</mixed-citation></citation-alternatives></ref><ref id="cit106"><label>106</label><citation-alternatives><mixed-citation xml:lang="ru">Garfield E. Is citation analysis a legitimate evaluation tool? Scientometrics. 1979;1(4):359–375.</mixed-citation><mixed-citation xml:lang="en">Garfield E. Is citation analysis a legitimate evaluation tool? Scientometrics. 1979;1(4):359–375.</mixed-citation></citation-alternatives></ref><ref id="cit107"><label>107</label><citation-alternatives><mixed-citation xml:lang="ru">Gove Ph.B. (ed.-in-chief) Webster’s Third New International Dictionary of the English Language. Unabridged. Utilizing All the Experience and Resources of More than One Hundred Years of Merriam-Webster Dictionaries. Cologne: Köneman, 1993. 2663 p.</mixed-citation><mixed-citation xml:lang="en">Gove Ph.B. (ed.-in-chief) Webster’s Third New International Dictionary of the English Language. Unabridged. Utilizing All the Experience and Resources of More than One Hundred Years of Merriam-Webster Dictionaries. Cologne: Köneman, 1993. 2663 p.</mixed-citation></citation-alternatives></ref><ref id="cit108"><label>108</label><citation-alternatives><mixed-citation xml:lang="ru">Gove Ph.B. (ed.-in-chief) Webster’s Third New International Dictionary of the English Language. Unabridged. Utilizing All the Experience and Resources of More than One Hundred Years of Merriam-Webster Dictionaries. Cologne: Köneman, 1993. 2663 p.</mixed-citation><mixed-citation xml:lang="en">Gove Ph.B. (ed.-in-chief) Webster’s Third New International Dictionary of the English Language. Unabridged. Utilizing All the Experience and Resources of More than One Hundred Years of Merriam-Webster Dictionaries. Cologne: Köneman, 1993. 2663 p.</mixed-citation></citation-alternatives></ref><ref id="cit109"><label>109</label><citation-alternatives><mixed-citation xml:lang="ru">Gove Ph.B. (ed.-in-chief) Webster’s Third New International Dictionary of the English Language. Unabridged. Utilizing All the Experience and Resources of More than One Hundred Years of Merriam-Webster Dictionaries. Cologne: Köneman, 1993. 2663 p.</mixed-citation><mixed-citation xml:lang="en">Gove Ph.B. (ed.-in-chief) Webster’s Third New International Dictionary of the English Language. Unabridged. Utilizing All the Experience and Resources of More than One Hundred Years of Merriam-Webster Dictionaries. Cologne: Köneman, 1993. 2663 p.</mixed-citation></citation-alternatives></ref><ref id="cit110"><label>110</label><citation-alternatives><mixed-citation xml:lang="ru">Quality management system. Basic provisions and vocabulary. STB ISO 9000-2015 (ISO 9000:2015, IDT). — Instead of STB ISO 9000-2006; introduced 2016-03-01. Minsk: Gosstandart Publ. et al., 2015 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Quality management system. Basic provisions and vocabulary. STB ISO 9000-2015 (ISO 9000:2015, IDT). — Instead of STB ISO 9000-2006; introduced 2016-03-01. Minsk: Gosstandart Publ. et al., 2015 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit111"><label>111</label><citation-alternatives><mixed-citation xml:lang="ru">Quality management system. Basic provisions and vocabulary. STB ISO 9000-2015 (ISO 9000:2015, IDT). — Instead of STB ISO 9000-2006; introduced 2016-03-01. Minsk: Gosstandart Publ. et al., 2015 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Quality management system. Basic provisions and vocabulary. STB ISO 9000-2015 (ISO 9000:2015, IDT). — Instead of STB ISO 9000-2006; introduced 2016-03-01. Minsk: Gosstandart Publ. et al., 2015 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit112"><label>112</label><citation-alternatives><mixed-citation xml:lang="ru">Quality management system. Basic provisions and vocabulary. STB ISO 9000-2015 (ISO 9000:2015, IDT). — Instead of STB ISO 9000-2006; introduced 2016-03-01. Minsk: Gosstandart Publ. et al., 2015 (In Russ.).</mixed-citation><mixed-citation xml:lang="en">Quality management system. Basic provisions and vocabulary. STB ISO 9000-2015 (ISO 9000:2015, IDT). — Instead of STB ISO 9000-2006; introduced 2016-03-01. Minsk: Gosstandart Publ. et al., 2015 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit113"><label>113</label><citation-alternatives><mixed-citation xml:lang="ru">Quality management system. Basic provisions and vocabulary (Amended) GOST R ISO 9000-2015 (National Standard of the Russian Federation) (In Russ.). Available at: http://docs.cntd.ru/document/1200124393 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Quality management system. Basic provisions and vocabulary (Amended) GOST R ISO 9000-2015 (National Standard of the Russian Federation) (In Russ.). Available at: http://docs.cntd.ru/document/1200124393 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit114"><label>114</label><citation-alternatives><mixed-citation xml:lang="ru">Quality management system. Basic provisions and vocabulary (Amended) GOST R ISO 9000-2015 (National Standard of the Russian Federation) (In Russ.). Available at: http://docs.cntd.ru/document/1200124393 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Quality management system. Basic provisions and vocabulary (Amended) GOST R ISO 9000-2015 (National Standard of the Russian Federation) (In Russ.). Available at: http://docs.cntd.ru/document/1200124393 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit115"><label>115</label><citation-alternatives><mixed-citation xml:lang="ru">Quality management system. Basic provisions and vocabulary (Amended) GOST R ISO 9000-2015 (National Standard of the Russian Federation) (In Russ.). Available at: http://docs.cntd.ru/document/1200124393 (accessed 13 December 2018).</mixed-citation><mixed-citation xml:lang="en">Quality management system. Basic provisions and vocabulary (Amended) GOST R ISO 9000-2015 (National Standard of the Russian Federation) (In Russ.). Available at: http://docs.cntd.ru/document/1200124393 (accessed 13 December 2018).</mixed-citation></citation-alternatives></ref><ref id="cit116"><label>116</label><citation-alternatives><mixed-citation xml:lang="ru">Thelwall M. Not dead, just resting: The practical value of per publications citation indicators. Journal of Informetrics. 2016;10(2):667–670.</mixed-citation><mixed-citation xml:lang="en">Thelwall M. Not dead, just resting: The practical value of per publications citation indicators. Journal of Informetrics. 2016;10(2):667–670.</mixed-citation></citation-alternatives></ref><ref id="cit117"><label>117</label><citation-alternatives><mixed-citation xml:lang="ru">Thelwall M. Not dead, just resting: The practical value of per publications citation indicators. Journal of Informetrics. 2016;10(2):667–670.</mixed-citation><mixed-citation xml:lang="en">Thelwall M. Not dead, just resting: The practical value of per publications citation indicators. Journal of Informetrics. 2016;10(2):667–670.</mixed-citation></citation-alternatives></ref><ref id="cit118"><label>118</label><citation-alternatives><mixed-citation xml:lang="ru">Thelwall M. Not dead, just resting: The practical value of per publications citation indicators. Journal of Informetrics. 2016;10(2):667–670.</mixed-citation><mixed-citation xml:lang="en">Thelwall M. Not dead, just resting: The practical value of per publications citation indicators. Journal of Informetrics. 2016;10(2):667–670.</mixed-citation></citation-alternatives></ref><ref id="cit119"><label>119</label><citation-alternatives><mixed-citation xml:lang="ru">Martin B.R., Irvine J. Assessing basic research. Some partial indicators of scientific progress in radio astronomy. Research Policy. 1983;12(2):61–90.</mixed-citation><mixed-citation xml:lang="en">Martin B.R., Irvine J. Assessing basic research. Some partial indicators of scientific progress in radio astronomy. Research Policy. 1983;12(2):61–90.</mixed-citation></citation-alternatives></ref><ref id="cit120"><label>120</label><citation-alternatives><mixed-citation xml:lang="ru">Martin B.R., Irvine J. Assessing basic research. Some partial indicators of scientific progress in radio astronomy. Research Policy. 1983;12(2):61–90.</mixed-citation><mixed-citation xml:lang="en">Martin B.R., Irvine J. Assessing basic research. Some partial indicators of scientific progress in radio astronomy. Research Policy. 1983;12(2):61–90.</mixed-citation></citation-alternatives></ref><ref id="cit121"><label>121</label><citation-alternatives><mixed-citation xml:lang="ru">Martin B.R., Irvine J. Assessing basic research. Some partial indicators of scientific progress in radio astronomy. Research Policy. 1983;12(2):61–90.</mixed-citation><mixed-citation xml:lang="en">Martin B.R., Irvine J. Assessing basic research. Some partial indicators of scientific progress in radio astronomy. Research Policy. 1983;12(2):61–90.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
