Approaches to the analysis of disability dynamics due to blood circulation system illnesses in Ukraine

Abstract

The statistical data analysis of morbidity, prevalence and disability as a result of the blood circulation system illnesses for 2003-2012 years is presented. It is indicated on the necessity of the new methodological approach development for the analysis of morbidity, prevalence and disability of adult and capable of working population of Ukraine, which would allow not only to estimate the percent of changes of these indexes in relation to the last year, relative risk of their increase, but also to forecast the possible tendencies of their changes on short or longer period, which will give possibility to develop purposeful measures for prevention of their increase in future.

Full Text

Основные показатели инвалидности населения в настоящее время в Украине обусловлены ростом заболеваемости, ухудшением социально-экономических условий жизни и экологической ситуации, уменьшением доступности и качества медицинской помощи. Изменения числа инвалидов происходит на фоне сокращения численности населения и его старения. В связи с этим инвалидность населения является одной из приоритетных проблем государства и общества [1-3]. Регистрация показателей инвалидности осуществляется во время мониторинга специальными органами здравоохранения. Фиксируются, как правило, ежегодные значения показателей; в результате накапливаются ряды динамики, которые характеризуют изменение инвалидности во времени [4-6]. В Украине такой мониторинг проводится Государственным учреждением «Украинский Государственный научноисследовательский институт медико-социальных проблем инвалидности МЗО Украины» и отделом медико-социальной экспертизы и проблем инвалидности МЗО Украины. Во время мониторинга фиксируется ежегодная первичная инвалидность в разрезе административных территорий Украины, ее распре- Для корреспонденции: Дроздова Ирина Владимировна - д-р мед. наук, гл. науч. сотр. отд. кардиологии; 40027, Украина, г. Днепропетровск, пер. Советский, д. 1а; e-mail: drozdova@ua.fm. деление по классам болезней, возрасту, группе и причинам инвалидности. В 2010 г. в Украине в системе медико-социальной экспертизы была внедрена компьютерная программа по заполнению статистической формы «Отчет о причинах инвалидности, показания к медицинской, профессиональной и социальной реабилитации», которая используется Государственным учреждением «Украинский Государственный научно-исследовательский институт медико-социальных проблем инвалидности МЗО Украины» и отделом медико-социальной экспертизы и проблем инвалидности МЗО Украины для издания аналитико-информационного справочника «Основные показатели инвалидности и деятельности медико-социальных экспертных комиссий Украины за 2011 год» [2]. Аналитико-информационные справочники, выданные с 2003 по 2012 г., содержат анализ основных показателей первичной инвалидности, детальную оценку динамики показателей инвалидности вследствие основных инвалидизирующих патологий: болезней системы кровообращения; болезней артерий, артериол и вен; новообразований и рака молочной железы; заболеваний органов дыхания, эндокринной системы, кроветворных органов; болезней органов пищеварения и мочеполовой системы; травм и заболеваний костно-мышечной и соединительной ткани; неврологической патологии ЭПИДЕМИОЛОГИЯ И СТАТИСТИКА ИНВАЛИДНОСТИ и органов зрения; расстройств психики, поведения и эпилепсии [2]. Проводимый анализ показателей первичной инвалидности предусматривает вычисление средних значений показателей за определенные годы, оценивание процента изменений относительно прошлого года и относительного риска их роста [2, 6]. Однако применяемый арсенал методов не может обеспечить качественного и всестороннего анализа динамики инвалидности. В результате имеющийся подход к анализу инвалидности не отвечает современным социально-экономическим требованиям и существующему статусу медико-социальной службы в Украине. Успех и темп современного реформирования отрасли зависят от обоснованности, взвешенности, адаптированной к существующим «реалиям» шагов ее осуществления, согласованности действий органов медико-социальной экспертизы всех уровней, подготовленности и мотивации руководителей заведений медико-социальной экспертизы, а также разработки и внедрения современных информационных технологий [4, 5, 7, 8]. Одной из актуальных задач в современном информационном обеспечении мониторинга является усовершенствование подходов к анализу динамики инвалидности. Его решение послужит основой для улучшения организационно-методической работы службы медико-социальной экспертизы и разработки целенаправленных мероприятий по профилактике и снижению инвалидности. Цель работы - разработать новые подходы к анализу первичной инвалидности в результате болезней системы кровообращения в Украине. Материал и методы Анализ заболеваемости и распространенности болезней системы кровообращения проведен по данным аналитически-статистического пособия «Региональные особенности уровня здоровья народа Украины», изданного Национальным научным центром «Институт кардиологии имени акад. Н. Д. Стражеско» НАМН Украины [1, 3, 9]. Анализ динамики инвалидности проводился на основе данных аналитико-информационного справочника «Основные показатели инвалидности и деятельности медико-социальных экспертных комиссий Украины за ... год» [2, 4, 5]. В предыдущих наших работах был представлен детальный анализ дефиниции «инвалидности», показана ее роль и место в оценке общественного здоровья населения, описаны основные показатели, характеризующие инвалидность, и предложены подходы к анализу динамики инвалидности [4, 5]. В основу предложенных подходов была положена вычислительная технология разбиения административных территорий Украины по уровням первичной инвалидности, реализованная в программном обеспечении «MedISA» и вычислительная технология прогнозирования первичной инвалидности, реализованная в программном обеспечении «DisStat». При разработке данных подходов были предложены новые термины и использованы такие определения: «Уровни инвалидности» - диапазоны изменения значений показателя инвалидности, соответствующие низким, высоким и средним значениям показателя; «Скрытая» инвалидность = показатель точечного прогноза на текущий год - фактический показатель за текущий год; «Относительный риск» = Показатель инвалидности в области в текущем году/Показатель инвалидности в Украине в текущем году; «Точечный прогноз» - прогноз, результат которого представлен единственным значением показателя инвалидности; «Интервальный прогноз» - прогноз, результат которого представлен в виде доверительного интервала значений показателя инвалидности для заданой вероятности осуществления прогноза. Первый из предложенных подходов к анализу первичной инвалидности обеспечивает выделение административных территорий Украины, которые нуждаются в первоочередном внимании и мерах по снижению инвалидности. С этой целью административные территории разбиваются на 3 группы, для каждой их которых определяются границы, соответствующие низкому, среднему и высокому уровням инвалидности. Нужно заметить, что каждый год эти уровни могут меняться, поэтому перспективным является выделение уровней с учетом изменчивости показателей инвалидности во времени. Разработанная вычислительная технология разбиения административных территорий по уровням первичной инвалидности содержит такие этапы: 1. Разбиение административных территорий Украины на 3 группы, которые соответствуют низкому, среднему и высокому уровням инвалидности. Разбиение проводится методами кластерного анализа. Применяются иерархические методы одиночной связи (ближнего соседа), полной связи (дальнего соседа), средней связи и Варда, итерационный метод ^-средних в вариантах Болла-Холла и Мак-Кина [10]. 2. Выбор наилучшего разбиения. На этом этапе проводится оценка качества каждого полученного разбиения на основе функционалов качества [10], после чего методами экспертных оценок [11] выбирается разбиение, которое обеспечивает наилучшее распределение административных территорий по кластерам. 3. Анализ и интерпретация полученного разбиения. С этой целью в рамках каждого кластера вычис-ляютсяMh ± mh, h = 1, 2, 3, где м =]_ ух- среднее значение показателя h ^ i nh x.eSh инвалидности в кластере Sh; nh - количество административных территорий, попавших в h-й кластер; mL - среднеквадратичное отклонение среднего; °h = 1-Ы (X, - M„f. "h x,eSh 4. Определение границ для уровней инвалидности сводится к построению интервалов вида Mh - ^ ,2voh; Mh+ t1-a/2voh, где t1-a/2v - квантиль распределения Стью-дента; a- вероятность ошибки первого роду (например, a = 1); v = nh - 1. -(31 Медико-социальная экспертиза и реабилитация, № 2, 2014 5. Визуализация полученного разбиения и уровней инвалидности проводится путем построения карты Украины, на которой административные территории помечаются цветом в соответствии с уровнем инвалидности. Второй подход обеспечивает анализ тенденции развития первичной инвалидности, решение наиболее актуальной сегодня задачи - задачи прогнозирования, а также возможность оценки «скрытой» инвалидности. В рамках этого подхода разработана вычислительная технология прогнозирования первичной инвалидности по рядам динамики вида: {x; t = i,n}, где xt - значение первичной инвалидности вследствие патологии х, зафиксированное в t-м году на определенной административной территории или в целом в Украине; n - количество лет, на протяжении которых проводился мониторинг инвалидности. В результате анализа функционирования мониторинга инвалидности в Украине было установлено, что прогнозирование должно проводиться по коротким рядам динамики. В связи с этим для построения вычислительной технологии были выбраны адаптивные методы краткосрочного прогнозирования [12]. Предусмотрено комплексное применение нескольких адаптивных моделей и выбор лучшей модели. Вычислительная технология содержит четыре основных этапа: 1. Предварительное исследование ряда динамики. Данный этап является основой для выбора и обоснования модели прогнозирования. На данном этапе ряд динамики проверяется на случайность [13] и в случае, если отвергнута гипотеза о случайности в пользу альтернативной гипотезы о наличии тренда, проводится восстановление тренда ряда [14]. Для проверки ряда на случайность предлагается использовать критерии Спирмена, Манна, Фостера-Стюарта и на основе знаков разностей, которые являются более мощными при альтернативе о наличии тренда, а также критерий экстремальных точек, который обеспечивает проверку главной гипотезы при альтернативе относительно наличия цикличности в ряде [13]. 2. Настройка параметров модели прогнозирования. Значения параметров модели изменяются с определенным шагом (например, с шагом 0,01), и при каждом варианте значений параметров проводится прогнозирование. Наилучшие значения параметров выбираются на основе наименьшей средней, среднеквадратичной или максимальной абсолютной/относительной ошибки прогнозирования или по результатам множественного анализа [11]. 3. Прогнозирование первичной инвалидности по всем адаптивным моделям. Применяются 9 моделей [12], каждая из которых определяется типом тенденции в ряде динамики (отсутствует - А, линейная - В, экспоненциальная - С) и наличием циклических колебаний (отсутствуют - 1, аддитивные - 2 или мультипликативные - 3). 4. Принятие решения относительно наиболее адекватной модели прогнозирования осуществляется одним из трех способов: • По результатам предварительного исследования ряда динамики (первый этап) выбирается адаптивная модель без тренда (А), если с помощью критериев Спирмена, Манна, Фостера-Стюарта и на основе знаков разностей была принята главная гипотеза о случайности ряда. В противном случае, если дальнейшие исследования показали, что наиболее адекватным является линейный тренд, то выбирается модель линейного роста (В), иначе предпочтение отдается модели с экспоненциальным ростом (С). В случае принятия главной гипотезы о случайности ряда с помощью критерия экстремальных точек выбирается модель без сезонности (1), иначе - с сезонностью (2 или 3). Выбор между аддитивным и мультипликативным сезонными эффектами может быть сделан путем визуального анализа ряда динамики. • Выбирается модель с наименьшей средней, среднеквадратичной или максимальной абсолютной/относительной ошибкой прогнозирования. • Выбирается наиболее адекватная модель на основе множественного анализа [11], в котором при выборе лучшей модели учитываются все виды ошибок прогнозирования. При применении множественного анализа альтернативами выступают модели прогнозирования, а экспертами - ошибки прогнозирования. Результаты и обсуждение В Украине, по данным Национального научного центра «Институт кардиологии имени акад. Н. Д. Стражеско» НАМН Украины, в 2011 г. число лиц с выявленными заболеваниями сердечно-сосудистой системы (ССЗ) достигло 26,1 млн, т. е. 57,5% населения, из них трудоспособного - 9,6 млн. С 2007 по 2011 г. их численность возросла на 1 592 525 лиц (+7,4%), заболеваемость уменьшилась на 100 980 лиц (-3,4%). Среди всего населения распространенность и заболеваемость вследствие ССЗ в структуре всех болезней составляла 31,0 и 7,2%, среди населения пенсионного возраста - 52,0 и 19,7% соответственно [1, 3, 9]. Уровень распространенности и заболеваемости вследствие ССЗ имеет заметные колебания в разных регионах, что связано с наличием факторов риска и социально-демографическими показателями. Распространенность ССЗ среди всего населения Украины в 2011 г. составила 57 967,2 на 100 тыс. населения (в Севастополе - 71 837,2, Полтавской области -66 906,4, Львовской области - 44 151,3 и Ровенской области - 47 399,6 на 100 тыс. населения). Средний показатель заболеваемости составляет 5145,2, в то время как в Харьковской области - 8495,5 (выше на 65,1%), в Запорожской области- 3086,2 (меньше на 40,0%), в Севастополе - 2715,5 (меньше на 47,0%). Показатель распространенности ССЗ среди всего населения за последний год вырос на 1,3%, а заболеваемости незначительно уменьшился. Только в Хмельницкой области наблюдался значительный рост распространенности данной патологи (на 7,7%) [1]. Если рассматривать более длительный промежуток времени, то анализ динамики распространенности и заболеваемости ССЗ в регионах Украины среди взрослого населения за 1985-2011 гг. показал, что показатель распространенности возрастал в те- ЭПИДЕМИОЛОГИЯ И СТАТИСТИКА ИНВАЛИДНОСТИ чение всего исследуемого периода; больше всего в Центральном (Винницкая, Житомирская, Киевская, Кировоградская, Хмельницкая, Черкасская области) и Юго-восточном (Днепропетровская, Донецкая, Запорожская, Луганская, Харьковская области) регионах. Рост показателя заболеваемости наблюдался до 2010 г., а потом происходило его уменьшение; наивысших значений он достиг в Южном (АР Крым, Николаевская, Одесская, Херсонская области) и ЮжноВосточном регионах [1, 3, 9]. Полученные нами данные по Украине в период с 2003 по 2012 г. свидетельствуют о том, что показатель первичной инвалидности взрослого населения вследствие ССЗ за последнее десятилетие в среднем составлял 11,6 на 10 тыс. населения, однако в 2012 г. в сравнении с 2003 г. он снизился на 17,1% и сегодня достигает 11,7 на 10 тыс. населения. Высшие ранговые места по уровню первичной инвалидности вследствие данной патологи среди взрослого населения за указанный период занимали Севастополь (16,6), Киев (16,2), Николаевская область (15,8); низшие - Закарпатская (8,2), Херсонская (8,8), Сумская (9,1 на 10 тыс. населения) области. Существенное возрастание этого показателя за десятилетие наблюдалось в Полтавской (28,4%), Запорожской (26,4%), Закарпатской (16,7%) областях; снижение - в АР Крым (44,6%), Севастополе (41,0%) и Киеве (40,9%). По данным статистической отчетности, в 2012 г. высшие ранговые места по уровню первичной инвалидности вследствие ССЗ среди взрослого населения занимали Винницкая (15,0), Полтавская (14,0), Запорожская (13,4) области; низшие - Донецкая (7,7), Херсонская (7,9), Закарпатская (8,4 на 10 тыс. населения) области. Наибольшей «скрытая» инвалидность была в Киевском, Винницком, Черкасском и Хмельницком регионах, несколько меньшей - в Волынском, Донецком, Закарпатском, Луганском, Сумском регионах, Киеве и Севастополе. Высокий уровень инвалидности (выше 11,8 на 10 тыс. населения) определялся в Винницкой, Запорожской, Львовской, Николаевской, Одесской, Полтавской, Ро-венской, Черновицкой, Черниговской областях, Киеве и Севастополе; низкий уровень (ниже 9,5 на 10 тыс. населения) - в АР Крым, Волынском, Днепропетровском, Донецком, Закарпатском, Ивано-Франковском, Сумском, Тернопольском, Херсонском регионах. Относительный риск возрастания первичной инвалидности взрослого населения вследствие ССЗ в 2012 г. был высоким в Винницкой, Полтавской, Запорожской, Киевской, Львовской, Николаевской, Одесской, Черновицкой, Черниговской областях, Киеве и Севастополе. Применение адаптивных методов краткосрочного прогнозирования показало, что в будущем возможно возрастание значений показателя первичной инвалидности взрослого населения вследствие данной патологии в Волынском, Донецком, Житомирском, Закарпатском, Киевском, Николаевском, Одесском, Тернопольском, Черкасском, Черновицком, Черниговском регионах; наивысшие ранговые места будут занимать Севастополь (17,5), Черновицкая (14,1), Одесская (13,7 на 10 тыс. населения) области. Снижение этого показателя будет отмечаться как в целом по Украине, так и в оставшихся регионах; низшие места будут принадлежать АР Крым (7.4), Херсонской (7,0), Сумской (7,7) и Донецкой (7,8 на 10 тыс. населения) областям. Показатель первичной инвалидности населения трудоспособного возраста вследствие ССЗ за последнее десятилетие в среднем составлял 11,0 на 10 тыс. населения, в 2012 г. в сравнении с 2003 г. он снизился на 1,9% и сегодня составляет 10,2 на 10 тыс. населения. Наивысшие ранговые места по уровню первичной инвалидности за данный период занимали Черновицкая (14,0), Николаевская (13,7), Винницкая (13,4) области; низшие - Севастополь (7,1), Кировоградский (8.5), Херсонский (8,7 на 10 тыс. населения) регионы. Значительное возрастание этого показателя за указанный период наблюдалось в Запорожской (44,7%), Харьковской (39,0%), Полтавской (37,3%) областях; существенное уменьшение - в Ивано-Франковском (29,2%) регионе, АР Крым (25,4%) и Киеве (19,5%). По данным статистической отчетности, в 2012 г. первые ранговые места по уровню первичной инвалидности вследствие ССЗ занимали Черновицкая (13,6), Житомирская (13,3), Винницкая (12,6) области; последние - Севастополь (5,9), Кировоградский и Сумской (по 7,8 на 10 тыс. населения) регионы. Наивысшей «скрытая» инвалидность была в Житомирской, Ровненской, Луганской, Хмельницкой областях, несколько низшей - в Волынской, Днепропетровской, Донецкой, Закарпатской, Запорожской, Киевской, Луганской, Николаевской, Одесской, Полтавской, Сумской, Тернопольской, Херсонской, Черкасской, Черновицкой, Черниговской областях, Киеве и Севастополе. Высокий уровень инвалидности (выше 12,0 на 10 тыс. населения) определялся в Винницкой, Житомирской, Львовской, Николаевской, Черновицкой областях; низкий уровень (ниже 10,1 на 10 тыс. населения) - в АР Крым, Днепропетровском, Донецком, Закарпатском, Ивано-Франковском, Киевском, Кировоградском, Луганском, Сумском, Тернопольском, Херсонском, Хмельницком регионах, Киеве и Севастополе. Относительный риск возрастания показателя первичной инвалидности вследствие ССЗ среди населения трудоспособного возраста был высоким в Житомирской, Черновицкой (по 1,3), Винницкой, Львовской, Николаевской (по 1,2) областях, несколько ниже - в Запорожской, Ровненской, Харьковской (по 1,1) областях. Прогнозируется возрастание показателя первичной инвалидности среди населения трудоспособного возраста вследствие ССЗ как в целом по Украине, так и в Винницкой, Днепропетровской, Житомирской, Закарпатской, Николаевской, Одесской, Полтавской, Тернопольской, Харьковской, Хмельницкой, Черкасской, Черновицкой областях, Киеве и Севастополе; наивысшие ранговые места будут занимать Житомирская (18,0), Полтавская (14,5) и Винницкая (13,4 на 10 тыс. населения) области. Одновременно будет наблюдаться снижение этого показателя в АР Крым, Волынской, Донецкой, Запорожской, Ивано-Франковской, Киевской, Кировоградской, Луганской, Львовской, Ровненской, Сумской, Херсонской, Черниговской областях; низшие ранговые места будут занимать АР Крым (6,2), Севастополь (6,5), Кировоградский (7,2 на 10 тыс. населения) регионы. Медико-социальная экспертиза и реабилитация, № 2, 2014 Таким образом, применение разработанных подходов дало возможность оценить динамику первичной инвалидности вследствие ССЗ за длительный промежуток времени, установить ведущие тенденции ее изменений, рассчитать уровни первичной инвалидности для всех административных территорий Украины, определить регионы с высоким риском возрастания инвалидности, рассчитать точечный и интервальный прогнозы первичной инвалидности вследствие этого класса заболеваний в разрезе административных территорий Украины, дать оценку «скрытой» инвалидности. Перспективами дальнейших исследований будет разработка единой модели мониторинга заболеваемости, распространенности заболеваний, первичной и накопленной инвалидности населения Украины с определением показателей, которые отслеживаются, источников информации и ее периодичности, уровней наблюдения, программного обеспечения для информационной поддержки функционирования всей системы здравоохранения [2, 4, 15]. Заключение Разработаны и программно реализованы вычислительные технологии разбиения административных территорий по уровням первичной инвалидности и прогнозирования первичной инвалидности. Предложенные вычислительные технологии могут составить ядро информационной технологии обработки данных в системе мониторинга заболеваемости, распространенности заболеваний, первичной и накопленной инвалидности населения Украины. Разработка и внедрение подобной технологии в систему здравоохранения обеспечат переход от наблюдения за разрозненными показателями заболеваемости и инвалидности к активному мониторингу, объединению и унификации этих показателей, анализу их взаимоотношений и возможности вмешательства; будут способствовать улучшению здоровья населения Украины как результат действия прогрессивных управленческих мероприятий по улучшению всей системы здравоохранения.
×

About the authors

Anatolij Vladimirovich Ipatov

Ukrainian State Institute of Medical and Social Problems of Disability Ministry of Public Health of Ukraine

I. V Drozdova

Ukrainian State Institute of Medical and Social Problems of Disability Ministry of Public Health of Ukraine

Email: drozdova@ua.fm

Inna Jaroslavovna Khanykova

Ukrainian State Institute of Medical and Social Problems of Disability Ministry of Public Health of Ukraine

Email: khanyukova.inna@gmail.com

Olga Nikolaevna Matsuga

O.Honchar Dnipropetrovsk National University

Email: molgan@ua.fm

Marina Gennadievna Sidorova

O.Honchar Dnipropetrovsk National University

Email: Sidorova.m.g@gmail.com

References

  1. Коваленка В.М., Корнацького В.М. Динаміка стану здоров’я народу України та регіональні особливості: аналітико- статистичний посібник. Київ.: ННЦ «Інститут кардіології ім. М. Д. Стражеска»; 2012.
  2. Марунич В.В., Іпатов А.В., Коробкин Ю.І. Основні показники інвалідності та діяльності медико-соціальних експертних комісій України за 2011 рік (Аналітико-інформаційний довідник) / За ред. Р. В. Богатирьової. Дрiпропетровськ: Пороги; 2012.
  3. Коваленко В.М., Корнацький В.М. Регіональні особливості рівня здоров’я народу України. Аналітично-статистичний посібник - рекомендований для кардіологів, ревматологів, терапевтів, організаторів охорони здоров’я та лікарів загальної практики Київ; 2011.
  4. Інвалідність: первинна, скрита, прогнозована. Іпатов А.В., Дроздова І.В., Ханюкова І.Я. та інш.: монографія. Дрiпропетровськ: Пороги; 2012.
  5. Інформаційна технологія аналізу динаміки інвалідності. Хобзей М.К., Іпатов А.В., Дроздова І.В. та інш. Дрiпропетровськ: Пороги; 2011
  6. Статистика инвалидности. [Электронный ресурс]. - Режим доступа: http://rosspolit.ru / socialnaya-politika /rabota-s-invali-dami / statistikainvalidnosti.html.
  7. Хобзей М.К. Деякі аспекти організації медичної допомоги в Україні. Мед. перспективи. 2010; 4: 4-7.
  8. Русакова Л.Т. Наукове обґрунтування інформаційної технології аналізу системи «довкілля-здоров’я»: Дисс. Київ.; 2010.
  9. Коваленко В.М., Корнацький В.М. Медико-соціальні аспекти хвороб системи кровообігу. Київ; 2010
  10. Айвазян С. А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. М.: Статистика, 1974.
  11. Емельяненко Т.Г., Зберовский А.В., Приставка А.Ф., Собко Б.Е. Принятие решений в системах мониторинга. Днепропетровск: РИК НГУ; 2005.
  12. Лукашин Ю. П. Адаптивные методы краткосрочного прогнозирования временных рядов: Учебное пособие. М.: Финансы и статистика, 2003.
  13. Кендалл М.А. , Стьюарт А. Многомерный статистический анализ и временные ряды. М.: Наука; 1976.
  14. Статистична обробка даних / Бабак В.П., Білецький А.Я., Приставка О.П. та ін. Київ: МІВВЦ; 2001.
  15. Лехан В. М., Слабкий Г.О. Стратегія розвитку системи охорони здоров’я: український вимір. Новини медицини і фармації. 2010; 4 (309): 21-26

Statistics

Views

Abstract: 88

PDF (Russian): 32

Article Metrics

Metrics Loading ...

Refbacks

  • There are currently no refbacks.

Copyright (c) 2014 Eco-Vector



This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies