Генеральная совокупность и выборочный метод. Ошибки выборки. Задачи, решаемые при применении выборочного наблюдения

Генеральная совокупность и выборочный метод. Ошибки выборки. Задачи, решаемые при применении выборочного наблюдения

24.09.2019

Выборочное наблюдение

Понятие выборочного наблюдения

Выборочный метод используется, когда применение сплошного на­блюдения физически невозможно из-за огромного массива данных или экономически нецелесообразно. Физическая невозможность имеет ме­сто, например, при изучении пассажиропотоков, рыночных цен, семей­ных бюджетов. Экономическая нецелесообразность имеет место при оценке качества товаров, связанной с их уничтожением. Например, де­густация, испытание кирпичей на прочность и т.п. Выборочное наблю­дение используется также для проверки результатов сплошного.

Статистические единицы, отобранные для наблюдения, составляют выборочную совокупность или выборку, а весьих массив - генеральную совокупность (ГС). При этом число единиц в выборке обозначают п, во всей ГС – N. Отношение n/N называется относительный размер или доля выборки .

Качество результатов выборочного наблюдения зависит от репре­зентативности выборки, т.е. от того, насколько она представительна в ГС. Для обеспечения репрезентативности вы­борки необходимо соблюдать принцип случайности отбора единиц, который предполагает, что на включение единицы ГС в выборку не может повлиять какой-либо иной фактор кроме случая..

Способы формирования выборки

1. Собственно случайный отбор: все единицы ГС нумеруются, а выпавшие в результате жеребьевки номера соответствуют единицам, попавшим в выборку, причем число номеров равно запланированному объему выборки. На практике вместо жеребьевки используют генераторы случайных чисел. Данный способ отбора может быть повторным (когда каждая единица, отобранная в выборку, после проведения наблюдения возвращается в ГС и может быть вновь подвергнута обследованию) и бесповторным (когда обследованные единицы в ГС не возвращаются и не могут быть обследованы повторно). При повторном отборе вероятность попадания в выборку для каждой единицы ГС остается неизменной, а при бесповторном отборе она меняется (увеличивается), но для оставшихся в ГС после отбора из нее нескольких единиц, вероятность попадания в выборку одинакова.



2. Механический отбор: отбираются единицы генеральной совокупности с постоянным шагом N/п . Так, если она генеральная совокупность содержит 100 тыс.ед., а требуется выбрать 1 тыс.ед., то в выборку попадет каждая сотая единица.

3. Стратифицированный (расслоенным) отбор осуществляется из неоднородной генеральной совокупности, когда ее предварительно разбивают на однородные группы, после чего производят отбор единиц из каждой группы в выборочную совокупность случайный или механическим способом пропорционально их численности в генеральной совокупности.

4. Серий­ный (гнездовой)отбор: случайным или механическим способом вы­бирают не отдельные единицы, а определенные серии (гнезда), внутри которых производится сплошное наблюдение.

Средняя ошибка выборки

После завершения отбора необходимого числа единиц в выборку и регистрации предусмотренных программой наблюдения изучаемых признаков этих единиц, переходят к расчету обобщающих показателей. К ним относят среднюю величину изучаемого признака и долю единиц, обладающих каким-либо значением этого признака. Однако, если ГС произвести несколько выборок, определив при этом их обобщающие характеристики, то можно установить, что их значения будут различными, кроме того, они будут отличаться и от реального их значения в ГС, если такое определить с помощью сплошного наблюдения. Другими словами, обобщающие характеристики, рассчитанные по данным выборки, будут отличаться от их реальных значений в ГС, поэтому введем следующие условные обозначения (табл. 8).

Таблица 8. Условные обозначения

Разность между значением обобщающих характеристик выборочной и генеральной совокупностей называется ошибкой выборки, которая подразделяется на ошибку регистрации и ошибку репрезентативности . Первая возникает из-за неправильных или неточных сведений по причинам непонимания существа вопроса, невнимательно­сти регистратора при заполнении анкет, формуляров и т.п. Она доста­точно легко обнаруживается и устраняется. Вторая возни­кает из-за несоблюдения принципа слу­чайности отбора единиц в выборку. Ее сложнее обнаружить и устранить, она гораздо боль­ше первой и потому ее измерение является основной задачей выборочного наблюдения.

Для измерения ошибки выборки определяется ее средняя ошибка по формуле (39) для повторного отбора и по формуле (40) – для бесповторного:

= ;(39) = . (40)

Из формул (39) и (40) видно, что средняя ошибка меньше у бес­повторной выборки, что и обусловливает ее более широкое применение.

Средняя и предельная ошибки выборки

Основное преимущество выборочного наблюдения среди прочих других - возможность рассчитать случайную ошибку выборки.

Ошибки выборки бывают систематические и случайные.

Систематические - в том случае, когда нарушен основной принцип выборки - случайности. Случайные - возникают обычно ввиду того, что структура выборочной совокупности все­гда отличается от структуры генеральной совокупности, как бы правильно ни был произведен отбор, то есть, несмотря на принцип случайности отбора единиц совокупности, все же имеются расхо­ждения между характеристиками выборочной и генеральной сово­купности. Изучение и измерение случайных ошибок репрезента­тивности и является основной задачей выборочного метода.

Как правило, чаще всего рассчитывают ошибку средней и ошиб­ку доли. При расчетах используются следующие условные обо­значения:

Средняя, рассчитанная в пределах генеральной совокупности;

Средняя, рассчитанная в пределах выборочной совокупно­сти;

р - доля данной группы в генеральной совокупности;

w - доля данной группы в выборочной совокупности.

Используя условные обозначения, ошибки выборки для средней и для доли можно записать следующим образом:

Выборочная средняя и выборочная доля являются случайными величинами, которые могут принимать любые значения в зависимости от того, какие единицы совокупности попали в выборку. Следовательно, ошибки выборки также являются случайными величинами и могут принимать различные значения. Поэтому определяют среднюю из возможных ошибок μ.

В отличие от систематической, случайную ошибку можно опре­делить заранее, до проведения выборки, согласно предельных теорем, рассматриваемых в математической статистике.

Средняя ошибка определяется с вероятностью 0,683. В случае другой вероятности говорят о предельной ошибке.

Средняя ошибка выборки для средней и для доли определяется следующим образом:


В этих формулах дисперсия признака является характеристикой генеральной совокупности, которые при выборочном наблюдении неизвестны. На практике их заменяют аналогичными xapaктеристиками выборочной совокупности на основании закона больших чисел, по которому выборочная совокупность большом объеме точно воспроизводит характеристики генеральной совокупности.

Формулы определения средней ошибки для различных способ отбора:

Способ отбора Повторный Бесповторный
ошибка средней ошибка доли ошибка средней ошибка доли
Собственно-случайный и механиче­ский
Типический
Серийный

μ - средняя ошибка;

∆ - предельная ошибка;

п - численность выборки;

N - численность генеральной совокупности;

Общая дисперсия;

w - доля данной категории в общей численности выборки:

Средняя из внутригрупповых дисперсии;

Δ 2 - межгрупповая дисперсия;

r - число серий в выборке;

R - общее число серий.


Предельная ошибка для всех способов отбора связана со сред­ней ошибкой выборки следующим образом:

где t - коэффициент доверия, функционально связанный с веро­ятностью, с которой обеспечивается величина предельной ошиб­ки. В зависимости от вероятности коэффициент доверия t принимает следующие значения:

t P
0,683
1,5 0,866
2,0 0,954
2,5 0,988
3,0 0,997
4,0 0,9999

Например, вероятность ошибки равна 0,683. Это значит, что генеральная средняя отличается от выборочной средней по абсолютной величине не более чем на величину μ с вероятностью 0,683, то если - выборочная средняя, - генеральная средняя, то с вероятностью 0,683.

Если мы хотим обеспечить большую вероятность выводов, тем самым мы увеличиваем границы случайной ошибки.

Таким образом, величина предельной ошибки зависит от сле­дующих величин:

Колеблемости признака (прямая связь), которую характеризует величина дисперсии;

Численности выборки (обратная связь);

Доверительной вероятности (прямая связь);

Метода отбора.

Пример расчета ошибки средней и ошибки доли.

Для определения среднего числа детей в семье методом случайной бесповторной выборки из 1000 семей отобраны 100. Результаты приведены в таблице:

Определите: .

- с вероятностью 0,997 предельную ошибку выборки и границы, в которых находится средне число детей в семье;

- с вероятностью 0,954 границы, в которых находится удельный вес семей с двумя детьми.

1. Определим предельную ошибку средней с вероятностью 0,977. Для упрощения расчетов воспользуемся способом моментов:

p = 0,997 t = 3

средняя ошибка средней, 0,116 - предельная ошибка

2,12 – 0,116 ≤ ≤ 2,12+ 0,116

2,004 ≤ ≤ 2,236

Следовательно, с вероятностью 0,997 среднее число детей в семье в генеральной совокупности, то есть среди 1000 семей, находится в интервале 2,004 - 2,236.

Ошибка выборки - это объективно возникающее расхождение между характеристиками выборки и генеральной совокупности. Она зависит от ряда факторов: степени вариации изучаемого признака, численности выборки, методом отбора единиц в выборочную совокупность, принятого уровня достоверности результата исследования.

Для репрезентативности выборки важно обеспечить случайность отбора, с тем, чтобы все объекты генеральной совокупности имели равные вероятности попасть в выборку. Для обеспечения репрезентативности выборки применяют следующие способы отбора:

· собственно-случайная (простая случайная) выборка (последовательно отбирается первый случайно попавшийся объект);

· механическая (систематическая) выборка;

· типическая (стратифицированная, расслоенная) выборка (объекты отбираются пропорционально представительству различных типов объектов в генеральной совокупности);

· серийная (гнездовая) выборка.

Отбор единиц в выборочную совокупность может быть повторным или бесповторным. При повторном отборе попавшая в выборку единица подвергается обследованию, т.е. регистрации значений ее признаков, возвращается в генеральную совокупность и наравне с другими единицами участвует в дальнейшей процедуре отбора. При бесповторном отборе попавшая в выборку единица подвергается обследованию и в дальнейшей процедуре отбора не участвует

Выборочное наблюдение всегда связано с ошибкой, поскольку число отобранных единиц не равно исходной (генеральной) совокупности. Случайные ошибки выборки обусловлены действием случайных факторов, не содержащих каких-либо элементов системности в направлении воздействия на рассчитываемые выборочные характеристики. Даже при строгом соблюдении всех принципов формирования выборочной совокупности выборочные и генеральные характеристики будут несколько различаться. Поэтому получаемые случайные ошибки должны быть статистически оценены и учтены при распространении результатов выборочного наблюдения на всю генеральную совокупность. Оценка таких ошибок и является основной задачей, решаемой в теории выборочного наблюдения. Обратной задачей является определение такой минимально необходимой численности выборочной совокупности, при которой ошибка не превысит заданной величины. На выработку навыков в решении этих задач и направлен материал данного раздела.

Собственно-случайная выборка . Ее суть заключается в отборе единиц из генеральной совокупности в целом, без разделения ее на группы, подгруппы или серии отдельных единиц. При этом единицы отбираются в случайном порядке, не зависящем ни от последовательности расположения единиц в совокупности, ни от значений их признаков.

После проведения отбора с использованием одного из алгоритмов, реализующих принцип случайности, или на основе таблицы случайных чисел, определяются границы генеральных характеристик. Для этого рассчитываются средняя и предельная ошибки выборки.

Средняя ошибка повторной собственно-случайной выборки определяется по формуле

где σ - среднее квадратическое отклонение изучаемого признака;

n - объем (число единиц) выборочной совокупности.

Предельная ошибка выборки связана с заданным уровнем вероятности. При решении представленных ниже задач требуемая вероятность составляет 0,954 (t = 2) или 0,997 (t = 3). С учетом выбранного уровня вероятности и соответствующего ему значения t предельная ошибка выборки составит:

Тогда можно утверждать, что при заданной вероятности генеральная средняя будет находиться в следующих границах:

При определении границ генеральной доли при расчете средней ошибки выборки используется дисперсия альтернативного признака, которая вычисляется по следующей формуле:

где w - выборочная доля, т. е. доля единиц, обладающих определенным вариантом или вариантами изучаемого признака.

При решении отдельных задач необходимо учитывать, что при неизвестной дисперсии альтернативного признака можно использовать ее максимально возможную величину, равную 0,25.

Пример . В результате выборочного обследования незанятого населения, ищущего работу, проведенного на основе собственно-случайной повторной выборки были получены данные, приведенные в табл. 1.14.

Таблица 1.14

Результаты выборочного обследования незанятого населения

С вероятностью 0,954 определите границы:

а) среднего возраста незанятого населения;

б) доли (удельного веса) лиц, моложе 25 лет, в общей численности незанятого населения.

Решение. Для определения средней ошибки выборки необходимо, прежде всего, определить выборочную среднюю величину и дисперсию изучаемого признака. Для этого, при ручном способе расчета целесообразно построить таблицу 1.15.

Таблица 1.15

Расчет среднего возраста незанятого населения и дисперсии

На основании данных таблицы рассчитываются необходимые показатели:

· выборочная средняя величина:

;

· дисперсия:

· среднеквадратичное отклонение:

.

Средняя ошибка выборки составит:

года.

Определим с вероятностью 0,954 (t = 2) предельную ошибку выборки:

года.

Установим границы генеральной средней: (41,2 - 1,6) (41,2+1,6) или:

Таким образом, на основании проведенного выборочного обследования с вероятностью 0,954 можно заключить, что средний возраст незанятого населения, ищущего работу, лежит в пределах от 40 до 43 лет.

Для ответа на вопрос, поставленный в пункте «б» данного примера, по выборочным данным определим долю лиц в возрасте до 25 лет и рассчитаем дисперсию доли:

Рассчитаем среднюю ошибку выборки:

Предельная ошибка выборки с заданной вероятностью составит:

Определим границы генеральной доли:

Следовательно, с вероятностью 0,954 можно утверждать, что доля лиц в возрасте до 25 лет в общей численности незанятого населения находится в пределах от 3,9 до 1 1,9%.

При расчете средней ошибки собственно-случайной бесповторной выборки необходимо учитывать поправку на бесповторность отбора:

где N - объем (число единиц) генеральной совокупности/

Необходимый объем собственно-случайной повторной выборки определяется по формуле:

Если отбор бесповторный, то формула приобретает следующий вид:

Полученный на основе использования этих формул результат всегда округляется в большую сторону до целого значения.

Пример. Необходимо определить, сколько учащихся первых классов школ района необходимо отобрать в порядке собственно-случайной бесповторной выборки, чтобы с вероятностью 0,997 определить границы среднего роста первоклассников с предельной ошибкой 2 см. Известно, что всего в первых классах школ района обучается 1100 учеников, а дисперсия роста по результатам аналогичного обследования в другом районе составила 24.

Решение. Необходимый объем выборки при уровне вероятности 0,997 (t = 3) составит:

Таким образом, для получения данных о среднем росте первоклассников с заданной точностью необходимо обследовать 52 школьника.

Механическая выборка . Данная выборка заключается в отборе единиц из общего списка единиц генеральной совокупности через равные интервалы в соответствии с установленным процентом отбора. При решении задач на определение средней ошибки механической выборки, а также необходимой ее численности, следует использовать приведенные выше формулы, применяемые при собственно-случайном бесповторном отборе.

Так, при 2%-ной выборке отбирается каждая 50-я единица (1:0,02), при 5%-ной выборке - каждая 20-я единица (1:0,05) и т.д.

Таким образом, в соответствии с принятой долей отбора, генеральная совокупность как бы механически разбивается на равновеликие группы. Из каждой группы в выборку отбирается лишь одна единица.

Важной особенностью механической выборки является то, что формирование выборочной совокупности можно осуществить, не прибегая к составлению списков. На практике часто используют тот порядок, в котором фактически размещаются единицы генеральной совокупности. Например, последовательность выхода готовых изделий с конвейера или поточной линии, порядок размещения единиц партии товара при хранении, транспортировке, реализации и т.д.

Типическая выборка. Эта выборка применяется в тех случаях, когда единицы генеральной совокупности объединены в несколько крупных типичных групп. Отбор единиц в выборку производится внутри этих групп пропорционально их объему на основе использования собственно-случайной или механической выборки (при наличии необходимой информации отбор также может производиться пропорционально вариации изучаемого признака в группах).

Типическая выборка обычно применяется при изучении сложных статистических совокупностей. Например, при выборочном обследовании производительности труда работников торговли, состоящих из отдельных групп по квалификации.

Важной особенностью типической выборки является то, что она дает более точные результаты по сравнению с другими способами отбора единиц в выборочную совокупность.

Средняя ошибка типической выборки определяется по формулам:

(повторный отбор);

(бесповторный отбор),

где - средняя из внутригрупповых дисперсией.

Пример . В целях изучения доходов населения по трем районам области сформирована 2%-ная выборка, пропорциональная численности населения этих районов. Полученные результаты представлены в табл. 16.

Таблица 16

Результаты выборочного обследования доходов населения

Необходимо определить границы среднедушевых доходов населения по области в целом при уровне вероятности 0,997.

Решение. Рассчитаем среднюю из внутригрупповых дисперсий:

где N i - объем i -и группы;

n, - объем выборки из /-и группы.

Серийная выборка . Эта выборка используется в тех случаях, когда единицы изучаемой совокупности объединены в небольшие равновеликие группы или серии. Единицей отбора в этом случае является серия. Серии отбираются с использованием собственно-случайной либо механической выборки, а внутри отобранных серий обследуются все без исключения единицы.

В основе расчета средней ошибки серийной выборки лежит межгрупповая дисперсия:

(повторный отбор);

(бесповторный отбор),

где x i - число отобранных i - серий;

R - общее число серий.

Межгрупповую дисперсию при равновеликих группах вычисляют следующим образом:

где х i - средняя i-и серии;

х - общая средняя по всей выборочной совокупности.

Пример . В целях контроля качества комплектующих из партии изделий, упакованных в 50 ящиков по 20 изделий в каждом, была произведена 10%-ная серийная выборка. По попавшим в выборку ящикам среднее отклонение параметров изделия от нормы соответственно составило 9 мм, 11, 12, 8 и 14 мм. С вероятностью 0,954 определите среднее отклонение параметров по всей партии в целом.

Решение. Выборочная средняя:

мм.

Величина межгрупповой дисперсии:

С учетом установленной вероятности Р = 0,954 (t = 2) предельная ошибка выборки составит:

мм.

Произведенные расчеты позволяют заключить, что среднее отклонение параметров всех изделий от нормы находится в следующих границах:

Для определения необходимого объема серийной выборки при заданной предельной ошибке используются следующие формулы:

(повторный отбор);

(безповторный отбор).

Представляет из себя такое расхождение между средними выборочной и генеральной совокупностями, которое не превышает ±б (дельта).

На основании теоремы Чебышева П. Л. величина средней ошибки при случайном повторном отборе рассчитывается по формуле (для среднего количественного признака):

где числитель - дисперсия признака х в выборочной совокупности;
n - численность выборочной совокупности.

Для альтернативного признака формула средней ошибки выборки для доли по теореме Я. Бернулли рассчитывается по формуле:

где р(1- р) - дисперсия доли признака в генеральной совокупности;
n - объем выборки.

Вследствие, того что дисперсия признака в генеральной совокупности точно не известна, на практике используют значение дисперсии, которое рассчитано для выборочной совокупности на основании закона больших чисел . Согласно данному закону выборочная совокупность при большом объеме выборки достаточно точно воспроизводит характеристики генеральной совокупности.

Поэтому расчетные формулы средней ошибки при случайном повторном отборе будут выглядеть таким образом:

1. Для среднего количественного признака:

где S^2 - дисперсия признака х в выборочной совокупности;
n - объем выборки.

где w (1 — w) - дисперсия доли изучаемого признака в выборочной совокупности.

В теории вероятностей было показано, что выражается через выборочную согласно формуле:

В случаях малой выборки , когда её объем меньше 30, необходимо учитывать коэффициент n/(n-1). Тогда среднюю ошибку малой выборки рассчитывают по формуле:

Так как в процессе бесповторной выборки сокращается численность единиц генеральной совокупности, то в представленных выше формулах расчета средних ошибок выборки нужно подкоренное выражение умножить на 1- (n/N).

Расчетные формулы для такого вида выборки будут выглядеть так:

1. Для средней количественного признака:

где N - объем генеральной совокупности; n - объем выборки.

2. Для доли (альтернативного признака):

где 1- (n/N) — доля единиц генеральной совокупности, не попавших в выборку.

Поскольку n всегда меньше N, то дополнительный множитель 1 — (n/N) всегда будет меньше единицы. Это означает, что средняя ошибка при бесповторном отборе всегда будет меньше, чем при повторном. Когда доля единиц генеральной совокупности, которые не попали в выборку, существенная, то величина 1 — (n/N) близка к единице и тогда расчет средней ошибки производится по общей формуле.

Средняя ошибка зависит от следующих факторов:

1. При выполнении принципа случайного отбора средняя ошибка выборки определяется во-первых объемом выборки: чем больше численность, тем меньше величины средней ошибки выборки . Генеральная совокупность характеризуется точнее тогда, когда больше единиц данной совокупности охватывает выборочное наблюдение

2. Средняя ошибка также зависит от степени варьирования признака. Степень варьирования характеризуется . Чем меньше вариация признака (дисперсия), тем меньше средняя ошибка выборки. При нулевой дисперсии (признак не варьируется) средняя ошибка выборки равна нулю, таким образом, любая единица генеральной совокупности будет характеризовать всю совокупность по этому признаку.

Понятие и расчет ошибки выборки.

Задачей выборочного наблюдения является дача верных представлений о сводных показателях всей совокупности на основе некоторой их части, подвергнутой наблюдению. Возможное отклонение выборочной доли и выборочной средней от доли и средней в генеральной совокупности называется ошибкойвыборки или ошибкойрепрезентативности. Чем больше величина этой ошибки, тем больше показатели выборочного наблюдения отличаются от показателей генеральной совокупности.

Различаются:

Ошибки выборки;

Ошибки регистрации.

Ошибки регистрации возникают при неправильном установлении факта в процессе наблюдения. Они свойственны как сплошному наблюдению, так и выборочному, но в выборочном их меньше.

По природе ошибки бывают:

Тенденциозные – преднамеренные, т.е. были отобраны либо лучшие, либо худшие единицы совокупности. При этом наблюдения теряют смысл;

Случайные – основной организационный принцип выборочного наблюдения состоит в том, чтобы не допустить преднамеренного отбора, т.е. обеспечить строгое соблюдение принципа случайного отбора.

Общим правилом случайного отбора является: у отдельных единиц генеральной совокупности должны быть совершенно одинаковые условия и возможности упасть в число единиц, входящих в выборку. Это характеризует независимость результата выборки от воли наблюдателя. Воля же наблюдателя порождает тенденциозные ошибки. Ошибка выборки при случайном отборе носит случайный характер. Она характеризует размеры отклонений генеральных характеристик от выборочных.

В связи с тем, что признаки в изучаемой совокупности варьируют, то состав единиц, попавших в выборку, может не совпадать с составом единиц всей совокупности. Это означает, что Р и не совпадают с W и . Возможное расхождение между этими характеристиками определяется ошибкой выборки, которая определяется по формуле:

где - генеральная дисперсия.

где - выборочная дисперсия.

Отсюда видно, где генеральная дисперсия отличается от выборочной дисперсии в раз.

Существует повторный и бесповторный отбор. Сущность повторного отбора состоит в том, что каждая, попавшая в выборку единица, после наблюдения возвращается в генеральную совокупность и может быть исследована повторно. При повторном отборе средняя ошибка выборки рассчитывается:

Для показателя доли альтернативного признака дисперсия выборки определяется по формуле:

На практике повторный отбор применяется редко. При бесповторном отборе, численность генеральной совокупности N в ходе выборки сокращается, формула средней ошибки выборки для количественного признака имеет вид:



, тогда

Одно из возможных значений, в которых может находиться доля изучаемого признака равно:

где - ошибка выборки альтернативного признака.

Пример .

При выборочном обследовании 10 % изделий партии готовой продукции по методу без повторного отбора получены следующие данные о содержании влаг в образцах.

Определить средний % влажности, дисперсию, среднее квадратическое отклонение, с вероятностью 0,954 возможные пределы, в которых ожидается ср. % влажности всей готовой продукции, с вероятность 0,987 возможные пределы удельного веса стандартной продукции при условии, что к нестандартной партии относятся изделия с влажностью до 13 и выше 19 %.

Лишь с определенной вероятностью можно утверждать, что генеральная доля от выборочной доли и генеральная средняя от выборочной средней, отклоняются в t раз.

В статистике эти отклонения называются предельнымиошибкамивыборки и обозначаются .

Вероятность суждений можно повысить или понизить в t раз. При вероятности 0,683 , при 0,954 , при 0,987 , тогда показатели генеральной совокупности по показателям выборки определяются.



© 2024 yanaorgo.ru - Сайт о массаже. В здоровом теле, здоровый дух