Технология экспертной оценки качества. Количественные методы оценки: Экспертные оценки

Страница 1 из 2

Качество есть качество" . Качество в отличие от количества не измеряют, а оценивают. Существуют две формы оценки качества: лингвистическая и количественная. В первом случае качество определяют словами: например, "качество высокое", "среднее", "низкое" и т.д. Во втором случае качество оценивают по некоторой условной шкале числом к (0 < к < м, где м - высший балл в числовой оценке качества). Например, 5 как в российской или 100 как в английской школах.

Для оценки качества привлекаются эксперты. Мы к такой оценке качества уже прибегали, когда пытались характеризовать параметры пожарного ведра (см. рис. 3.31 и 3.32). Экспертной оценке качества могут быть подвергнуты товары и услуги, проекты и законы, знания и квалификация, выступления фигуристов, гимнастов или вокалистов и многое другое. Как ни ругают качественные, а не количественные оценки в некоторых видах спорта, вспоминая при этом скандалы на соревнованиях, экспертные оценки жюри остаются единственным мерилом выступления многих спортсменов. Не говоря уже о людях искусства и о различных творческих конкурсах...

В повседневной жизни при принятии решения можно исходить из лингвистической оценки качества: мы, например, покупаем хороший чай или газонокосилку высокого качества и т. д. Однако есть такие задачи, в решении которых лучше руководствоваться количественной оценкой качества. Кроме того, обычно лингвистические оценки строятся на основе экспертных количественных оценок. Так, качество выпускника английского университета и достоинство диплома, который он получает, определяется по следующей шкале, представленной в табл. 4.11.

Таблица 4.11. Шкала оценки качества диплома

Независимо от объекта, качество которого подлежит экспертной оценке, методика ее получения в основе своей одинакова.

На рис. 4.29 показана оценка качеств некоторой рукописи книги по Mathcad, сделанная по пятибалльной шкале разными рецензентами (таблица Excel, внедренная в Mathcad-документ), проиллюстрированная двумя диаграммами, глядя на которые можно сделать лишь один вывод о том, что качества отдельных семи сторон рукописи более соответствуют друг другу, чем качества отдельных пяти рецензентов.

Но оценку качества можно делать не только качественно (прошу прощения за тавтологию), но и количественно, цифрами. Для этого рассмотрим задачу оценки деловых качеств руководителя (менеджера). Для оценки потребуются модель качества менеджера, эксперты и математическая обработка результатов работы экспертов.

Модель качества специалиста может быть представлена в виде некоторого набора важнейших качественных параметров (качеств), характеризующих его профессиональный уровень, личностные, деловые качества и предопределяющих успешную работу в рассматриваемой сфере деятельности.

Допустим, что этот набор включает следующие качества:

Уровень и качество образования, опыт практической работы;

Эрудицию, знания и умения в своей и смежных сферах деятельности;

Обучаемость и способность обучать;

Культурный уровень, моральные стандарты;

Физическое и психологическое здоровье, возраст;

Характер, отношение к окружающим;

Умение руководить;

Амбициозность, стремление к лидерству; - способность к риску;

Динамизм, способность оценивать и принимать изменения внутренней и внешней среды.

Рис. 4.29. Графическое сопоставление качеств рукописи и рецензентов

Пред. -

Высокое качество работы экспертов, участвующих в опросе, оказывает решающие влияние на получение точных и надежных результатов.

Качество экспертов определяется следующими группами свойств: компетентностью, заинтересованностью в результатах экспертизы, деловитостью и объективностью (беспристрастностью).

Компетентность эксперта должна распространяться на объект экспертизы (профессиональная компетентность) и методологию оценки (квалиметрическая компетентность).

Профессиональная компетентность включает знание технологических этапов производства продукции, значения показателей качества различных ее видов, перспектив развития продукции. требований потребителей, условий и характера потребления.

Квалиметрическая компетентность обеспечивает четкое понимание экспертом подхода к оценке качества продукции как к мере удовлетворения ею потребностей потребителей; знание методов оценки качества, особенно экспертных методов; умение пользоваться различными квалиметрическими шкалами, отличающихся большим числом градаций.

Заинтересованность эксперта в результатах экспертизы зависит от многих факторов: степени загруженности основной работой, с которой, как правило, совмещается экспертиза; возможности использования полученных результатов; целей экспертизы; характера выводов, которые могут быть сделаны по результатам экспертизы; индивидуальных особенностей эксперта.

Деловитость эксперта включает собранность, подвижность и эластичность внимания, позволяющие быстро переключаться с оценки одного показателя качества на оценку другого; контактность, т.е. умение работать с людьми при решении задач в конфликтной ситуации; мотивированность выносимых оценок.

Объективность (беспристрасность) -- способность учитывать только ту информацию, которая определяет удовлетворение потребности данной продукции. Необъективность эксперта заключается в завышении или занижении оценок объекта экспертизы по причинам, не имеющим отношения к качеству, например, из-за неспособности противостоять мнению большинства других экспертов вследствие неуверенности в своей правоте (проявление конформизма).

Методы оценки качества экспертов подразделяются на пять групп:

· эвристические (субъективные);

· статистические;

· тестовые;

· документальные;

· комбинированные.

Каждая из указанных групп делится на виды (частные оценки) и методы их получения.

Эвристические (субъективные) оценки – оценки, назначаемые человеком и основанные на предположении правильности отражения качества эксперта через оценку окружающих или самооценку.

Различают следующие виды эвристических оценок:

· самооценка;

· взаимооценка;

· оценка аргументированности и знакомства с объектом экспертизы;

· оценка эксперта рабочей группой.

Самооценка – вид и метод эвристической оценки компетентности самим экспертом. Установлено, что достоверность усредненной экспертной оценки тем выше, чем больше среднее значение самооценки членов группы. В то же время следует иметь в виду, что самооценка отличается значительной субъективностью, а это влечет за собой определенные недостатки ее. Самооценка зависит от психологических особенностей экспертов (наличия высокой или заниженной самооценки, иногда и необоснованно), степени удовлетворенности собой, понимания оценочной шкалы. Этим объясняется несовпадение результатов самооценки и взаимооценки.

Для снижения субъективности самооценку проводят дифференцированно, что повышает точность результатов. Для этого показатель самооценки определяется как функция двух коэффициентов: знакомства и аргументированности. Для экспертной оценки товаров самооценку эксперта рекомендуется определять с учетом его информированности и знакомства с оцениваемой продукцией путем заполнения «Анкеты самооценки». Эксперт отмечает регулярность чтения перечисленных в анкете источников информации и степень знакомства с оцениваемой продукцией.

Самооценка (K ca м j ) рассчитывается по формуле

K ca м j = Σ M i · K ij ,

где M i – весомость показателей информированности и знакомства; K ij – оценка, зависящая от степени информированности и знакомства.

Поскольку Σ M i = 1,00, а 0 ≤ K ij ≤ 10, то 0 ≤ K ca м j ≤ 10.

С учетом специфики оцениваемой продукции весомость отдельных показателей (M i ) может корректироваться экспертной группой.

Взаимооценка - вид и метод эвристической оценки, определяемой как средняя из оценок, назначаемых другими экспертами. Данная оценка предназначена для уменьшения субъективности оценки компетентности каждого эксперта. Установлено, что существует тесная связь между компетентностью эксперта и его усредненной оценкой, полученной от коллег. Сущность этого вида оценки заключается в том, что каждый эксперт дает оценку всем остальным экспертам, а затем рассчитывается усредненный результат.

В зависимости от количества экспертов в группе применяются две разные процедуры:

· при численности экспертов в группе менее 15 человек каждый эксперт оценивает всех остальных;

· при численности экспертов 15 человек и выше заполняется специальная анкета, в которой эксперты по квалификации поделены на три группы – выше средней, средней и ниже средней квалификации, а также по рангам внутри подгрупп (по 6– 8 человек в каждой). Затем ранжируют экспертов каждой подгруппы. Ранг 1 – самый квалифицированный эксперт, 2 – следующий по квалификации и т. д. Каждому оцениваемому эксперту присваивается числовая оценка от 10 баллов (самый квалифицированный) до 0 (совершенно неквалифицированный) с точностью до 0,5 балла.

Недостатки взаимооценки заключаются в следующем:

· эксперты могут недостаточно знать друг друга;

· на результаты оценки могут влиять взаимные симпатии или антипатии;

· эксперты, как правило, стремятся избегать сверхвысоких и сверхнизких оценок;

· неоднозначность восприятия понятия «качество эксперта».

· применять взаимооценку только в тех группах, в которых большинство экспертов хорошо знают друг друга. Если некоторые из оцениваемых экспертов незнакомы, то рекомендуется ставить прочерк в соответствующей графе;

· проводить анонимное анкетирование;

· разъяснять, что результаты анкеты будут использованы только для корректировки оценок товара;

· знакомить экспертов со структурной схемой свойств и их частных оценок.

Оценка аргументированности и знакомства с объектом экспертизы – вид и метод эвристической оценки степени специализации эксперта и факторов, влияющих на его компетентность. Эвристическая оценка компетентности, основанная на учете степени специализации и знакомства, обладает высокой эффективностью и достоверностью при условии тщательной проработки методов количественной оценки каждого из этих факторов в виде оценочных анкет. В данном случае оцениваются только те факторы, которые могут характеризоваться лишь субъективно в форме самооценки; эксперт количественно оценивает степень своей специализации по данному виду продукции и форму знакомства с ней. Затем с помощью специальной анкеты (похожей на анкету самооценки) определяет коэффициент аргументированности своих знаний и дает оценку степени своего знакомства с исследуемой проблемой. Коэффициент компетентности вычисляется как среднее арифметическое из коэффициентов аргументированности и знакомства.

Оценка эксперта рабочей группой – вид и метод эвристической оценки, предназначенной для количественной характеристики заинтересованности эксперта в экспертной оценке и его внимательности в ходе опроса. Оценка дается специалистами-аналитиками, проводящими опрос экспертов. При этом они оценивают отношение экспертов к проводимой экспертизе и их активность при обсуждении оценок. Оценки рабочей группы целесообразно выносить по 10-балльной шкале.

Статистические оценки – оценки, полученные в результате обработки суждений экспертов об объекте оценки.

Эти оценки применяются с целью уменьшения по мере возможности погрешностей, возникающих при экспертных оценках. Необходимость их обусловлена тем, что в отличие от измерений с помощью технических устройств, основанных на сравнении неизвестных величин с известными, при экспертных методах часто отсутствует известная величина (или образец, или эталон товара), значение которой принимается за действительное, т. е. максимально приближенное к истинному.

На точность результата могут оказать влияние организация и методика проведения оценки; качество построения структурной схемы показателей качества, число показателей качества, способы определения оценок, характер взаимоотношений между экспертами и т.д.

Таким образом, на точность экспертной оценки влияет множество объективных (зависящих от методики оценки) и субъективных (зависящих от эксперта) факторов, вследствие чего возникают погрешности оценки, имеющие систематическую и случайную составляющие.

Систематическая погрешность – постоянно повторяемая часть погрешности. Основной причиной возникновения ее является недостаточная или неправильная информированность экспертов. Снизить ее можно путем ознакомления эксперта с необходимой информацией перед началом экспертизы или путем проведения инструктажа, а также обсуждения, в ходе которого эксперт получает дополнительную информацию от специалистов-аналитиков или других экспертов. Кроме того, поскольку систематическая погрешность эксперта является случайной для группы экспертов, то усреднение оценок группы позволяет повысить точность оценки качества. Систематическую погрешность можно оценивать степенью отклонения от среднего мнения экспертной группы.

Случайная погрешность зависит от психолого-физиологических особенностей эксперта (собранности, уверенности в правоте, внимательности, других личных качеств) и снижается при многократных повторениях оценок. Установить ее величину можно по воспроизводимости результатов.

Различают следующие виды статистических оценок:

· оценка по отклонению от среднего мнения экспертной группы;

· оценка объективности эксперта.

Оценка по отклонению от среднего мнения экспертной группы – оценка, основанная на предпосылке, что действительным значением групповой экспертной оценки является средняя оценка экспертной группы. Поэтому чем меньше отклонение индивидуальной экспертной оценки от групповой, тем более высоким признается качество эксперта давшего эту оценку.

Индивидуальные экспертные оценки могут быть двух типов:

· ранжирование экспертом оцениваемых величин (в порядке убывания или возрастания);

· определение экспертом числовых значений оцениваемых величин (например, при определении коэффициентов весомости показателей качества каждому коэффициенту эксперты присваивают определенные числовые значения).

Оценка по отклонению от среднего мнения экспертной группы может быть выражена через совокупность абсолютных отклонений (Д і) , рассчитываемых как разница между средней групповой оценкой (Х с.г) и индивидуальной оценкой (Х і ):

Д і = Х c .г – Х і . .

Чем больше Д і , тем выше отклонение индивидуального мнения эксперта от среднего мнения экспертной группы.

Оценка объективности (беспристрастности) эксперта – оценка соблюдения экспертом принципа объективности, его способности к беспристрастной оценке конкретных образцов товаров. Эта очень важная характеристика качества эксперта существенно влияет на точность результатов групповой экспертной оценки. Статистические методы непосредственной оценки объективности экспертов не разработаны, поэтому на практике довольствуются косвенной оценкой по отклонению от среднего мнения экспертов.

Тестовые оценки – оценки с помощью тестирования психолого-физиологических особенностей экспертов. Данные оценки предназначены для оценивания объективности, квалиметрической и профессиональной компетентности эксперта. Достоинством этих оценок является возможность оценить личные качества эксперта, для чего другие методы и виды оценок неприемлемы. Недостаток их заключается в том, что полученные при тестировании результаты невозможно сравнить с данными, полученными каким-либо объективным методом.

При проведении тестовых оценок к тестам предъявляются следующие требования:

· понимание испытуемым экспертом постановки тестовой задачи и условий, которым должно отвечать ее решение;

· вероятность случайного угадывания решения задачи должна быть близка к нулю;

· тестовая задача должна иметь точное решение;

· обоснование близости тестовой задачи и тех реальных задач, которые приходится решать эксперту при оценке качества продукции.

Разновидностями тестовых оценок являются:

· оценка воспроизводимости результатов;

· квалиметрической компетентности эксперта;

· объективности корректирования своих оценок.

Оценка воспроизводимости результата – оценка степени близости индивидуальных оценок эксперта, проведенных через определенные промежутки времени. Обычно применяется в случаях, когда качество экспертов оценивается в несколько туров, при этом сравниваются оценки одного и того же автора в разных турах. Наиболее часто оценка воспроизводимости результатов применяется при органолептическом анализе пищевых продуктов.

Следует учесть, что промежуток времени между турами должен быть невелик, чтобы исключить влияние возможной новой информации, изменяющей его суждения, но в то же время достаточен, чтобы эксперт забыл данные оценки в предыдущем туре.

Если проводится ранжировка показателей качества, то оценка воспроизводимости результатов рассчитывается по формуле

где – j -го эксперта; R j – коэффициентов ранговой корреляции для j -го эксперта, определяется по формуле

где d ij – разность между рангами, присвоенными i- му показателю качества j -м экспертом в первом и втором турах опроса; n – количество объектов ранжирования.

Если же эксперты вычисляют численные значения коэффициентов весомости, то оценка воспроизводимости результатов рассчитывается по формуле

где – коэффициент воспроизводимости результатов j -го эксперта; ρ j – расстояние от среднего мнения группы для j -го эксперта, рассчитывается по формуле

где M ij * и M ij ** – значения i -го коэффициента весомости назначенные j -м экспертом соответственно в первом и втором турах.

Коэффициент воспроизводимости результатов эксперта может изменяться в интервале от 0 до 10. К экспертизе качества продукции рекомендуется допускать экспертов с воспроизводимостью результатов 6 и выше.

Оценка квалиметрической компетентности эксперта – оценка теоретических знаний методов оценки качества и умения их применять. Оценка теоретической подготовки эксперта может проводиться путем устного или письменного контроля знаний с использованием тестов в определенной области знаний. Несколько сложнее обстоит дело с проверкой умения, которое подразделяют на три типа:

· умение использовать разные типы оценочных шкал;

· умение определять субъективные вероятности;

· умение различать достаточное число градаций оцениваемого свойства.

Умение использовать разные типы оценочных шкал. Шкала – это упорядоченный ряд отметок, соответствующий соотношению последовательных значений измеряемых величин. В квалиметрии шкала является средством адекватного сопоставления и определения численных значений отдельных свойств и качеств различных объектов. Практически используют следующие виды квалиметрических шкал: шкалу наименований, шкалу порядка, шкалу интервалов, шкалу отношений и шкалу абсолютных значений.

Шкала наименований используется в случаях, когда несколько неизвестных размеров необходимо сопоставить с одним и определить, какие из них равны размеру, выбранному за базу для сравнения, а какие нет. По шкале наименований классифицируют размеры по признаку эквивалентности, тождества, равенства. Такое измерение является наиболее простым, но наименее информативным. При этом не определяется, какой из неодинаковых размеров больше или меньше размера, принятого за базовый, т.е. порядок возрастания или уменьшения размеров не устанавливается. Измерение заключается только в определении одинаковости (равенства) или отличия (неравенства) того или иного размера от заранее определенного значения. Следовательно, определяющие отношения между измеряемыми размерами таковы: равны или не равны, т.е. в символах = или ≠.

Математическое выражение сущности измерений по шкале наименований можно записать так:

Р i = Р j или Р i ≠ Р j ,

где Р i – размер, с которым сравнивают (базовый размер); Р j – j -й размер из сравниваемых размеров (j = 1,2,3, … , n ); n – число сравниваемых размеров.

При сопоставлении и измерении размеров по шкале наименований осуществляется, например, контроль и оценка качества чего-либо по альтернативному принципу: годен – не годен; подходит – не подходит; соответствует – не соответствует и т.п.

Шкала порядка – это последовательный ряд значений, дающий систематизированное представление о простейших соотношениях величин сопоставляемых размеров свойств, признаков или качеств в целом оцениваемых объектов.

При попарном сопоставлении всех измеряемых размеров устанавливают, какой размер больше или меньше другого, какой лучше или хуже другого. Если имеются одинаковые размеры, то это соотношение также определяется. Далее установленные соотношения размеров ранжируются в порядке возрастания и/или убывания (уменьшения) их величин. Сами величины при этом остаются неопределенными. Полученный в результате ранжирования ряд значений является шкалой порядка возрастающей или убывающей последовательности.

По шкалам порядка значения размеров могут быть классифицированы (оценены) не только по критерию «одинаковы или нет», но и по соотношению, что «больше или меньше» другого или «что лучше, а что хуже» другого.

Математическим выражением соотношений попарно сопоставляемых размеров является:

Р i = Р j или Р i ≠ Р j или Р i > Р j или Р i < Р j.

В результате сопоставления размеров Р i и Р j определяют, какой размер больше или меньше другого, а также какие размеры имеют одинаковые значения, т.е. по шкале порядка определяют следующие соотношения: равно (=), не равно (≠), больше (>), меньше (<).

Недостатком измерений по шкалам порядка можно считать то, что получаемые результаты в виде ранжированного ряда наименее информативны. В частности, при таком измерении нет возможности определить, на сколько один размер больше или меньше другого, лучше или хуже другого. Однако главным преимуществом измерений с использованием шкал порядка является то, что и их помощью инструментально неизмеряемые величины все же можно оценить (измерить) количественно. К измеряемым по шкалам порядка относятся такие свойства объектов, как вкус, запах, привлекательность, эстетичность, комфортабельность и др. По шкале порядка часто производят и общие экспертные оценки качества нескольких сопоставляемых объектов.

Шкала интервалов используется в случаях, когда нет возможности измерить сами размеры наблюдаемых величин, но возможно (или имеется необходимость) измерить только отличия (разницы) между познаваемыми сопоставлением размерами.

На измерительной шкале интервалов фиксируются отличия сопоставляемых размеров. Эта форма отображения величин измеряемого является более совершенной, так как на шкале интервалов имеются условные, но вполне определенные единицы измерений, что позволяет количественно (численно) охарактеризовать соотношение исследуемых размеров.

Математическая запись сравнения между собой двух однородных размеров по их разнице имеет вид:

ΔР i,j = Р i – Р j .

По шкале интервалов определяют такие соотношения размеров, как равно (=), не равно (≠), больше (>), меньше (<), сумма (+), разница (– ).

Классическим примером измерений по шкале интервалов является измерение температур по шкале Цельсия. По шкале интервалов невозможно определить, во сколько раз один размер больше или меньше другого.

Шкала отношений – это измерительная шкала, на которой отсчитывается (определяется) численное значение величины q i как математического отношения измеряемого размера Р i к другому известному размеру, принимаемому за единицу измерений [Р].

Любое измерение по шкале отношений предполагает сравнение неизвестного размера с известным и выражение первого через второй в кратном или дольном отношении.

Математическая запись измерения по шкале отношений имеет вид:

где i = 1, 2, 3, … , n – это номер измеряемого размера.

Шкала отношений – это шкала интервалов, в которой определен нулевой элемент – начало отсчета, а также размер (масштаб) единицы измерений [Р].

По шкале отношений определяются такие значения измеряемых размеров, как: равно (=), не равно (≠), больше (>), меньше (<), сумма (+), разница (– ), умножение (×), деление (:). Следовательно, с относительными величинами измеряемых размеров можно проводить многие логические и все арифметические действия.

Шкала отношений наиболее приемлема для измерений большинства показателей качества, особенно для таких численных характеристик, как геометрические размеры объектов, их плотность, сила, напряжение и прочих.

Шкала абсолютных величин используется в случаях, когда величина измеряется напрямую. Например, непосредственно подсчитывается число дефектов в изделии. Количество единиц производственной продукции и т.п. При таких измерениях на измерительной шкале отмечаются абсолютные количественные значения измеряемого. Такая шкала абсолютных значений обладает теми же свойствами, что и шкала отношений, с той лишь разницей, что величины, обозначенные на этой шкале, имеют абсолютные, а не относительные значения.

Результаты измерений по шкале абсолютных величин имеют наибольшую достоверность, информативность и чувствительность к неточным измерениям.

Шкалы интервалов, отношений и абсолютных величин называются метрическими, так как при их построении используются меры, т.е. размеры, принятые в качестве единиц измерений.

Характеристики, параметры или характеристики свойств объектов, измеряемые по шкале наименований или по шкале порядка, являются не количественными, а качественными , т.е. неопределенными по их истинной величине и по величине различий между ними. Размер, определенный по любой из метрических шкал, является количественной величиной, и сами эти шкалы являются количественными .

Квалиметрические шкалы, их определяющие отношения, измеряемые ими типы характеристик качества, а также некоторые примеры измеряемого приведены в табл. 4.1.

Каждая из квалиметрических шкал имеет свое значение и свою область применения, и поэтому они чаще всего не взаимозаменяемы при решении той или иной экспертной задачи. Умение определять субъективные вероятности – способность эксперта оценивать вероятность наступления определенных событий. Эксперты, которые не обладают такой способностью, не должны привлекаться к экспертизам, связанным с прогнозированием.

Умение определять субъективные вероятности при вынесении некоторых видов оценок. Например, при определении коэффициентов весомости некоторых событий эксперту иногда приходится использовать понятие субъективности вероятности их наступления. Зачастую прибегают к специальным тестам, с помощью которых можно оценить умение кандидата в эксперты точно определять субъективные вероятности.

Умение различать достаточное число градаций оцениваемого свойства – способность эксперта улавливать различия в интенсивности проявления каждого свойства. Эта способность в значительной мере обусловлена чувствительностью эксперта к самым незначительным изменениям свойств и показателей объектов экспертизы. Например, при органолептическом анализе испытателей проверяют на умение выявлять разницу во вкусах, запахах, оттенка цвета и др. От способности эксперта различать градации оцениваемого свойства зависит также точность индивидуальных и групповой экспертных оценок, поэтому тестовые испытания по выявлению указанной способности должны помочь отобрать в экспертную группу специалистов высокого качества.

Таблица 4.1 . Виды квалиметрических шкал

1. Экспертный метод оценки качества товаров: определение, особенности при экспертизе продовольственных и непродовольственных товаров.

Экспертный метод
Экспертный метод определения показателей качества основан на учете мнений специалистов-экспертов. Эксперт – это специалист, компетентный в решении конкретной задачи. Этот метод применяют в тех случаях, когда показатели качества не могут быть определены другими методами из-за недостаточного количества информации, необходимости разработки специальных технических средств и т.п.
Экспертный метод является совокупностью нескольких различных методов, которые представляют собой его модификации. Известные разновидности экспертного метода применяются там, где основой решения является коллективное решение компетентных людей (экспертов). Квалификация эксперта определяется не только знанием предмета обсуждения. Учитываются специфические возможности эксперта. Например, в пищевой промышленности при оценке качества продуктов питания учитывают возможности эксперта воспринимать вкус, запах, а также его состояние здоровья. Эксперты, оценивающие эстетические и эргономические показатели качества, должны быть хорошо осведомлены в области художественного конструирования.
При использовании экспертного метода для оценки качества формируют рабочую и экспертную группы. Рабочая группа организует процедуру опроса экспертов, собирает анкеты, обрабатывает и анализирует экспертные оценки.
Экспертная группа формируется из высококвалифицированных специалистов в области создания и использования оцениваемой продукции: товароведы, маркетологи, дизайнеры, конструкторы, технологи и др. Желательно, чтобы экспертная группа формировалась не для одной экспертизы, а как постоянно функционирующий орган с достаточно стабильным составом экспертов.

2.Экологичность и безопасность товаров: определение, значимость, виды безопасности, характерезующие экологичность и безопасность.

Экологические свойства - способность товара не оказывать вредного воздействия на окружающую среду при эксплуатации. Все больше загрязнение окружающей среды ставит существование человечества на грань катастрофы. Из-за этого резко возрастает степень значимости экологические свойств (например, для муки, крахмала, стирального порошка надежны транспортные средства, упаковка). Все товары в разной степени загрязняют окружающую среду на различных этапах товародвижения. Так, наибольшее загрязнение окружающей среды отмечается при производстве товаров или сырья, материалов или полуфабрикатов. Показателями экологических свойств товаров служат различные виды загрязнений, которые ухудшают безопасность окружающей среды. В Федеральном законе «о техническом регулировании» безопасность населения и окружающей среды объединены в безопасность для жизни, здоровья потребителей, животных и растений, для имущества юридических и физических лиц. Безопасность - очень важное и широко трактуемое свойство многих объектов: товаров, процессов, услуг, а так же окружающей среды. Поэтому в ст. 2 ФЗ "О техническом регулировании» дано обобщенное определение: Безопасность - состояние, при котором риск вреда или ущерба ограничен допустимым уровнем. Это отсутствие риска для жизни, здоровья, при эксплуатации товаров». Безопасность товаров относиться к обязательным требованиям и должна регламентироваться техническими регламентами. Этим качеством должны обладать все Потребительские товары . В отличие от других потребительских свойств, ухудшение или утрата приводит к потерям функционального или социального назначения, превышение допустимого уровня показателей безопасности переводит продукцию в категорию опасной. В соответствии с ФЗ «О техническом регулировании» различают следующие виды безопасности : 1) химическая безопасность - отсутствие риска, которой может быть нанесен токсичными веществами. (Токсичные элементы- соли тяжелых металлов, запрещены пищевые добавки, красители для упаковки, мышьяк, ртуть, медь, железо); 2) рациональная безопасность - отсутствие вреда, которые могут нанести радиоактивные элементы (строительные материалы: шифр, цемент); 3) механическая безопасность - отсутствие вреда, который может быть нанесен вследствие ударов, трения, проколов (в основном на непродовольственные товары -одежда, обувь); 4) электрическая, магнитная, э/магнитная безопасность - отсутствие риска, который может быть нанесен воздействием электрических, магнитных, э/магнитных полей при эксплуатации сложнотехнических товаров (электротовары, например, печи); 5) термическая безопасность (температура увеличивается) - ею должны обладать нагревательные приборы; 6) санитарно-гигиеническая безопасность (биоповреждения): а) заболевания вызывают микроорганизмы; б) насекомые, грызуны - зоологические повреждения; 7) противопожарная безопасность - отсутствие недопустимого риска для жизни, здоровья при хранении и эксплуатации товаров в результате возгорания или самовозгорания.

3. Покажите на примере качественной приемки какой-либо группы товаров в конкретном торговом предприятии (магазине, базе) следующее:

Наличие на исследуемый товар сертификата соответствия на безопасность и на качество;

Нарушение каких факторов качества (сырье, технологические процессы, конструкция, упаковка, маркировка, хранение) вызвал перевод изделия в брак;

По какому НД (полное обозначение и наименование стандарта или ТУ) производилась приемка по качеству и какие конкретно требования были нарушены (необходимо дать формулировку соответствующего пункта НД, где отражены эти требования);

Укажите величину приемочного и браковочного числа на исследуемый товар.

Проводилась приемка партии текстильных товаров (полушерстяных одеял) в магазине «Промтовары» ИП Белова Г.А.По российскому законодательству реализация потребителю большинства вида товаров невозможна без документа, подтверждающего их соответствие требованиям безопасности. Таким образом, проведение сертификации для ряда товаров является обязательным условием их вывода на рынок с целью последующей реализации.Одеяла относятся к товарам, подлежащим обязательной сертификации, так как их качество может повлиять на безопасность людей.Сертификат соответствия – это документ, подтверждаюoий соответствие продукции требованиям безопасности и качества, установленным для данной продукции в технических регламентах, сводах правил, действующих стандартов и другой документации.На одеяла имелись в наличии санитарно-эпидемиологическое заключение и сертификат соответствия в системе сертификации ГОСТ Р.Приемка товара осуществлялась по ГОСТ 20566-75 «Ткани и штучные изделия текстильные. Правила приемки и методы отбора образцов» на соответствие качества одеял требованиям ГОСТ 9382-78 «Одеяла чистошерстяные и полушерстяные. Общие технические требования».Согласно пункта 3 ГОСТ ГОСТ 20566-75 проверке качества штучных изделий по внешнему виду, соответствию упаковки маркировки требованиям НТД подвергают 100 % продукции.При внешнем осмотре партии одеял, состоящей из 20 штук, было обнаружено одно одеяло с необработанными краями – края одеяла не обшиты лентой и не обметаны.Таким образом, было нарушено требование пункта 1.11 ГОСТ 9382-78 «Одеяла чистошерстяные и полушерстяные. Общие технические требования», согласно которому, обрезные края одеял должны быть обшиты лентой или прочно обметаны через край на специальных обметочных машинах хлопчатобумажными нитками или нитками из химических волокон. Данное несоответствие возникло в результате нарушения технологического процесса изготовления одеяла - не выполнены операции по обработке краев.

Экспертные оценки и способы измерений.

Оценка эксперта – количественное и/или качественное измерение соответствующего показателя.

Методы получения количественных экспертных оценок

Непосредственная количественная оценка

Эксперт указывает конкретное числовое значение или диапазон искомого параметра.

Метод средней точки.

Применяется при большом количестве альтернативных вариантов.

Сначала выбираются наиболее (А) и наименее (Я) предпочтительные альтернативы. Далее – промежуточный вариант – М, оценка которого делит отрезок А – Я пополам.

Методы получения качественных экспертных оценок

Экспертная классификация (определение принадлежности к группе, сорту, категории – сорт чая)

Ранжирование альтернатив – упорядочение сравниваемых альтернатив по степени предпочтительности определённого признака.

Метод экспертных кривых применяется для получении прогнозов на основе анализа динамики показателей, характеризующих объект эксперимента (график, экстраполяция). Для предотвращения ошибок при экстраполяции на основе обобщенного мнения экспертов на графике определяются точки, в которых следует ожидать изменения тенденции развития показателя.

Инструментами вышеперечисленных методов являются качественные и количественные шкалы.

19. Способы оценки качеств экспертов и формирование экспертных комиссий.

Метод суда.

Процедура аналогична судебному заседанию. Часть экспертов – обвиняют, часть – защищают, часть – присяжные, выносящие окончательный вердикт. Экспертные оценки – субъективны, поэтому ключевой вопрос – подбор экспертов.

Оценка качеств эксперта .

Эксперт – специалист, профессионал, оценки и суждения которого лицо, принимающее решение, считает полезным учитывать в процессе принятия решения.

Формирование состава экспертной комиссии эависит от:

Конкретной ситуации принятия решения;

Возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;

Возможностей специалистов принять участие в работе экспертной комиссии.

Не существует общепринятой единой методики оценки качеств эксперта.

Можно опираться на:

Профессиональные знания;

Опыт и эффективность деятельности в составе экспертных комиссий.

Способы оценки качеств эксперта:

Априорные – не используют информацию о результатах участия эксперта в предыдущих экспертизах (самооценка, взаимная оценка, метод списка экспертов, документационный (анкетный) метод).

Апостериорные – используют информацию о результатах участия эксперта в предыдущих экспертизах (метод парных сравнений объектов, наиболее предпочтительных для данного эксперта, метод отклонения от результирующей групповой оценки).

Тестовые – подразумевают проведение специального испытания.

Тест должен быть специально разработан под конкретные объекты экспертной оценки

Истинные значения оцениваемых параметров (правильные ответы) не должны быть известны эксперту

Должна быть разработана шкала для определения точности оценок, даваемых экспертом

Вероятность случайного угадывания правильной оценки должна быть очень мала.

Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Проводят ряд аналогичных тестов и оценивают полученные результаты. Стабильность оценок говорит о профессиональной компетенции эксперта.

Экспертные методы - методы оценки, проводимые группой экспертов в условиях неопределенности или риска.

Экспертные методы используются для определения номенклатуры показателей качества, коэффициентов их весомости, для измерения показателей качества и их оценки органолептическим методом. Оценка показателей качества измерительным, регистрационным, расчетным методами применяется для определения комплексных показателей качества различных уровней иерархии.

Предназначены для экспертной оценки товаров в случаях, когда другие, ранее перечисленные методы неприменимы или неэкономичны.

Экспертные методы основаны на принятии эвристических решений, базой для которых являются знания и опыт, накопленные экспертами в конкретной области в прошлом.

Экспертным методам присущи определенные достоинства и недостатки.

Преимуществами является то, что они позволяют принимать решения, когда объективные методы невосприимчивы. К другим преимуществам относится их восстанавливаемость. Сфера применения этих методов - не только оценка качества товаров, но и исследование операций технологического цикла, принятие решений, управляющие, прогнозирования.

Экспертные методы, применяемые квалифицированными экспертами, позволяют дать точную оценку товаров. Проведенные эксперименты свидетельствуют, что при правильной методике экспертной оценки погрешность результатов составляет 5-10%, что допускается для измерительных методов. Полученные экспериментальным путем результаты экспертных оценок в различных группах экспертов показали их достаточно высокую восстанавливаемость.

К недостаткам экспертных методов относятся субъективизм, ограниченность применения, высокие затраты на их проведения.

Субъективизм экспертных методов является следствием того, что экспертная оценка проводится каждым экспертом индивидуально и представляет, по мнению Е. П. Райхмана ы Г. Г. Азгальдова "не что иное, как его психологическую реакцию на физические и химические характеристики продукции". Однако следует иметь в виду, что экспертная оценка складывается из мнений нескольких экспертов, каждый из которых является не только специалистом в определенной отрасли знаний, но и потребителем. Поэтому экспертная оценка в определенной мере отражает и мнения потребителей, что невозможно осуществить при других методах.

Вследствие значительной доли субъективизма экспертные методы имеют определенные ограничения. их использование рационально в двух случаях: во-первых, когда поставленные перед экспертами цели не могут быть решены другими методами; во-вторых, когда имеющиеся альтернативные методы дают менее точные и достоверные результаты или связаны с большими затратами.

Для устранения этого недостатка экспертные методы при проведении товарной экспертизы сочетаются с другими методами. Чаще всего вместе применяются экспертный и органолептический методы. Более того, при разработке шкал органолептической балловой оценки, выборе номенклатуры показателей качества, определении коэффициентов весомости экспертные методы незаменимы.

Экспертные методы подразделяются на три подгруппы: 1) методы группового опроса экспертов; 2) математико-статистические методы обработки экспертных оценок 3) методы экспертной оценки показателей качества.

Каждая группа экспертных методов в свою очередь подразделяется на виды и разновидности. Классификация экспертных методов представлена на рис. 1.3.

Рис. 1.3. в

Методы группового опроса экспертов - методы, основанные на проведении опроса группы экспертов с последующим анализом и обработкой полученной от них информации.

Целью этих методов является получение групповой экспертной оценки для принятия окончательных решений.

Основанием для выбора является необходимость принятия сложных решений в ситуации неопределенности или составление научно обоснованного прогноза, требующего участия группы независимых и компетентных специалистов в узкой области или многих областях знаний (например, знаний однородной группы товаров или всех продовольственных товаров).

Основные преимущества групповой экспертной оценки заключаются в возможности разностороннего анализа количественных и качественных аспектов проблем определения и/или прогнозирования отдельных характеристик товаров или их совокупности. Взаимодействие между экспертами позволяет значительно увеличить объем суммарной информации, которой владеет группа экспертов, в сравнении с информацией любого члена группы. К тому же количество факторов, учтенных при групповой оценке и влияющих на результативность принимаемого решения, больше, чем сумма факторов, учтенных одним экспертом. При групповой оценке меньше ошибка принятия основных решений и показателей, не имеющих существенного значения для решения проблемы. Поэтому важным преимуществом групповой оценки является возможность получения обобщенного результата.

К недостаткам групповых оценок относятся: трудности в получении надежной и согласованной оценки; получение неодинаковых ответов на один и тот же вопрос с большой разницей мнений из-за разной компетентности экспертов; получение однозначных ответов не гарантирует их обоснованности и достоверности, причем при проведении экспертизы это невозможно проверить; большее количество неверной информации у группы экспертов, чем у отдельного эксперта, может привести к значительным ошибкам в конечных результатах; возможность конфронтации, когда отдельные эксперты за неуверенности или иных причин могут соглашаться с мнением большинства.

Несмотря на указанные недостатки, экспериментально установлено, что при соблюдении определенных требований групповая оценка более надежна, чем индивидуальная. К таким требованиям относятся: приемлемое распределение оценок; групповая надежность; подготовка экспертизы.

Эффективность экспертизы зависит от точности и надежности полученных результатов, то есть от применяемых методов и от квалификации эксперта. Выбор эксперта является сложной задачей, чаще всего учитывают несколько личных свойств: компетентность - профессиональное и кваліметричну, заинтересованность эксперта в результатах экспертизы, отношение к делу, объективность. Почти не учитываются такие черты, как склонность к риску, другие психологические особенности.

Не разработан до сих системный подход к оценке качества эксперта; существующие методы оценки делятся на пять групп:

Эвристические;

Статистические - оценки, которые получают в результате анализа оценок экспертов с определением отклонений от средних значений;

Тестовые - оценки, полученные в результате выполнения тестовых заданий экспертами;

Документальные - оценки компетентности, полученные при анализе отдельных документальных данных экспертиз, проведенных экспертом;

Комбинированные - оценки, полученные во время анализа данных, полученных при сочетании перечисленных методов.

Эвристические оценки включают самооценку и оценку, сделанную коллективом экспертов. Самооценка чаще всего субъективная; для уменьшения субъективности применяют балльную шкалу по отдельным свойствам эксперта. Самооценку проводят соответственно по видам товаров и показателям качества, например, эстетичность изделий, эксперт оценивает себя анкетированием. Анкета включает периодичность ознакомления с современной отечественной и зарубежной литературой, с современными образцами продукции, с результатами социологических опросов.

Как разновидность самооценки применяют метод оценки по аргументированностью и ознакомления с продукцией, которая анализируется. Оценка проводится с помощью анкеты с определением коэффициента компетентности.

С помощью тестовых оценок возможно оценить такие важные свойства эксперта, как кваліметричну и профессиональную компетентность, объективность. Квалиметрична компетентность при проведении органолептической оценки заключается в многократном опросе экспертов для определения коэффициентов весомости несколько раз и определение достоверности оценок.

Профессиональная компетентность проверяется в виде контроля умение пользоваться различными типами оценочных шкал - порядка, отношений, интервалов, а также умения различать значительное количество характеристик, градаций при оценке свойств продукта, который анализируется.

При участии экспертов в коллективной оценке и обсуждении наблюдается явление конформизма, то есть попадание эксперта под влияние выводов других экспертов, что негативно влияет на формирование объективной оценки эксперта. Поэтому умение придерживаться своего мнения и отстаивать свои выводы имеет положительное значение во время проведения экспертизы коллективным методом и формирования объективной оценки.

Экспертные методы оценки качества основываются на использовании выводов экспертов. Они применяются при невозможности или нецелесообразности, неекономічності использования измерительных или расчетных методов. Это происходит при нехватке информации, необходимости применения и разработке специальных технических средств, при оценке эстетических показателей качества и тому подобное. Экспертные методы могут сочетаться с другими методами или применяться как самостоятельный вид во время оценки качества нормативной документации на продукцию и продукции, определении номенклатуры показателей и коэффициентов их весомости, при выборе базовых образцов и показателей качества, во время определения и измерения показателей качества органолептическим методом, во время оценки единичных и комплексных показателей качества, определенных измерительным или расчетным методом.

Основой экспертной оценки качества является объективная общественная полезность продукции, которая отражает ее современность. Мнение о качестве продукции, которую выражает квалифицированный эксперт, отвечает общественным потребностям и совпадает с мнением массового потребителя.

Однако в выборе товара потребитель придерживается консервативной позиции и новую продукцию принимает осторожно, а иногда и вовсе не воспринимает. В заключении экспертов о качестве товара обобщается совокупность мнений потребителей продукции. Исследования показали, что зафиксированы оценки качества товара экспертов совпадают с оценками качества продукции, которые получили во время массового опроса потребителей. Определение точности экспертных исследований за соблюдение методологии проведения экспертизы показало, что она составляет 5-10%.

в Отношении качества продукции, ее потребительских свойств экспертные методы используют в таких случаях:

Определение номенклатуры показателей во время проведения экспертизы;

Выбор критериев оценки продукта или товара и размещения показателей по принципу иерархии;

Определение коэффициентов весомости показателей качества для определения уровня качества продукта, товара;

Исследование показателей органолептическим методом с применением методов их количественного выражения;

Оценка показателей качества измерительным, регистрационным, расчетным методами для определения комплексных показателей качества различных уровней иерархии.

Чаще всего применяются следующие экспертные методы:

Ведущего эксперта (единичного);

Комиссий;

комбинированный.

Метод ведущего эксперта дает возможность быстро провести экспертизу, сократить время на процедуру согласования и обсуждения, статистическую обработку данных членами группы. Однако результаты экспертизы, проводимой одним экспертом, зависят от уровня его профессиональных знаний, личности, уровня компетентности.

Метод экспертных комиссий предполагает участие группы специалистов, которые проводят анализ и оценку. Такой метод позволяет получить достоверные, объективные результаты, но требует значительных затрат времени на подготовку и организацию экспертизы. Количество экспертов, которые формируют комиссию, зависит от требуемой точности и надежности результатов экспертизы. Экспертная комиссия состоит из двух групп - рабочей и экспертной. Рабочая группа осуществляет подготовку, организацию и проведение экспертной оценки качества продукции, последующий анализ ее результатов. В состав рабочей группы входят организатор, консультант, который владеет профессиональными знаниями о продукции, оценивают технические работники. Экспертная группа может состоять из нескольких подгрупп, каждая из которых специализируется на решении соответствующих задач - определении номенклатуры показателей, оценке отдельных групп показателей и тому подобное.

Комбинированный метод, который основывается на последовательном использовании работы ведущего эксперта и небольшой по количеству экспертной комиссии, применяется в некоторых случаях.

в Общей классификации экспертных методов нет. Однако применяют классификацию в зависимости от соотношения количества данных, полученных экспертным или аналитическим методом, способа получения информации от эксперта и некоторых других факторов.

в Зависимости от способа получения от эксперта информации различают методы:

Коллективный;

Индивидуальный.

При коллективном способе технический работник проводит опрос сразу всей группы экспертов, при индивидуальном - каждого эксперта отдельно. Для получения достоверных результатов необходимо четко и правильно поставить цель и задачи эксперту, при групповом методе это трудно, однако возможно при постоянно сформированном составе группы. При индивидуальном способе применяют интервью, интервью-анкеты, анкетирование, смешанное анкетирование. Опросы могут проводить очным и заочным способом. При очном способе эксперт излагает свои суждения лицу, проводящему опрос. При заочном опросе контакт между ними отсутствует и эксперт заполняет сам анкету или карточку опроса.

Во время проведения интервью технический работник делает отметку в форме беседы, которая проходит по программе и определенному перечню вопросов. Во время проведения интервью-анкеты перечень вопросов носит более конкретный, направленный характер, последовательность вопросов жестко определена. Анкета заполняется в присутствии эксперта.

Анкетирование отличается тем, что эксперт самостоятельно заполняет анкету, имея пояснительную записку по заполнению. Смешанное анкетирование предполагает предварительное объяснение эксперта по заполнению анкеты с уточнением задачи.

По информативности наибольшие возможности имеют методы интервью, интервью - анкеты, анкетирование. Самая большая независимость суждений характерна для метода анкетирования.

Для решения сложных ситуаций неопределенности или во время формирования научно - технического прогноза экспертиза требует участия группы эрудированных специалистов, хорошо осведомленных во многих областях знаний. Основное преимущество коллективной оценки заключается в возможности разностороннего анализа количественных и качественных аспектов проблем. Существуют проблемы, решить которые невозможно без участия специалистов. Предполагается, что мнение группы экспертов надежнее, чем мнение отдельного индивидуума, т. е. две группы одинаково компетентных экспертов с большей вероятностью найдут объективное решение.

Комбинирование операций по подготовке и проведению опросов экспертов, а также технических операций позволило создать несколько экспертных методов, получивших наибольшее признание и распространение. К ним относятся методы Дельфи, ПАТТЕРН и комбинированный.

Метод Дельфи (в некоторых источниках - Дельфи) - метод опроса экспертов, основанный на последовательно осуществляемых процедурах, которые направлены на формирование группового мнения по процедурам с недостаточной информацией.

Метод Дельфи был разработан в американской исследовательской компании РЭНД Корпорейшн В.Хелмером, Н.Долки и Т. Гордоном. Он использовался для военного научно-технического прогнозирования будущего. Срок Дельфы происходит от названия городка в Греции, где жили оракулы при храме бога Аполлона.

Особенностями метода Дельфи является: отказ от совместной работы экспертов; анонимность оценок; регулируемый обратной связи; групповая ответ.

Отказ от совместной работы экспертов и анонимность достигаются тем, что каждый эксперт высказывает свое мнение в анкете, без группового обсуждения. Применяются и другие технические приемы индивидуального опроса, например, ответы на вопросы вводятся экспертами в ЭВМ. Это позволяет уменьшить расхождение индивидуальных оценок и получить групповой ответ, что правильно отражает мнение каждого эксперта.

Анонимность опроса позволяет уменьшить конформний авторитарный влияние отдельных доминирующих экспертов, регулируемый обратная связь уменьшает влияние индивидуальных и групповых интересов. Введение обратной связи также повышает критерий объективности и надежности оценок.

При использовании этого метода для целей экспертной оценки качества потребительских товаров оказываются следующие его недостатки: сложность опрос экспертов и заполнение анкет, трудоемкость оценки в связи с большим количеством показателей качества (иногда до 20-40) и заполнением нескольких анкет (3-10), громоздкость записей объяснений из-за отсутствия прямого контакта организатора с экспертами.

Метод перспективен для получения групповой экспертной оценки и углубленного анализа событий в ситуациях неопределенности.

Метод ПАТТЕРН - метод опроса экспертов, основанный на построении иерархической структуры - дерева целей - и вынесении постановления этих целей после открытого обсуждения.

Название метода состоит из первых букв английских слов, означающих "Помощь планированию путем количественной оценки технических данных".

Метод разработан в американской фирме "Хонкуелл" для оценки проектов новых систем вооружения. Метод имеет аналоги: ПРОФАЙЛ, во Франции - метод КПЭ, ПРОПЛЕН тому подобное.

Метод ПАТТЕРН предусматривает несколько этапов.

I этап - постановка основной проблемы, требующей решения, и разделение ее на ряд вторичных проблем первого, второго и т. д. порядка, которые затем делятся на более узкие задачи. Деление продолжается до тех пор, пока не будут получены простые элементы, которые могут быть оценены экспертами.

В результате такого деления получается иерархическая структура связанных друг с другом основных, вторичных проблем и задач, называемых деревом целей.

II этап - определение с помощью экспертов коэффициентов весомости (или значимости) каждого задания в отношении основной цели, при этом эксперты выносят решение после открытого обсуждения в экспертной группе.

Такое открытое обсуждение наряду с положительным фактором - взаимодействие экспертов, которые стремятся к принятию положительного решения, - имеет и негативные последствия из-за конформизма, т. е. искажения действительного мнения экспертов за счет внушения или приспособления к мнению большинства.

III этап - применение ЭВМ для обработки полученных данных и их анализа. Преимуществами метода ПАТТЕРН является упрощение процедуры экспертного опроса. Недостатки: отсутствие обоснований оптимального числа членов экспертной группы, а также методики отбора в экспертную группу компетентных специалистов; обработка результатов опроса без учета различий как отдельные эксперты; отсутствие барьеров для проявления конформизма экспертов; недостаточная разработка и неопределенность принципов построения дерева целей.

Поскольку методы Дельфи и ПАТТЕРН имеют существенные недостатки и не соответствуют полностью целям экспертной оценки, Ое. Л. Райхман и Г. Г. Азгальдов предложили комбинированный метод, в котором были использованы положительные особенности других экспертных методов и исключены их недостатки.

Комбинированный метод - метод, основанный на сочетании индивидуальных и коллективных экспертных оценок.

Преимуществами комбинированного метода, является достаточная гибкость, которая позволяет исключить ошибки при опросе экспертов и повысить достоверность результатов экспертизы, четкое определение стратегии путем классификации задач по степени значимости и операций по их выполнению, высокая воспроизводимость результатов.

К недостаткам метода относится багатоопераційність, которая требует значительных затрат времени и средств. Однако этот недостаток окупается повышенной достоверностью и восстановлению результатов.

Для оценки качества товаров комбинированный метод имеет общий алгоритм экспертных операций:

1. Этап подготовительный:

Формирование рабочей группы;

Формирование экспертной группы;

Классификация продукции и потребителей;

Построение структурной схемы показателей качества.

2. Этап получения индивидуальных экспертных оценок:

Выбор процедуры назначения оценок экспертами;

Выбор метода получения информации от эксперта и подготовка документов, необходимых для опроса;

Опрос экспертов.

3. Этап получения коллективных экспертных оценок:

Обобщения индивидуальных экспертных оценок;

Определение согласованности индивидуальных экспертных оценок;

Определение объективности коллективных экспертных оценок.

Для каждого этапа есть соответствующие задачи. В период подготовительного этапа решаются такие задачи, как определение функций и структуры рабочей группы, ее количественного состава, обязанностей отдельных членов. Определяются и разрабатываются принципы формирования экспертной группы: относительно количества экспертов, их профессиональной подготовки и тому подобное.

На втором этапе происходит определение техники опроса экспертов, оцениваются наличие контакта между экспертами, метод передачи информации и форма экспертных оценок. Эксперты могут определять оценки самостоятельно или после обсуждения с другими экспертами или ознакомления с анонимными экспертами. Оценки обосновываются, определяются в количественной форме и дихотомічній, где ответы даются в форме "да", "нет" или 0-1.

Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для анализа, подготовки и принятия решений. Возможности преобразования информации в соответствующие формы зависят от специфических особенностей объекта, полноты данных о нем, надежности, уровня принятия решения, а также от принятого критерия, зависит от исследуемой проблемы.

Одним из элементов, общим для многих экспертных методов, является коэффициенте весомости.

Коэффициент весомости - количественная характеристика степени значимости конкретного показателя для оценки качества.

Определение коэффициентов весомости показателей качества производится экспертным методом. Коэффициенты весомости предназначены для повышения достоверности экспертной оценки качества товаров.

Каждый показатель занимает в номенклатуре показателей качества по значимости определенное место. Эксперты ранжирования показателей по степени значимости осуществляют на основании профессиональных знаний и умений. Кроме того, любой квалифицированный эксперт стремится оценить показатели качества обследованного товара с позиций массового потребителя.

Если эксперт имеет возможность сравнить и оценить возможные варианты действий, предоставляя каждому из них определенное число, то он обладает определенной системе или шкале предпочтений. Правильное применение шкал имеет важное значение для обеспечения точности экспертных оценок. Различают следующие типы шкал: номинальная, порядковая, интервальная, отношений. Но наибольшие преимущества перед другими имеет шкала порядка благодаря относительной простоте экспертной оценки показателей качества по степени значимости. Характеристики шкал приведены в табл. 1.1.

Шкала номинальных наименований используется для того, чтобы отличить один объект от другого. Объекты должны быть пронумерованы, однако цифрами обозначается объект, а не его количественная характеристика. Это более простой тип измерения, в котором числа или символы используются только для классификации объектов. Шкала может быть использована для цифрового кодирования отдельных свойств в анкетах, для определения коэффициентов весомости.

Шкала порядковая (рангов) - такой метод оценивания, при котором параметры, показатели или объекты, которые оцениваются, располагаются в порядке роста или снижения показателя параметра (показателя) или свойств объекта. Классическим примером оценивания с использованием порядковой шкалы является оценка твердости минералов по шкале Мопса (шкала относительной твердости состоит из 10 эталонов твердости, причем твердость талька принята за 1, алмаза - 10). Этот способ может использоваться при определении интенсивности цвета муки, аромата фруктовых соков, букета вин, консистенции сыров. Порядковая шкала имеет преимущества при ее применении для определения коэффициентов весомости, поскольку упрощается процесс упорядочивания показателей качества по значимости для потребителей.

Таблица 1.1. Типы шкал и их характеристика

Тип шкалы	Определение шкалы	Отношения, задаваемые на шкале
Номинальная	Простой тип измерения, в котором числа или символы используются только для классификации объектов.	Эквивалентность (=)
Порядковая (ранги)	Объекты одного класса находятся в соответствующем отношении 3 объектами другого класса (больше чем, больше преимуществ, сильнее и тому подобное). Если [А]>[В] для некоторых объектов классов А и В, то имеет место частично упорядоченная шкала.	Эквивалентность (=). Больше чем (>).
Интервальная	Порядковая шкала, которая разделена на известные расстояния между двумя любыми числами на шкале, нулевая точка шкалы и единица измерения выбираются произвольно.	Эквивалентность (=) Больше чем (>). Отношение любых двух интервалов известно.
Отношений	Интервальная шкала с применением истинной нулевой точки, отношение любых двух точек не зависит от единицы измерения.	Эквивалентность (=). Больше чем (>). Определено отношение любых двух интервалов. Определено отношение между любыми двумя точками.

При определении коэффициентов весомости показателей качества эксперты сначала оценивают наиболее важный из этих показателей (по их мнению) и присваивают ему определенное число, например 1. Все дальнейшие показатели оценивают в убиваючому или возрастающем порядке по степени значимости.

После этого данные всех экспертов усредняются по каждому показателю.

В практике оценки качества товаров часто используется метод определения коэффициентов весомости, названный "методом фиксированной суммы". Суть его заключается в том, что эксперты назначают коэффициент весомости показателей, входящих в показатель верхнего уровня, причем сумма этих коэффициентов должна быть равна заранее определенному числу.

"Метод фиксированной суммы" целесообразно применят только при небольшом количестве показателей.

Практический опыт показывает, что при экспертной оценке качества товаров целесообразно применять следующие процедуру определения коэффициентов весомости.

1. Предварительное ранжирования экспертами показателей однородной группы. Ранг 1 присваивается самому важному показателю, 2 - следующему по важности и так далее Если показатели равнозначны по значимости, то им присваиваются одинаковые ранги. Количество показателей в однородной группе должно быть 4 и более. При меньшем количестве ранжирование не проводится.

2. Определение экспертами коэффициентов весомости показателей. Показателю 1-го ранга присваивается коэффициент весомости 10. Коэффициент весомости следующего по важности показателя определяется как доля важности первого показателя. При определении третьего и последующих показателей учитывается их важность в сравнении с предыдущими. В результате этих последовательных действий эксперт определяет коэффициенты весомости единичных, а затем комплексных показателей качества.

3. Ознакомление экспертов с значениями коэффициентов весомости (их обоснованиями), назначенными другими экспертами.

Обоснование коэффициентов весомости - очень трудоемкая операция, поэтому применяется при ограниченном числе показателей (около 10- 15). Иначе экспертам предлагается дать обоснование только по некоторым показателям на их усмотрение.

4. Усреднение значений коэффициентов весомости, определенных всеми экспертами. Проводят технические работники путем расчета среднеарифметической или средневзвешенной В последнем случае учитывается комплексная оценка качества эксперта.

Недостатками шкалы является неточность ранговых оценок за отсутствия уравнения интервалов, невозможность расчетов даже средней арифметической величины.

Шкала интервалов. Это такой метод оценивания, при котором существенной характеристикой является разность между значениями оцениваемых параметров, которая может быть выражена числом единиц, предусмотренных этой шкале. С помощью такой шкалы проводят ранжирование объектов, а также в определенных единицах устанавливают, на сколько один объект больше другого. Примером шкалы интервалов является шкала Цельсия, которая разбита на 100 равных интервалов и применяется для характеристики таких свойств продукции, которые связаны с температурными режимами, например, морозостойкость синтетической кожи, минимальная температура морозильной камеры в холодильнике.

Шкала отношений позволяет достичь высочайшего уровня измерения. Это такой метод оценивания, при котором используется единица измерения, она применяется для большинства параметров, которые представляют собой физические величины: размер, вес, плотность, силу, напряжение, частоту и тому подобное. Результаты измерения по шкале имеют свойства чисел, которые можно подвергать статистической обработке. Примером такой шкалы является температурная шкала Кельвина, началом которой является абсолютный нуль.

При сравнении шкалы интервалов и отношений определено, что с помощью последней получаются более точные результаты. Кроме того, оценки, полученные по шкале интервалов, можно использовать с целью вычисления средних взвешенных величин, расчеты которых характерны для экспериментальных опросов. Шкала отношений может быть основной для экспертного метода, шкалу порядка можно применять при достаточном обосновании.

В практике экспертной оценки применяют два основных вида шкал-размерные и безразмерные. Данные безразмерных шкал выражают в долях единицы, процентах, баллах.

Математико-статистические методы обработки экспертных оценок - методы, предназначенные для повышения достоверности результатов оценки качества товаров экспертами.

Они подразделяются на четыре подгруппы: ранжирования, непосредственной оценки, последовательных предпочтений и парных сравнений.

Ранжирование - метод, основанный на расположении объектов экспертизы в возрастающем или убиваючому порядке.

Предназначен для решения многих практических задач, когда объекты, определяющие конечные результаты, не поддаются непосредственному измерению. Кроме того, отдельные объекты, характеризующихся различной природой, бывают несовместимыми, поскольку у них нет общей меры сравнения. Основанием для ранжирования является необходимость упорядочения любого объекта во времени и пространстве, а также в соответствии с измеряемой качества без проведения точных измерений. И наконец, в ситуации, когда качество, которое измеряется, в принципе не может быть измерено по причинам практического и теоретического характера.

Процедура ранжирования состоит в расположении объектов экспертом в наиболее рациональном порядке и присвоении им определенного ранга в виде числа натурального ряда. При этом ранг 1 получает наиболее важный объект, а ранг п - наименее важный. В результате получена шкала порядка, в которой число рангов равно числу объектов Если два объекта имеют одинаковые ранги, то им приписывают так называемые стандартизированные ранги, которые рассчитываются как среднее суммы мест объектов с одинаковыми рангами.

Например, шести объектам присвоены следующие ранги:

Объекты 2 и 5 поделили 2-е и 3-е места. их стандартизированный ранг будет равен

(2 + 3) /2 = 2,5.

Объекты 3, 4 и 6 поделили 4-е, 5-е и 6-е места, а их стандартизированный ранг равен 5:

(4 4-5 + б)/3 = 5. В результате получается следующее ранжирование:

Метод ранжирования редко применяется в чистом виде. Чаще всего он сочетается с методом непосредственной оценки или его модификациями (ранжированием по сумме оценок, комбинированным способом и др.).

Метод непосредственной оценки заключается в том, что диапазон изменения какой-либо количественной переменной разбивается на несколько интервалов, каждому из которых присваивается определенная оценка в баллах, например от 0 до 10. Шкала оценок может быть положительной и отрицательной, например, от +3 до -3.Эксперт должен включить каждый объект в определенный интервал в зависимости от его значения. Число интервалов, на которые разбивается весь диапазон изменения качества, может быть неодинаковым у разных экспертов. Отдельным экспертам разрешается оценивать одинаковым числом качественно различные факторы.

В некоторых случаях оказывается удобнее для выбора наиболее предпочтительного фактора сначала произвести оценку, а затем ранжирование.

Суммарные оценки рангов могут нормироваться, это позволяет установить более тесную связь между оценками, которые эксперты предоставили отдельным объектам. С этой целью оценки по всем объектам суммируются и в дальнейшем каждая из них делится на полученную сумму. Рассчитанные таким образом нормированные оценки можно снова подвергнуть ранжуванню.

При проведении экспертизы несколькими экспертами стремятся получить усредненную оценку для каждого объекта. С этой целью нормированные оценки каждого объекта суммируются, полученная сумма делится на число экспертов. Второй способ определения зависимости между оценками факторов заключается в том, что важнейшему фактору дается оценка (устанавливается весомость) за определенным числом 1 или 10, следующие факторы оцениваются как доля важнейшего фактора. Преимущество метода в том, что облегчается процесс выбора оценок, потому что не нужно каждый раз сопоставлять весь ряд, а лишь учитывать значение первой и предыдущей по важности оценки. Оценки усредняются путем расчета средней арифметической.

Метод последовательных преимуществ - основанный на сравнении отдельного объекта с суммой последующих объектов для установления его важности. применяется при измерении уровня качества, оценке деятельности научных организаций. Метод имеет такое основное преимущество по сравнению с другими методами, которая дает возможность сопоставления и измерения качественно различных факторов.

Метод разработан В. Черчменом и Г. Акофом и предназначен для проведения сравнений с учетом определенных допусков.

Порядок представления результатов или их группировки не влияют на преимущества.

Процедура последовательных сравнений заключается в следующем. Эксперту представляется ряд объектов (показателей, факторов, результатов), которые необходимо оценить по их относительной важности (значимости), и он производит ранжирование. Наиболее важному объекту присваивается оценка, равная 1, остальных объектов - оценки ниже 1 до 0 в порядке их относительной важности. Затем эксперт устанавливает, является ли объект с оценкой 1 более важным, чем сумма последних факторов. Если важность объекта велика, то он увеличивает оценку, чтобы она была больше, чем сумма всех других.

Если значение объекта ниже, чем сумма всех других он корректирует оценки.

Таким образом, используемая процедура состоит в систематической проверке оценок путем их последовательного сравнения.

Метод последовательных предпочтений целесообразно применять, если число сравниваемых объектов не превышает 7. При большем количестве объектов их необходимо разбивать на подгруппы, которые включают 6 объектов. В тех случаях, когда это невозможно, следует использовать метод парных сравнений.

Метод парных сравнений - основан на сравнении объектов экспертизы попарно для установления наиболее важного в каждой паре.

Применяется с целью выявления преимущества среди значительного количества факторов, проблем, показателей. Эксперты могут просто проводить сравнение с констатацией превосходства одного фактора перед другим. Возможно применение специальной шкалы предпочтений, где каждая степень преимущества имеет свою определенную оценку.

Метод парных сравнений может использоваться и для установления суммарных рангов факторов.

Для облегчения процедуры составляют матрицы парных уравнений, в которых все объекты (факторы) записывают в одном и том же порядке дважды: в верхней строке и крайнем левом столбце. Каждый эксперт должен проставить на пересечении строки и столбца оценку для двух сравниваемых факторов. В зависимости от того, какой фактор является наиболее важным, эта оценка будет равна соответственно 1 или 0. В главной диагонали такой матрицы проставляются прочерки или нули (таблица. 1.2).

Таблица 1.2.

Каждая пара факторов может сравниваться единожды или дважды. Существуют различные варианты частичного парного сравнения: выбор предпочтительного объекта из заранее сгруппированных пар; частичное парное сопоставление одной группы объектов со всеми другими, тогда как остальные факторы сопоставляется с некоторыми другими; установление суммарных рангов факторов.

Метод парных сравнений иногда сочетают с предварительным ранжированием объектов, при этом парное сравнение используется для уточнения преимущества отдельных объектов. В этом случае строится дополнительная матрица, в которой указывается доля случаев, когда один фактор оказывается более значимым, чем другой, в общем числе полученных оценок.

Методы экспертной оценки показателей качества товаров - это методы определения действительных значений единичных и комплексных показателей качества.

Предназначены для определения значений показателя качества расчетным или эвристическим путем в случаях, когда использование измерительных методов невозможно или неэкономичное из-за чрезмерных расходов на их применения или длительного времени испытаний. Например, при определении вкуса и запаха пищевых продуктов используются только органолептические методы. Измерительные методы не дают точной надежной оценки, не смотря на повышенные затраты.

Для дифференциальной и комплексной оценки образцов, которые значительно отличаются по качеству, рекомендуется определять значение единичного показателя Р следующим образом:

где Р;5- базовое (эталонное значение).

Другой, более точный метод основан на исследовании показателей с целью определения видов зависимости и, т. е. с целью разработки формул для расчетов оценок показателей:

Оценка единичных показателей качества начинается с определения допустимых интервалов их изменения (Р; - Р;) Р; -наилучшее значение показателя, превышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого значения показателя зависят от цели оценки качества, при этом необходимо чтобы для всех показателей этот принцип был единым.

Повышение надежности экспертных оценок достигаете путем разделения сложных операций на простые, которые составляют многоступенчатую процедуру оценки допустимых значений показателя. Переход к каждому следующему уровню осуществляется после принятия согласованных решений на предыдущий.

Экспертная процедура определения допустимых значений показателей качества заключается в ряде операций:

выдачи экспертам анкет и пояснительных записок, в которых перечислены показатели качества и описаны принципы выбора допустимых значений показателей;

заполнения экспертами анкет и указания конкретных моделей продукции, значения которых они считают предельно допустимые;

ознакомление каждого эксперта с оценками, указанными другими экспертами, и их обсуждение;

проведение второго (иногда третьего и четвертого) тура анкетирования;

Усреднение результатов оценки.

При значительной разнице мнений проводится дополнительный тур голосования. Значение показателя берется за максимальное, если за него подано не менее 70% голосов. При невыполнении этого условия за максимально допустимое значение принимается среднее из 50% наибольших значений рімакс, за минимальное допустимое значение - среднее из 50% наибольших значений значения используются экспертами при определении оценок показателей качества К.

Для определения экспертами вида зависимостей (и) между значением показателей Г; и их оценкам К нередко используется "главный метод точек". Необходимость его использования обусловлена тем, что разделение процедуры оценки на несколько этапов упрощает работу эксперта и позволяет ему дать оценки некоторым характерным точкам, исходя из которых можно построить модель действительной величины.

"Метод главных точек" в зависимости от их числа имеет несколько разновидностей.

"Метод трех главных точек" - основан на разделении значений показателей Г; на максимальное, минимальное, среднее значения и определении значений оценок Р; в этих точках. Интервал шкалы между максимальной и минимальной точками задается заранее (шкалы 0-1 или 0-10). В задачу эксперта входит также определение тенденции зависимости в интервале между главными точками и построение графика. После этого от графической зависимости можно перейти к аналитической формулы для расчета оценок показателя качества Кі "Метод трех главных точек" позволяет разработать лишь приближенную модель оценки.

"Метод семи главных точек" - метод оценки по семибалльной шкале оценки показателей, значения которых определены экспериментальным или расчетным путем, а также органолептическим методом.

Семибальна шкала является равномерной, то есть при переходе от одного класса качества в другой оценка меняется на один балл. Эти шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.

Для облегчения работы эксперта в пояснительной записке к анкете приводят пять графиков. Эксперт выбирает кривую (или комбинацию кривых), которая лучше всего, по его мнению, отражает характер зависимости и Затем каждому класс качества назначается оценка в соответствии с характеров зависимости и значениями показателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс "высочайшее качество" получает оценку 10.

Таким образом, график, построенный экспертом, характеризует зависимость между абсолютными значениями показателей Pi и их оценками К;, а для показателей, оцениваемых органолептическим методами, - между классами качества и их оценками.

В заключение проводится обсуждение полученных результатов, их обработка и анализ. Для показателей, которые определяются измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.

Применение "метода главных точек" дает возможность осуществлять группировку и классификацию показателей по видам зависимости.

Определение комплексных показателей качества осуществляется двумя видами методов:

методами комплексной оценки качества образцов товаров;

методами построения моделей комплексных показателей качества.

Методы комплексной оценки качества имеют две разновидности - экспресс-метод и методы движения по уровням без подготовки и с подготовкой.

Экспресс-методы комплексной оценки качества образцов товаров основаны на определении комплексного показателя качества путем анализа значений отдельных единичных показателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.

При использовании этих методов необходимо учесть, что предельным количеством оцениваемых показателей даже для высококвалифицированного эксперта 7-9 показателей, расположенных на одном уровне иерархии, которые составляют довольно однородную группу. Кроме того, эксперты должны учитывать важность отдельных показателей с помощью коэффициентов весомости, взаимосвязь между ними, а также рассматривать качество товара как систему.

Метод движения по уровням без подготовки является комплексом операций, которые осуществляются последовательно, с постепенным повышением уровня. При этом анализ начинается с нижнего уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.

Метод движения по уровням с подготовкой основан на предварительном определении экспертами коэффициентов весомости показателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплексных показателей аналогична процедуре метода движения по уровнях без подготовки.

Формализация процесса экспертной оценки заключается в нахождении зависимости между значениями показателей качества Г; (или их оценкам К) и показателем качества вышележащего уровня, т. е. в определении вида решающей функции, которой пользуются эксперты при назначении комплексных показателей. При этом решающая функция, как и любая модель упрощает объект исследования, поскольку учитываются не все показатели и связи между ними.

Исходными данными для определения вида функции могут служить результаты оценки качества различных образцов экспресс-методами или методами движения по уровням. Тогда оценки, назначенные экспертами, сводятся в общую матрицу, каждая строка которой является набором оценок единичных показателей образца и комплексных экспертных оценок. На основании этого могут быть разработаны машинные алгоритмы и составлены программы для нахождения решающих функций с помощью ЭВМ .

Технология экспертной оценки качества. Количественные методы оценки: Экспертные оценки

19. Способы оценки качеств экспертов и формирование экспертных комиссий.

Последние

Это нужно знать