eng
Выпуск #6/2020
А.П.Федоткин, И.В.Лактионов, Е.В.Гладких, К.С.Кравчук
Применение алгоритмов машинного зрения для автоматического измерения микротвердости по Виккерсу
Применение алгоритмов машинного зрения для автоматического измерения микротвердости по Виккерсу
Просмотры: 2233
DOI: 10.22184/1993-8578.2020.13.6.392.398
Продемонстрированы возможности современных алгоритмов машинного зрения анализировать отпечатки, полученные на отечественном микротвердомере "НаноСкан-HV". Подтверждена возможность автоматизации процедуры измерения микротвердости для широкого круга исследуемых материалов.
Продемонстрированы возможности современных алгоритмов машинного зрения анализировать отпечатки, полученные на отечественном микротвердомере "НаноСкан-HV". Подтверждена возможность автоматизации процедуры измерения микротвердости для широкого круга исследуемых материалов.
Теги: machine vision microhardness microhardness meter машинное зрение микротвердометр микротвердость
А.П.Федоткин1, 2, стажер-исследователь, И.В.Лактионов1, 2, стажер-исследователь, Е.В.Гладких1, мл. науч. сотр., (ORCID: 0000-0001-8273-3934), К.С.Кравчук1, к.ф.-м.н., науч. сотр., (ORCID: 0000-0002-9956-9939) / kskrav@gmail.com
A.P.Fedotkin1, 2, Intern researcher, I.V.Laktionov1, 2, Intern researcher, E.V.Gladkikh1, Junior Researcher, K.S.Kravchuk, Cand. of Sc. (Physics and Mathematics), Researcher
DOI: 10.22184/1993-8578.2020.13.6.392.398
Получено: 25.10.2020 г.
ВВЕДЕНИЕ
Измерение твердости по отпечатку пирамиды (Виккерс, Кнуп) является повсеместно используемым методом определения твердости материалов для лабораторного и промышленного применения. Метод заключается во вдавливании с заданной нагрузкой алмазной пирамиды в исследуемый материал и последующем определении размеров получаемого отпечатка с помощью оптического микроскопа. Согласно существующим стандартам (ГОСТ 9450-76, ГОСТ 2999-75) [1], твердость по Виккерсу определяется как отношение нагрузки к площади пластического отпечатка. Площадь отпечатка вычисляется как произведение диагоналей квадратного отпечатка на определенный коэффициент. Как правило, от точности определения длин диагоналей прежде всего зависит неопределенность (погрешность) измерения твердости.
Уже более 20 лет существуют методы автоматического определения размеров отпечатков по микрофотографии с помощью алгоритмов компьютерного зрения. В этой статье приведен обзор основных семейств таких алгоритмов. Описан результат их работы на типичных образцах. Кроме известных подходов, используются их модифицированные версии и новые оригинальные решения, реализованные на твердомере "НаноСкан-HV".
Алгоритмы автоматической разметки позволяют проводить большое количество измерений без участия человека, или с минимальным его участием. Проведение десятков-сотен измерений – это сложная монотонная работа, требующая существенных временных затрат.
Также алгоритмы избавляют от человеческого фактора, вызванного усталостью или субъективными особенностями разных операторов. В промышленном использовании специализированные алгоритмы позволяют быстро и надежно проводить стандартизированные измерения для контроля характеристик производимых изделий.
Алгоритмы можно разделить на два основных семейства: на основе поиска областей, занятых отпечатком и недеформированной поверхностью, и на основе поиска границ. Существует множество модификаций таких алгоритмов, постоянно создаются алгоритмы, комбинирующие эти принципы или основанные на других подходах [2–5].
Наиболее простой для автоматической обработки является ситуация, когда отпечаток представляет собой темный квадрат на гладком светлом фоне с ровными краями.
Большинство алгоритмов, как универсальных, так и специализированных, стабильно работает с такими отпечатками. Однако такая ситуация реализуется крайне редко. В большинстве случаев изображение имеет дефекты, вызванные свойствами материалов, условиями проведения измерений, используемым оборудованием и подготовкой образцов.
Часто встречающимся дефектом поверхности являются царапины, возникающие при шлифовке или грубой полировке образцов. Полировка образцов до гладкого состояния, при которой царапины становятся неразличимыми в оптический микроскоп, не всегда возможна. Подготовку поверхности нельзя проводить из-за нанесенного покрытия, сложной формы готовой детали или нехватки времени.
Кроме того, на поверхности могут проявляться дефекты, обусловленные структурой исследуемого материала.
При индентировании хрупких материалов могут возникать трещины. Обычно началом трещины является угол отпечатка. Трещина продолжается в направлении от центра отпечатка наружу вдоль ребра индентора. Такой дефект, расположенный непосредственно в искомой вершине, может повлиять на работу алгоритмов.
Как следует из работы [6], в зависимости от отношения модуля упругости к пределу текучести, вокруг отпечатка могут наблюдаться навалы (pile-up) или провалы (sink-in). Также форма границ отпечатка нередко отличается от прямой. Границы отпечатков образцов с неравномерной структурой могут иметь волнообразную форму.
Кроме того, для некоторых материалов характерны неконтрастные границы материалов или неразличимые визуально фон и отпечаток. Подобные особенности некорректно называть дефектами, но они значительно осложняют процесс автоматической разметки.
МАТЕРИАЛЫ
Для исследования работы алгоритмов были взяты образцы материалов, сильно отличающиеся по твердости, однородности, прозрачности и шероховатости поверхности.
Сталь 20 – конструкционная сталь, смесь двух сильно различающихся по твердости фаз феррита и перлита. Показаны отпечатки на поверхности после тонкой полировки (рис.1а) и грубой шлифовки (рис.1c) поверхности. БрАЖМц 10-3-1,5 (рис.1b) – алюминиевая бронза, сплав меди с алюминием, легированная железом и марганцем. Поликарбонат (рис.1c) – прозрачный полимер, полученный литьем. Кубический нитрид бора (рис.4d) – сверхтвердый материал, полученный спеканием порошка.
ОБЗОР ПОДХОДОВ К АВТОМАТИЧЕСКОЙ РАЗМЕТКЕ ОТПЕЧАТКОВ
Главным требованием к алгоритмам, используемым для автоматической разметки отпечатков, является точное определение длин диагоналей. Большинство современных алгоритмов для определения длин диагоналей определяют координаты углов отпечатка, и на их основе вычисляют длины диагоналей.
Существуют два доминирующих подхода. Первый подход основан на разделении областей изображения на фон и внутреннюю поверхность на основании яркости [2–4]. Такие методы требовательны к равномерности освещенности образца, фона, значительной разнице в яркостях изображения и фона, но не требуют наличия выраженной границы фона и отпечатка.
Второй подход опирается на поиск границ отпечатка [5]. Этот подход требует наличия контрастных границ и хорошего соответствия формы отпечатка идеальной. Поиск отпечатка по границам оказывается эффективен тогда, когда внутренние и внешние области отпечатка не различимы.
Алгоритмы, основанные на бинаризации
Пороговая фильтрация является классическим способом разделения фона и отпечатка, использующимся во множестве алгоритмов. Метод заключается в присваивании каждому пикселю изображения в оттенках серого значения 1 или 0 в зависимости от того, превышает ли его яркость пороговое значение. Такой подход позволяет упростить изображение и применить для поиска углов отпечатка простые и производительные алгоритмы (рис.2).
Важной особенностью пороговой фильтрации на практике является значительная зависимость результата от выбора порогового значения. Для приемлемого разделения алгоритмы должны автоматически подбирать порог для изображений различной яркости и контраста. Обычно для выбора порогового значения используется метод Оцу [7]. Метод Оцу выбирает порог таким образом, чтобы дисперсия внутри разделенных классов была минимальной. К сожалению, этот подход далеко не всегда оказывается эффективным применительно к микрофотографиям, например в следствие многофазности материала (рис.2e) или наличия на поверхности следов обработки (рис.2c).
Пороговая фильтрация не приносит желаемого результата вне зависимости от выбора порога в случае, когда яркость фона оказывается сопоставима с яркостью отпечатка (рис.2d), или изменение яркости внутри фона и отпечатка превышает различие между ними (рис.2e). Пороговая фильтрация неприменима к таким изображениям. Как правило, использование более сложных методов сегментации, таких как сегментация по водоразделам [8] или GrabCut [9], также не приносит желаемого результата на подобных изображениях, или незначительно расширяет область применимости алгоритма. При этом их использование требует значительно больших вычислительных ресурсов.
Основным требованием к изображению после пороговой фильтрации является четкое выделение углов отпечатка. Наличие дефектов в углах отпечатка (рис.2b) ведет к снижению точности определения его координат.
Алгоритмы, основанные на бинаризации, не требовательны к форме отпечатка и наличию контрастной границы. Эти алгоритмы эффективно работают на металлических, хорошо отполированных образцах.
Детектор границ, преобразование Хаффа
Обычно для поиска границ используется детектор границ Кaнни [10], выделяющий резкие перепады яркости на изображении в оттенках серого (рис.3). Далее по выделенным границам осуществляется поиск сторон или углов отпечатка. Классическим алгоритмом, применяемым для поиска сторон, является преобразование Хаффа [11], позволяющее выделить прямые на изображении.
По представленным на рис.3 изображениям видно, что детектор границ хорошо справляется с поиском границ на гладко отполированных образцах, не обладающих выраженной текстурой (рис.3a, b). Царапины и текстура образца выделяются детектором как границы (рис.3с, d, e) и осложняют дальнейший поиск границ. Наличие протяженных царапин (рис.3с), которые обычно возникают при полировке и часто присутствуют на образцах, с большой вероятностью ведет к некорректному определению прямых, являющихся границами индента.
На образцах с невыраженной границей (рис.3d, e) детектор не смог определить границу отпечатка. Алгоритмы на основе анализа границ не применимы к таким изображениям.
Алгоритм, основанный на максимальном разделении цветовых компонент изображения в области отпечатка и недеформированной поверхности
Для прибора "НаноСкан-HV" проектируется собственный алгоритм автоматической разметки, основанный на максимальном разделении цветовых компонент (рис.4). В основе алгоритма лежит пространственное разделение внутренней и внешней части образца с помощью настраиваемых масок и итеративное приближение формы и размера масок к форме отпечатка на основе минимизируемой функции разделения цветовых компонент во внешней и внутренней области отпечатка.
Такой подход позволяет эффективно обрабатывать изображения с дефектами на границе изображения, отличающимися и от внутренней части отпечатка, и от фона. Также данный подход позволяет игнорировать протяженные дефекты, обладающие малой площадью, которые приводят к ложному определению прямых, или неверно сегментируются при пороговой фильтрации (царапины, трещины).
Недостатком такого подхода является увеличение ошибки при неточном совпадении сложной формы индента с формой маски, определяемой ограниченным числом параметров.
Применение алгоритма невозможно в текущем виде на изображениях (рис.4d, e) вследствие неразличимости цветового состава областей вне и внутри отпечатка.
Сегментация изображения на основе поиска высот фокуса
Предыдущие методы были основаны на обработке одного изображения, захваченного камерой. Однако можно выделить отдельный метод – обработку множества кадров, захваченных во время движения оптического микроскопа вдоль вертикальной оси. Благодаря маленькой глубине резкости, которая значительно меньше перепада высот на образце, можно получить 3D-карту поверхности образца, анализируя фокус в каждом кадре.
Данный метод основан на Вейвлет-преобразованиях [12]. Так, к каждому кадру применяется такое преобразование, затем с помощью алгоритмов обработки вычисляется композиция преобразованных кадров и используется обратное преобразование.
Для использования такого метода можно выделить три основные сферы применения: поиск фокуса на изображении, получение сфокусированного на всей плоскости кадра и сегментация изображения на основе высот. Задача поиска фокуса актуальна при автоматизированном индентировании и наборе серии микрофотографий отпечатков.
Наличие на образце дефектов, перепад высот, превышающий глубину резкости микроскопа, вызывают наибольшую сложность для работы алгоритма. Вычисляя функцию сфокусированности (зависимость численного выражения сфокусированности от номера кадра) стандартными способами вычисления контрастности изображений, получается кривая с большим числом локальных экстремумов и небольшим пиком в области фокуса. При использовании Вейвлет-преобразований получается узкий и высокий пики на кривой функции четкости кадра (рис.5).
Полученная зависимость сфокусированности кадров от времени позволяет построить кадр, сфокусированный по всей площади.
Используя данные методы, можно провести сегментацию изображения на основе высот фокуса, ставя в соответствие каждому участку изображения высоту, на которой находился микроскоп в то время, когда данный участок был в фокусе (рис.6).
ОБСУЖДЕНИЕ
Полученные результаты демонстрируют работоспособность предложенных алгоритмов и могут быть использованы при создании систем автоматического измерения твердости в условиях заводских лабораторий. Предложенный подход может быть применен при анализе отпечатков, отличающихся по форме от квадратных, что, безусловно, перспективно при работе с современными конструкционными материалами, обладающими свойствами суперэластичности и повышенной твердости. Важным элементом системы машинного зрения является возможность автоматизации поиска изображений и фокусировки оптического микроскопа, все эти факторы позволяют существенно ускорить процедуру единичного измерения твердости и перейти от простого измерения твердости к картографированию механических свойств и исследованию вариаций механических свойств сварных и сложносоставных изделий. В частности, предложенные методы могут быть использованы для автоматического определения глубинных и пространственных свойств закаленных материалов.
ВЫВОДЫ
Показано, что современные методы машинного зрения и используемые при обработке изображений алгоритмы могут эффективно использоваться при создании автоматизированных измерительных систем, использующих метод микроиндентирования.
Входящее в состав "НаноСкан-HV" программное обеспечение продемонстрировало устойчивость, высокий уровень воспроизводимости при работе с различными материалами и выдало результаты, совпадающие с данными ручных измерений. Предложенные подходы будут использованы при разработке ряда автоматизированных измерительных систем, использующих метод вдавливания алмазного наконечника для измерения твердости.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-32-90031.
The reported study was funded by RFBR according to the research project № 20-32-90031.
ЛИТЕРАТУРА / REFERENCES
ГОСТ Р ИСО 6507-1-2007. Металлы и сплавы. Измерения твердости по Виккерсу.
Domínguez-Nicolás S.M. et al. Algorithm for automatic detection and measurement of Vickers indentation hardness using image processing // Meas. Sci. Technol. 2020. (в печати).
Aminzadeh M., Kurfess T. Automatic thresholding for defect detection by background histogram mode extents // J. Manuf. Syst. The Society of Manufacturing Engineers. 2015. V. 37. PP. 83–92.
Truong M.T.N., Kim S. Automatic image thresholding using Otsu’s method and entropy weighting scheme for surface defect detection // Soft Comput. Springer Berlin Heidelberg, 2018. V. 22. No. 13. PP. 4197–4203.
Yao L., Chih-Heng Fang. A hardness measuring method based on hough fuzzy vertex detection algorithm // IEEE Trans. Ind. Electron. 2006. V. 53. No. 3. PP. 950–962.
Oliver W.C., Pharr G.M. Measurement of hardness and elastic modulus by instrumented indentation: Advances in understanding and refinements to methodology // J. Mater. Res. 2004. V. 19. No. 1. PP. 3–20.
Otsu N. A Threshold Selection Method from Gray-Level Histograms // IEEE Transactions on Systems, Man, and Cybernetics, v. 9, no. 1, pp. 62–66.
Beucher S., Meyer F. The morphological approach to segmentation: the watershed transformation. Mathematical morphology in image processing // Optical Engineering. 1993. V. 34.
Rother C., Kolmogorov V., Blake A. "GrabCut" – Interactive foreground extraction using iterated graph cuts // ACM Transactions on Graphics. 2004. V. 23. No. 3.
Canny J. A Computational Approach to Edge Detection // IEEE Trans. Pattern Anal. Mach. Intell. 1986. V. PAMI-8. No. 6.
Duda R.O., Hart P.E. Use of the Hough Transformation to Detect Lines and Curves in Pictures // Commun. ACM. 1972. V. 15. No. 1. PP. 11–15.
Xie H., Rong W., Sun L. "Wavelet-Based Focus Measure and 3-D Surface Reconstruction Method for Microscopy Images," 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems, Beijing, 2006, pp. 229–234.
A.P.Fedotkin1, 2, Intern researcher, I.V.Laktionov1, 2, Intern researcher, E.V.Gladkikh1, Junior Researcher, K.S.Kravchuk, Cand. of Sc. (Physics and Mathematics), Researcher
DOI: 10.22184/1993-8578.2020.13.6.392.398
Получено: 25.10.2020 г.
ВВЕДЕНИЕ
Измерение твердости по отпечатку пирамиды (Виккерс, Кнуп) является повсеместно используемым методом определения твердости материалов для лабораторного и промышленного применения. Метод заключается во вдавливании с заданной нагрузкой алмазной пирамиды в исследуемый материал и последующем определении размеров получаемого отпечатка с помощью оптического микроскопа. Согласно существующим стандартам (ГОСТ 9450-76, ГОСТ 2999-75) [1], твердость по Виккерсу определяется как отношение нагрузки к площади пластического отпечатка. Площадь отпечатка вычисляется как произведение диагоналей квадратного отпечатка на определенный коэффициент. Как правило, от точности определения длин диагоналей прежде всего зависит неопределенность (погрешность) измерения твердости.
Уже более 20 лет существуют методы автоматического определения размеров отпечатков по микрофотографии с помощью алгоритмов компьютерного зрения. В этой статье приведен обзор основных семейств таких алгоритмов. Описан результат их работы на типичных образцах. Кроме известных подходов, используются их модифицированные версии и новые оригинальные решения, реализованные на твердомере "НаноСкан-HV".
Алгоритмы автоматической разметки позволяют проводить большое количество измерений без участия человека, или с минимальным его участием. Проведение десятков-сотен измерений – это сложная монотонная работа, требующая существенных временных затрат.
Также алгоритмы избавляют от человеческого фактора, вызванного усталостью или субъективными особенностями разных операторов. В промышленном использовании специализированные алгоритмы позволяют быстро и надежно проводить стандартизированные измерения для контроля характеристик производимых изделий.
Алгоритмы можно разделить на два основных семейства: на основе поиска областей, занятых отпечатком и недеформированной поверхностью, и на основе поиска границ. Существует множество модификаций таких алгоритмов, постоянно создаются алгоритмы, комбинирующие эти принципы или основанные на других подходах [2–5].
Наиболее простой для автоматической обработки является ситуация, когда отпечаток представляет собой темный квадрат на гладком светлом фоне с ровными краями.
Большинство алгоритмов, как универсальных, так и специализированных, стабильно работает с такими отпечатками. Однако такая ситуация реализуется крайне редко. В большинстве случаев изображение имеет дефекты, вызванные свойствами материалов, условиями проведения измерений, используемым оборудованием и подготовкой образцов.
Часто встречающимся дефектом поверхности являются царапины, возникающие при шлифовке или грубой полировке образцов. Полировка образцов до гладкого состояния, при которой царапины становятся неразличимыми в оптический микроскоп, не всегда возможна. Подготовку поверхности нельзя проводить из-за нанесенного покрытия, сложной формы готовой детали или нехватки времени.
Кроме того, на поверхности могут проявляться дефекты, обусловленные структурой исследуемого материала.
При индентировании хрупких материалов могут возникать трещины. Обычно началом трещины является угол отпечатка. Трещина продолжается в направлении от центра отпечатка наружу вдоль ребра индентора. Такой дефект, расположенный непосредственно в искомой вершине, может повлиять на работу алгоритмов.
Как следует из работы [6], в зависимости от отношения модуля упругости к пределу текучести, вокруг отпечатка могут наблюдаться навалы (pile-up) или провалы (sink-in). Также форма границ отпечатка нередко отличается от прямой. Границы отпечатков образцов с неравномерной структурой могут иметь волнообразную форму.
Кроме того, для некоторых материалов характерны неконтрастные границы материалов или неразличимые визуально фон и отпечаток. Подобные особенности некорректно называть дефектами, но они значительно осложняют процесс автоматической разметки.
МАТЕРИАЛЫ
Для исследования работы алгоритмов были взяты образцы материалов, сильно отличающиеся по твердости, однородности, прозрачности и шероховатости поверхности.
Сталь 20 – конструкционная сталь, смесь двух сильно различающихся по твердости фаз феррита и перлита. Показаны отпечатки на поверхности после тонкой полировки (рис.1а) и грубой шлифовки (рис.1c) поверхности. БрАЖМц 10-3-1,5 (рис.1b) – алюминиевая бронза, сплав меди с алюминием, легированная железом и марганцем. Поликарбонат (рис.1c) – прозрачный полимер, полученный литьем. Кубический нитрид бора (рис.4d) – сверхтвердый материал, полученный спеканием порошка.
ОБЗОР ПОДХОДОВ К АВТОМАТИЧЕСКОЙ РАЗМЕТКЕ ОТПЕЧАТКОВ
Главным требованием к алгоритмам, используемым для автоматической разметки отпечатков, является точное определение длин диагоналей. Большинство современных алгоритмов для определения длин диагоналей определяют координаты углов отпечатка, и на их основе вычисляют длины диагоналей.
Существуют два доминирующих подхода. Первый подход основан на разделении областей изображения на фон и внутреннюю поверхность на основании яркости [2–4]. Такие методы требовательны к равномерности освещенности образца, фона, значительной разнице в яркостях изображения и фона, но не требуют наличия выраженной границы фона и отпечатка.
Второй подход опирается на поиск границ отпечатка [5]. Этот подход требует наличия контрастных границ и хорошего соответствия формы отпечатка идеальной. Поиск отпечатка по границам оказывается эффективен тогда, когда внутренние и внешние области отпечатка не различимы.
Алгоритмы, основанные на бинаризации
Пороговая фильтрация является классическим способом разделения фона и отпечатка, использующимся во множестве алгоритмов. Метод заключается в присваивании каждому пикселю изображения в оттенках серого значения 1 или 0 в зависимости от того, превышает ли его яркость пороговое значение. Такой подход позволяет упростить изображение и применить для поиска углов отпечатка простые и производительные алгоритмы (рис.2).
Важной особенностью пороговой фильтрации на практике является значительная зависимость результата от выбора порогового значения. Для приемлемого разделения алгоритмы должны автоматически подбирать порог для изображений различной яркости и контраста. Обычно для выбора порогового значения используется метод Оцу [7]. Метод Оцу выбирает порог таким образом, чтобы дисперсия внутри разделенных классов была минимальной. К сожалению, этот подход далеко не всегда оказывается эффективным применительно к микрофотографиям, например в следствие многофазности материала (рис.2e) или наличия на поверхности следов обработки (рис.2c).
Пороговая фильтрация не приносит желаемого результата вне зависимости от выбора порога в случае, когда яркость фона оказывается сопоставима с яркостью отпечатка (рис.2d), или изменение яркости внутри фона и отпечатка превышает различие между ними (рис.2e). Пороговая фильтрация неприменима к таким изображениям. Как правило, использование более сложных методов сегментации, таких как сегментация по водоразделам [8] или GrabCut [9], также не приносит желаемого результата на подобных изображениях, или незначительно расширяет область применимости алгоритма. При этом их использование требует значительно больших вычислительных ресурсов.
Основным требованием к изображению после пороговой фильтрации является четкое выделение углов отпечатка. Наличие дефектов в углах отпечатка (рис.2b) ведет к снижению точности определения его координат.
Алгоритмы, основанные на бинаризации, не требовательны к форме отпечатка и наличию контрастной границы. Эти алгоритмы эффективно работают на металлических, хорошо отполированных образцах.
Детектор границ, преобразование Хаффа
Обычно для поиска границ используется детектор границ Кaнни [10], выделяющий резкие перепады яркости на изображении в оттенках серого (рис.3). Далее по выделенным границам осуществляется поиск сторон или углов отпечатка. Классическим алгоритмом, применяемым для поиска сторон, является преобразование Хаффа [11], позволяющее выделить прямые на изображении.
По представленным на рис.3 изображениям видно, что детектор границ хорошо справляется с поиском границ на гладко отполированных образцах, не обладающих выраженной текстурой (рис.3a, b). Царапины и текстура образца выделяются детектором как границы (рис.3с, d, e) и осложняют дальнейший поиск границ. Наличие протяженных царапин (рис.3с), которые обычно возникают при полировке и часто присутствуют на образцах, с большой вероятностью ведет к некорректному определению прямых, являющихся границами индента.
На образцах с невыраженной границей (рис.3d, e) детектор не смог определить границу отпечатка. Алгоритмы на основе анализа границ не применимы к таким изображениям.
Алгоритм, основанный на максимальном разделении цветовых компонент изображения в области отпечатка и недеформированной поверхности
Для прибора "НаноСкан-HV" проектируется собственный алгоритм автоматической разметки, основанный на максимальном разделении цветовых компонент (рис.4). В основе алгоритма лежит пространственное разделение внутренней и внешней части образца с помощью настраиваемых масок и итеративное приближение формы и размера масок к форме отпечатка на основе минимизируемой функции разделения цветовых компонент во внешней и внутренней области отпечатка.
Такой подход позволяет эффективно обрабатывать изображения с дефектами на границе изображения, отличающимися и от внутренней части отпечатка, и от фона. Также данный подход позволяет игнорировать протяженные дефекты, обладающие малой площадью, которые приводят к ложному определению прямых, или неверно сегментируются при пороговой фильтрации (царапины, трещины).
Недостатком такого подхода является увеличение ошибки при неточном совпадении сложной формы индента с формой маски, определяемой ограниченным числом параметров.
Применение алгоритма невозможно в текущем виде на изображениях (рис.4d, e) вследствие неразличимости цветового состава областей вне и внутри отпечатка.
Сегментация изображения на основе поиска высот фокуса
Предыдущие методы были основаны на обработке одного изображения, захваченного камерой. Однако можно выделить отдельный метод – обработку множества кадров, захваченных во время движения оптического микроскопа вдоль вертикальной оси. Благодаря маленькой глубине резкости, которая значительно меньше перепада высот на образце, можно получить 3D-карту поверхности образца, анализируя фокус в каждом кадре.
Данный метод основан на Вейвлет-преобразованиях [12]. Так, к каждому кадру применяется такое преобразование, затем с помощью алгоритмов обработки вычисляется композиция преобразованных кадров и используется обратное преобразование.
Для использования такого метода можно выделить три основные сферы применения: поиск фокуса на изображении, получение сфокусированного на всей плоскости кадра и сегментация изображения на основе высот. Задача поиска фокуса актуальна при автоматизированном индентировании и наборе серии микрофотографий отпечатков.
Наличие на образце дефектов, перепад высот, превышающий глубину резкости микроскопа, вызывают наибольшую сложность для работы алгоритма. Вычисляя функцию сфокусированности (зависимость численного выражения сфокусированности от номера кадра) стандартными способами вычисления контрастности изображений, получается кривая с большим числом локальных экстремумов и небольшим пиком в области фокуса. При использовании Вейвлет-преобразований получается узкий и высокий пики на кривой функции четкости кадра (рис.5).
Полученная зависимость сфокусированности кадров от времени позволяет построить кадр, сфокусированный по всей площади.
Используя данные методы, можно провести сегментацию изображения на основе высот фокуса, ставя в соответствие каждому участку изображения высоту, на которой находился микроскоп в то время, когда данный участок был в фокусе (рис.6).
ОБСУЖДЕНИЕ
Полученные результаты демонстрируют работоспособность предложенных алгоритмов и могут быть использованы при создании систем автоматического измерения твердости в условиях заводских лабораторий. Предложенный подход может быть применен при анализе отпечатков, отличающихся по форме от квадратных, что, безусловно, перспективно при работе с современными конструкционными материалами, обладающими свойствами суперэластичности и повышенной твердости. Важным элементом системы машинного зрения является возможность автоматизации поиска изображений и фокусировки оптического микроскопа, все эти факторы позволяют существенно ускорить процедуру единичного измерения твердости и перейти от простого измерения твердости к картографированию механических свойств и исследованию вариаций механических свойств сварных и сложносоставных изделий. В частности, предложенные методы могут быть использованы для автоматического определения глубинных и пространственных свойств закаленных материалов.
ВЫВОДЫ
Показано, что современные методы машинного зрения и используемые при обработке изображений алгоритмы могут эффективно использоваться при создании автоматизированных измерительных систем, использующих метод микроиндентирования.
Входящее в состав "НаноСкан-HV" программное обеспечение продемонстрировало устойчивость, высокий уровень воспроизводимости при работе с различными материалами и выдало результаты, совпадающие с данными ручных измерений. Предложенные подходы будут использованы при разработке ряда автоматизированных измерительных систем, использующих метод вдавливания алмазного наконечника для измерения твердости.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-32-90031.
The reported study was funded by RFBR according to the research project № 20-32-90031.
ЛИТЕРАТУРА / REFERENCES
ГОСТ Р ИСО 6507-1-2007. Металлы и сплавы. Измерения твердости по Виккерсу.
Domínguez-Nicolás S.M. et al. Algorithm for automatic detection and measurement of Vickers indentation hardness using image processing // Meas. Sci. Technol. 2020. (в печати).
Aminzadeh M., Kurfess T. Automatic thresholding for defect detection by background histogram mode extents // J. Manuf. Syst. The Society of Manufacturing Engineers. 2015. V. 37. PP. 83–92.
Truong M.T.N., Kim S. Automatic image thresholding using Otsu’s method and entropy weighting scheme for surface defect detection // Soft Comput. Springer Berlin Heidelberg, 2018. V. 22. No. 13. PP. 4197–4203.
Yao L., Chih-Heng Fang. A hardness measuring method based on hough fuzzy vertex detection algorithm // IEEE Trans. Ind. Electron. 2006. V. 53. No. 3. PP. 950–962.
Oliver W.C., Pharr G.M. Measurement of hardness and elastic modulus by instrumented indentation: Advances in understanding and refinements to methodology // J. Mater. Res. 2004. V. 19. No. 1. PP. 3–20.
Otsu N. A Threshold Selection Method from Gray-Level Histograms // IEEE Transactions on Systems, Man, and Cybernetics, v. 9, no. 1, pp. 62–66.
Beucher S., Meyer F. The morphological approach to segmentation: the watershed transformation. Mathematical morphology in image processing // Optical Engineering. 1993. V. 34.
Rother C., Kolmogorov V., Blake A. "GrabCut" – Interactive foreground extraction using iterated graph cuts // ACM Transactions on Graphics. 2004. V. 23. No. 3.
Canny J. A Computational Approach to Edge Detection // IEEE Trans. Pattern Anal. Mach. Intell. 1986. V. PAMI-8. No. 6.
Duda R.O., Hart P.E. Use of the Hough Transformation to Detect Lines and Curves in Pictures // Commun. ACM. 1972. V. 15. No. 1. PP. 11–15.
Xie H., Rong W., Sun L. "Wavelet-Based Focus Measure and 3-D Surface Reconstruction Method for Microscopy Images," 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems, Beijing, 2006, pp. 229–234.
Отзывы читателей
