eng
Выпуск #5/2021
О.В.Синицына, М.М.Воробьев, И.В.Яминский
Автоматизированный поиск наночастиц на изображениях зондовой микроскопии с использованием нейронной сети
Автоматизированный поиск наночастиц на изображениях зондовой микроскопии с использованием нейронной сети
Просмотры: 1678
DOI: 10.22184/1993-8578.2021.14.5.276.280
Использование автоматизированного поиска объектов в зондовой микроскопии дает ряд серьезных преимуществ: высокую скорость обработки данных, минимизацию влияния экспериментатора на процесс измерений, возможность увеличить объем данных, используемых для анализа. В данной работе на примере данных атомно-силовой микроскопии белковых наночастиц мы показали, что для поиска наночастиц, размеры которых сравнимы с уровнем шума, более точный результат дает алгоритм с использованием нейронной сети, тогда как более крупные наночастицы более точно выделяет пороговый алгоритм.
Использование автоматизированного поиска объектов в зондовой микроскопии дает ряд серьезных преимуществ: высокую скорость обработки данных, минимизацию влияния экспериментатора на процесс измерений, возможность увеличить объем данных, используемых для анализа. В данной работе на примере данных атомно-силовой микроскопии белковых наночастиц мы показали, что для поиска наночастиц, размеры которых сравнимы с уровнем шума, более точный результат дает алгоритм с использованием нейронной сети, тогда как более крупные наночастицы более точно выделяет пороговый алгоритм.
Теги: atomic-force microscopy nanoparticles neural network scanning probe microscopy атомно-силовая микроскопия наночастицы нейронная сеть сканирующая зондовая микроскопия
АВТОМАТИЗИРОВАННЫЙ ПОИСК НАНОЧАСТИЦ НА ИЗОБРАЖЕНИЯХ ЗОНДОВОЙ МИКРОСКОПИИ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННОЙ СЕТИ
AUTOMATED SEARCH FOR NANOPARTICLES IN THE PROBE MICROSCOPE IMAGES USING
A NEURAL NETWORK
О.В.Синицына1, науч. сотр., (ORCID: 0000-0003-3381-6156), М.М.Воробьев1, вед. науч. сотр., (ORCID: 0000-0000-0003-1312-7599), И.В.Яминский1, 2, 3, 4 д.ф.-м.н., проф. физического и химического факультетов МГУ имени М.В.Ломоносова, вед. науч. сотр. ИНЭОС РАН, директор Центра перспективных технологий, (ORCID: 0000-0001-8731-3947) / yaminsky@nanoscopy.ru
O.V.Sinitsyna1, Researcher, M.M.Vorob’ev, Leading Researcher, I.V.Yaminskiy1, 2, 3, 4, Doct. of Sci. (Physics and Mathematics), Prof. of Lomonosov Moscow State University, Physical and Chemical departments, Director of Advanced Technologies Center, Leading Sci. of INEOS RAS
DOI: 10.22184/1993-8578.2021.14.5.276.280
Получено: 8.08.2021 г.
Использование автоматизированного поиска объектов в зондовой микроскопии дает ряд серьезных преимуществ: высокую скорость обработки данных; минимизацию влияния экспериментатора на процесс измерений; возможность увеличить объем данных, используемых для анализа. В данной работе на примере данных атомно-силовой микроскопии белковых наночастиц мы показали, что для поиска наночастиц, размеры которых сравнимы с уровнем шума, более точный результат дает алгоритм с использованием нейронной сети, тогда как более крупные наночастицы более точно выделяет пороговый алгоритм.
There are a number of important advantages that can be obtained by using automated search for objects detected by the probe microscopy, such as a high rate of data processing, minimization of experimentalist’s influence on the measurement process and a possibility to enlarge the data volume to be processed. It has been shown in this work that for the search for nanoparticles, which dimensions are comparable to a noise level, the more accurate result is achieved by a neural network algorithm based on protein nanoparticles data processing which was obtained using the atomic force microscopy while the larger nanoparticles are more precisely distinguishable by the threshold algorithm.
ВВЕДЕНИЕ
Сканирующая зондовая микроскопия (СЗМ) является одним из основных методов исследования нанообъектов. К основным преимуществам СЗМ следует отнести: высокое пространственное разрешение, возможность построения трехмерной карты поверхности, получение информации о локальных физико-химических свойствах поверхности и закрепленных на ней объектах [1]. Внедрение подходов, использующих искусственный интеллект, позволит повысить информативность методов СЗМ и уменьшить влияние экспериментатора на процесс анализа данных, приводящее к серьезному искажению результатов даже для рутинных измерений [2].
В настоящее время алгоритмы искусственного интеллекта достаточно редко используются в СЗМ [3, 4]. Одной из трудностей является необходимость сбора массива экспериментальных данных для тренировки алгоритмов. Алгоритмы искусственного интеллекта могут использоваться в СЗМ для поиска объектов на изображении и получения количественной информации об их микроструктуре. Простые пороговые алгоритмы поиска в случае малых размеров объектов часто дают неудовлетворительные результаты.
МЕТОДЫ ИССЛЕДОВАНИЯ
В настоящей работе мы применили алгоритм обработки данных с использованием нейронной сети для поиска белковых наночастиц на изображениях атомно-силовой микроскопии (АСМ) и анализа их распределения по размерам. Использовали программное обеспечение "ФемтоСкан Онлайн" [5] для обработки данных АСМ и выделения объектов с помощью порогового алгоритма и Gwyddion [6] для поиска объектов с помощью нейронной сети.
На рис.1 показано АСМ-изображение белковых наночастиц, нанесенных на поверхность слюды из водного раствора и высушенных на воздухе [7]. Изображение получено с помощью микроскопа "ФемтоСкан" (Центр перспективных технологий) в полуконтактном режиме сканирования. На приведенном профиле поверхности видно, что высота наночастицы сравнима с уровнем шума, который составляет 0,3 нм. Мы предполагаем, что в данном случае уровень шума определяется наличием на поверхности низкомолекулярных компонент, осажденных на слюду из раствора.
Результаты сравнения ручного подхода и методов автоматического определения размеров белковых наночастиц представлены на рис.2. Анализировались максимальная высота частиц и радиус диска с площадью, эквивалентной площади, занимаемой частицей. Нейронная сеть, реализованная в программе Gwyddion, использовалась для удаления фона между частицами, после которого применялся пороговый метод выделения объектов. При ручном подходе контуры каждой частицы описывались эллипсом.
При наличии шума, сравнимого с размерами частиц, применение порогового метода поиска приводит к существенному искажению распределения частиц по размерам в области малых высот и радиусов из-за ошибочного выделения областей поверхности, не содержащих наночастиц или некорректного выделения контура объектов. Применение нейронной сети для удаления фона позволяет значительно снизить количество "ложных" частиц и более точно выделить контур объекта. Однако в области больших высот, где размер частиц значительно больше величины шума, более точным оказывается пороговый метод. Это может быть связано с тем, что только треть частиц имеет высоту более 1 нм и распределение по размерам для них крайне неоднородно, поэтому для тренировки нейронной сети количества крупных частиц недостаточно. Следует отметить занижение значений радиуса диска с эквивалентной площадью для автоматических методов выделения контура наночастиц (рис.2б).
ВЫВОДЫ
Методы зондовой микроскопии дают высокое пространственное разрешение, но во многих случаях наблюдается лишь сравнительно малая площадь поверхности, и накопить большой массив данных не удается, вследствие износа зонда или временных ограничений. Результаты работы показывают, что в такой распространенной в практике ситуации для повышения качества автоматического поиска наночастиц следует использовать комбинацию порогового алгоритма для крупных частиц и нейронную сеть для частиц, размеры которых сравнимы с уровнем шума.
БЛАГОДАРНОСТИ
Работа выполнена при поддержке РФФИ (грант № 21-58-10005) и Министерства науки и высшего образования Российской Федерации.
ЛИТЕРАТУРА / REFERENCES
Voigtländer B. Scanning Probe Microscopy. Atomic Force Microscopy and Scanning Tunneling Microscopy; Springer-Verlag GmbH: Berlin, 2015.
Nečas D., Klapetek P. Study of user influence in routine SPM data processing. Measurement Science and Technology 27 (2017) 034014.
Sacha G.M., Varona P. Artificial Intelligence in Nanotechnology. Nanotechnology 24.45 (2013): 452002.
Miller H., Zhou Z., Shepherd J., Wollman A.J.M., Leake M.C. Single-molecule techniques in biophysics: a review of the progress in methods and applications. Reports on Progress in Physics, 81, 2 (2017) 024601.
Яминский И., Филонов А., Синицына О., Мешков Г. Программное обеспечение "ФемтоСкан Онлайн". НАНОИНДУСТРИЯ. 2016. № 2. С. 42–46.
Nečas D., Klapetek P. Gwyddion: an open-source software for SPM data analysis. Central European Journal of Physics 10 (2012) 181–188.
Vorob’ev M.M., Sinitsyna O.V. Degradation and assembly of β-casein micelles during proteolysis by trypsin. International Dairy Journal, 104 (2020) p. 104652.
Декларация о конфликте интересов. Авторы заявляют об отсутствии конфликтов интересов или личных отношений, которые могли бы повлиять на работу, представленную в данной статье.
AUTOMATED SEARCH FOR NANOPARTICLES IN THE PROBE MICROSCOPE IMAGES USING
A NEURAL NETWORK
О.В.Синицына1, науч. сотр., (ORCID: 0000-0003-3381-6156), М.М.Воробьев1, вед. науч. сотр., (ORCID: 0000-0000-0003-1312-7599), И.В.Яминский1, 2, 3, 4 д.ф.-м.н., проф. физического и химического факультетов МГУ имени М.В.Ломоносова, вед. науч. сотр. ИНЭОС РАН, директор Центра перспективных технологий, (ORCID: 0000-0001-8731-3947) / yaminsky@nanoscopy.ru
O.V.Sinitsyna1, Researcher, M.M.Vorob’ev, Leading Researcher, I.V.Yaminskiy1, 2, 3, 4, Doct. of Sci. (Physics and Mathematics), Prof. of Lomonosov Moscow State University, Physical and Chemical departments, Director of Advanced Technologies Center, Leading Sci. of INEOS RAS
DOI: 10.22184/1993-8578.2021.14.5.276.280
Получено: 8.08.2021 г.
Использование автоматизированного поиска объектов в зондовой микроскопии дает ряд серьезных преимуществ: высокую скорость обработки данных; минимизацию влияния экспериментатора на процесс измерений; возможность увеличить объем данных, используемых для анализа. В данной работе на примере данных атомно-силовой микроскопии белковых наночастиц мы показали, что для поиска наночастиц, размеры которых сравнимы с уровнем шума, более точный результат дает алгоритм с использованием нейронной сети, тогда как более крупные наночастицы более точно выделяет пороговый алгоритм.
There are a number of important advantages that can be obtained by using automated search for objects detected by the probe microscopy, such as a high rate of data processing, minimization of experimentalist’s influence on the measurement process and a possibility to enlarge the data volume to be processed. It has been shown in this work that for the search for nanoparticles, which dimensions are comparable to a noise level, the more accurate result is achieved by a neural network algorithm based on protein nanoparticles data processing which was obtained using the atomic force microscopy while the larger nanoparticles are more precisely distinguishable by the threshold algorithm.
ВВЕДЕНИЕ
Сканирующая зондовая микроскопия (СЗМ) является одним из основных методов исследования нанообъектов. К основным преимуществам СЗМ следует отнести: высокое пространственное разрешение, возможность построения трехмерной карты поверхности, получение информации о локальных физико-химических свойствах поверхности и закрепленных на ней объектах [1]. Внедрение подходов, использующих искусственный интеллект, позволит повысить информативность методов СЗМ и уменьшить влияние экспериментатора на процесс анализа данных, приводящее к серьезному искажению результатов даже для рутинных измерений [2].
В настоящее время алгоритмы искусственного интеллекта достаточно редко используются в СЗМ [3, 4]. Одной из трудностей является необходимость сбора массива экспериментальных данных для тренировки алгоритмов. Алгоритмы искусственного интеллекта могут использоваться в СЗМ для поиска объектов на изображении и получения количественной информации об их микроструктуре. Простые пороговые алгоритмы поиска в случае малых размеров объектов часто дают неудовлетворительные результаты.
МЕТОДЫ ИССЛЕДОВАНИЯ
В настоящей работе мы применили алгоритм обработки данных с использованием нейронной сети для поиска белковых наночастиц на изображениях атомно-силовой микроскопии (АСМ) и анализа их распределения по размерам. Использовали программное обеспечение "ФемтоСкан Онлайн" [5] для обработки данных АСМ и выделения объектов с помощью порогового алгоритма и Gwyddion [6] для поиска объектов с помощью нейронной сети.
На рис.1 показано АСМ-изображение белковых наночастиц, нанесенных на поверхность слюды из водного раствора и высушенных на воздухе [7]. Изображение получено с помощью микроскопа "ФемтоСкан" (Центр перспективных технологий) в полуконтактном режиме сканирования. На приведенном профиле поверхности видно, что высота наночастицы сравнима с уровнем шума, который составляет 0,3 нм. Мы предполагаем, что в данном случае уровень шума определяется наличием на поверхности низкомолекулярных компонент, осажденных на слюду из раствора.
Результаты сравнения ручного подхода и методов автоматического определения размеров белковых наночастиц представлены на рис.2. Анализировались максимальная высота частиц и радиус диска с площадью, эквивалентной площади, занимаемой частицей. Нейронная сеть, реализованная в программе Gwyddion, использовалась для удаления фона между частицами, после которого применялся пороговый метод выделения объектов. При ручном подходе контуры каждой частицы описывались эллипсом.
При наличии шума, сравнимого с размерами частиц, применение порогового метода поиска приводит к существенному искажению распределения частиц по размерам в области малых высот и радиусов из-за ошибочного выделения областей поверхности, не содержащих наночастиц или некорректного выделения контура объектов. Применение нейронной сети для удаления фона позволяет значительно снизить количество "ложных" частиц и более точно выделить контур объекта. Однако в области больших высот, где размер частиц значительно больше величины шума, более точным оказывается пороговый метод. Это может быть связано с тем, что только треть частиц имеет высоту более 1 нм и распределение по размерам для них крайне неоднородно, поэтому для тренировки нейронной сети количества крупных частиц недостаточно. Следует отметить занижение значений радиуса диска с эквивалентной площадью для автоматических методов выделения контура наночастиц (рис.2б).
ВЫВОДЫ
Методы зондовой микроскопии дают высокое пространственное разрешение, но во многих случаях наблюдается лишь сравнительно малая площадь поверхности, и накопить большой массив данных не удается, вследствие износа зонда или временных ограничений. Результаты работы показывают, что в такой распространенной в практике ситуации для повышения качества автоматического поиска наночастиц следует использовать комбинацию порогового алгоритма для крупных частиц и нейронную сеть для частиц, размеры которых сравнимы с уровнем шума.
БЛАГОДАРНОСТИ
Работа выполнена при поддержке РФФИ (грант № 21-58-10005) и Министерства науки и высшего образования Российской Федерации.
ЛИТЕРАТУРА / REFERENCES
Voigtländer B. Scanning Probe Microscopy. Atomic Force Microscopy and Scanning Tunneling Microscopy; Springer-Verlag GmbH: Berlin, 2015.
Nečas D., Klapetek P. Study of user influence in routine SPM data processing. Measurement Science and Technology 27 (2017) 034014.
Sacha G.M., Varona P. Artificial Intelligence in Nanotechnology. Nanotechnology 24.45 (2013): 452002.
Miller H., Zhou Z., Shepherd J., Wollman A.J.M., Leake M.C. Single-molecule techniques in biophysics: a review of the progress in methods and applications. Reports on Progress in Physics, 81, 2 (2017) 024601.
Яминский И., Филонов А., Синицына О., Мешков Г. Программное обеспечение "ФемтоСкан Онлайн". НАНОИНДУСТРИЯ. 2016. № 2. С. 42–46.
Nečas D., Klapetek P. Gwyddion: an open-source software for SPM data analysis. Central European Journal of Physics 10 (2012) 181–188.
Vorob’ev M.M., Sinitsyna O.V. Degradation and assembly of β-casein micelles during proteolysis by trypsin. International Dairy Journal, 104 (2020) p. 104652.
Декларация о конфликте интересов. Авторы заявляют об отсутствии конфликтов интересов или личных отношений, которые могли бы повлиять на работу, представленную в данной статье.
Отзывы читателей
