eng
Выпуск #7-8/2022
И.В.Яминский
ВЫСОКОСКОРОСТНАЯ СКАНИРУЮЩАЯ ЗОНДОВАЯ МИКРОСКОПИЯ: ВОПРОСЫ ЭЛЕКТРОНИКИ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
ВЫСОКОСКОРОСТНАЯ СКАНИРУЮЩАЯ ЗОНДОВАЯ МИКРОСКОПИЯ: ВОПРОСЫ ЭЛЕКТРОНИКИ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
Просмотры: 567
Получено: 11.11.2022 г. | Принято: 18.11.2022 г. | DOI: https://doi.org/10.22184/1993-8578.2022.15.7-8.408.416
Научная статья
ВЫСОКОСКОРОСТНАЯ СКАНИРУЮЩАЯ ЗОНДОВАЯ МИКРОСКОПИЯ: ВОПРОСЫ ЭЛЕКТРОНИКИ
И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
И.В.Яминский1, 2, д.ф.-м.н., профессор МГУ имени М.В. Ломоносова, физический факультет, ORCID: 0000-0001-8731-3947 / yaminsky@nanoscopy.ru
Аннотация. Сканирующая зондовая микроскопия является уникальным методом для наблюдения природных и искусственных наноструктур, объектов живой природы – биомакромолекул, ДНК и РНК, белков, вирусов, бактерий, клеток, нейронных сетей и живой ткани. Наблюдение эволюционных процессов с высоким временным разрешением является наиважнейшей задачей для понимания характера процессов в живых системах, функционирования различных структур в наноэлектронике и биосенсорике. Для ее решения необходимо создание сверхбыстродействующей электроники, программного обеспечения и скоростных электромеханических устройств. В частности, в нейрофизиологии для установления взаимосвязи между топологией сети живых нейронов и прохождения сигналов в них, понимания процессов самообучения живых нейронных сетей необходимо существенно повысить временное разрешение при записи изображений нервной ткани и скорости записи карт прохождения электрических сигналов в ней.
Ключевые слова: биомедицина, зондовая микроскопия, атомно-силовая микроскопия, ФемтоСкан
Для цитирования: И.В. Яминский. Высокоскоростная сканирующая зондовая микроскопия: вопросы электроники и программного обеспечения. НАНОИНДУСТРИЯ. 2022. Т. 15, № 7-8. С. 408–416. https://doi.org/10.22184/1993-8578.2022.15.7-8.408.416
Received: 11.11.2022 | Accepted: 18.11.2022 | DOI: https://doi.org/10.22184/1993-8578.2022.15.7-8.408.416
Original paper
HIGH-SPEED SCANNING PROBE MICROSCOPY:
ELECTRONICS AND SOFTWARE ISSUES
I.V.Yaminsky1, 2, Doct. of Sci. (Physics and Mathematics), Prof. of Lomonosov Moscow State University, Physical department, ORCID: 0000-0001-8731-3947 / yaminsky@nanoscopy.ru
Abstract. Scanning probe microscopy is a unique method for observing natural and artificial nanostructures and living objects – biomacromolecules, DNA and RNA, proteins, viruses, bacteria, cells, neural networks and living tissue. Observation of evolutionary processes with high temporal resolution present a crucial task for understanding the nature of processes in living systems, functioning of different structures in nanoelectronics and biosensor technology. This requires ultra-high-speed electronics development, software and high-speed electromechanical devices. In particular, in neurophysiology, in order to establish the link between the network topology of living neurons and signals transmission in them, and to understand the self-learning processes of living neural networks, time resolution in recording images of neural tissue and speed of recording maps of the electrical signals transmission in it should be significantly increased.
Keywords: biomedicine, probe microscopy, atomic force microscopy, FemtoScan
For citation: I.V. Yaminsky. High-speed scanning probe microscopy: electronics and software issues. NANOINDUSTRY. 2022. Т. 15, no. 7-8. PP. 408–416. https://doi.org/10.22184/1993-8578.2022.15.7-8.408.416
ВВЕДЕНИЕ
Пионер высокоскоростной атомно-силовой микроскопии профессор Тошио Андо указал на широкий спектр применения этого направления [1]. Так, высокоскоростной атомно-силовой микроскоп (АСМ) позволил напрямую визуализировать динамические явления, происходящие в нанопространствах в жидких средах. В биологической области микроскопия широко используется для наблюдения за белками, ДНК и другими объектами в процессе их функциональной активности. АСМ также используется для наблюдения за морфологическими изменениями живых клеток и динамическими процессами, происходящими на их поверхности. В материаловедении скоростная микроскопия используется для наблюдения за динамическими процессами, происходящими в синтетических полимерных цепях, детергентах и нанопузырьках, а также для исследования коррозионных реакций на границах раздела твердое тело-жидкость, для измерения рельефа фоторезиста, наблюдения кристаллизации неорганических и органических материалов, электрохимических реакций и т.д. Профессор Тошио Андо справедливо констатирует, что визуализированные динамические явления просты, понятны и убедительны.
МЕТОДЫ ИССЛЕДОВАНИЯ
Для повышения скорости сканирования в атомно-силовой микроскопии используются быстродействующие сканеры различных конструкций, применяются кантилеверы уменьшенных размеров с высокой резонансной частотой.
Увеличение скорости особенно актуально для сканирующей капиллярной микроскопии [2]. Сканирующая капиллярная микроскопия в высшей степени успешно применяется в биофизических, биомедицинских и биосенсорных приложениях [3]. При использовании многоканальных капилляров удается одновременно исследовать как морфологию живой клетки (3D-профиль, механические свойства), так и проводить электрофизиологические измерения: определять расположение и проводимость ионных каналов, измерять концентрации активных форм кислорода как снаружи, так и внутри клетки. Сканирующий капиллярный микроскоп открывает новые возможности в локальном переносе низко- и высокомолекулярных веществ, в молекулярной 2D- и 3D-нанопечати, определении подвижности биомакромолекул и секвенировании нуклеиновых кислот (РНК и ДНК).
Достижение высокой скорости сканирования предъявляет строгие требования к повышению резонансной частоты как механических систем, так и самих зондов – кантилеверов. В этом направлении наблюдается существенный прогресс.
В нашей заметке мы затронем вопрос оптимизации и дальнейшего развития быстродействующей электроники и соответствующего программного обеспечения. Использование программируемых логических интегральных схем (ПЛИС) становится наиболее популярным и успешным решением этого вопроса. Ранее мы отмечали, что в повышении скорости производимых измерений ключевым моментом является рациональное применение ПЛИС в сочетании со скоростными цифро-аналоговыми (ЦАП) и аналого-цифровыми преобразователями (АЦП), синтезаторами частот (СЧ), синхронными детекторами и т.д. ПЛИС позволяет сформировать непосредственно из логических ячеек, расположенных на одном кристалле, как сам процессор, осуществляющий реализацию высокоуровневых алгоритмов управления модулями микроскопа и обработки данных, так и низкоуровневые модули, необходимые для формирования управляющих сигналов ЦАП, АЦП, СЧ и прочих устройств. Такой подход разгружает центральный процессор, распараллеливает исполнение задач электроники микроскопа, а также позволяет сократить число внешних сигнальных соединений и компонентов в устройстве, повышая таким образом производительность системы. Также большая гибкость в программировании и отсутствие фиксированной системы команд, как в микроконтроллерах, позволяет с помощью ПЛИС осуществлять более сложную обработку сигналов, а возможность перепрограммирования позволяет расширять систему без замены процессорного устройства, существенно экономя денежные средства. Таким образом, несмотря на более высокую стоимость и необходимость в более трудоемком процессе программирования, упомянутые выше положительные стороны делают систему на основе ПЛИС более оптимальным решением в долгосрочной перспективе.
При использовании ПЛИС появляются существенные удобства и преимущества. ПЛИС позволяет построить большое количество портов ввода-вывода, что весьма актуально в сканирующей зондовой микроскопии (рис.1). Так, в современной версии сканирующих зондовых микроскопов серии "ФемтоСкан" реализовано целое семейство различных режимов, среди них:
атомно-силовая микроскопия контактная и резонансная, на воздухе и в жидкости;
сканирующая фрикционная микроскопия на воздухе и в жидкости;
сканирующая проводящая микроскопия;
сканирующая фотопроводящая микроскопия;
сканирующая пьезоэлектрическая микроскопия;
сканирующая электростатическая микроскопия;
сканирующая магнитная микроскопия;
сканирующая туннельная микроскопия;
нанолитография (контактная и резонансная, силовая и токовая);
режим атомных весов;
флирт-мода деликатного сканирования на воздухе и в жидкости;
режим силового картирования поверхности;
режим температурного нагрева образца.
Для ПЛИС есть много алгоритмов цифровой обработки сигналов, в том числе цифровой обратной связи, что актуально для сканирующей зондовой микроскопии. При этом характерна высокая скорость передачи данных и возможность криптографической защиты передаваемой информации. В электронике микроскопа одновременно может быть сразу несколько ПЛИС для синхронной обработки различных информационных потоков.
В скоростном атомно-силовом микроскопе "ФемтоСкан Х" для связи с ПЛИС и обработки данных, поступающих из электронного блока через высокоскоростное Ethernet-соединение, используется клиентское Qt-приложение.
В развиваемой нами концепции программного обеспечения на сканирующий зондовый микроскоп "ФемтоСкан" возлагается существенно больше полномочий, чем просто сканирование поверхности в различных режимах.
В частности, мы разрабатываем новые функционалы прибора:
контроль над температурой, освещением влажности в помещении и/или в измерительной камере. При наблюдении клеточных структур необходимо поддерживать уровень содержания углекислого газа в атмосфере. Это важно, поскольку изменение этих параметров может оказывать влияние на данные эксперимента;
создание интеллектуальной автоматизированной системы хранения данных. Многолетний опыт показывает, что многие даже опытные пользователи подчас не уделяют должного внимания сортировке, составлению каталога и детальному описанию полученных экспериментальных данных, структурированию файловых записей и т.п. А это в конечном итоге приводит к существенному снижению эффективности работы, как индивидуальной, так и коллективной. Программное обеспечение призвано помочь в организации рационального и удобного хранения данных;
в программное обеспечение должно быть интегрировано расписание пользователей. Ведь многие зондовые микроскопы – это приборы коллективного пользования. Ведение записи пользователей, расписания, времени реальной работы, запоминание служебной передаваемой информации – всю эту работу может вести само программное обеспечение, при этом упрощать систему клиентского администрирования;
много лет мы вели конкурс изображений. Программное обеспечение может существенно упростить процедуру отправки изображения на конкурс;
в конце концов, приветствия и слова похвалы пользователю от программного обеспечения могут быть немаловажны;
отдельный большой функционал касается внедрения ставшей модной и подчас эффективной технологии искусственного интеллекта (ИИ) и нейронных сетей. Ранее нами был опробован алгоритм ИИ для настройки цепи обратной связи в атомно-силовом микроскопе.
Отдельным направлением является глубокое интегрирование оптической микроскопии с методами зондовой микроскопии. Многое в этом направлении уже сделано. Традиционное решение – это использование прямых или инвертированных профессиональных оптических микроскопов для размещения на них зондовых микроскопов. При многих преимуществах есть и существенные недостатки. Например, коммерческие инвертированные оптические микроскопы, обладая громоздкостью и большими размерами, становятся обузой для компактных зондовых микроскопов. В результате для устранения возникающих шумов и нестабильности приходится использовать большие антивибрационные столы, системы защиты и экранировки. В результате зондовый микроскоп превращается в большого и очень дорогого монстра. При этом системы видеонаблюдения дают существенное развитие при уменьшении габаритов, увеличении разрешения и скорости наблюдений. Важно, что многие функции наблюдения и обработки оптических сигналов может и должно проводить ПЛИС.
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ ИССЛЕДОВАНИЙ
В настоящее время дополнительные возможности, в том числе по преодолению дифракционного предела, позволяет получить микролинзовая оптическая микроскопия [4].
Сканирующая зондовая микроскопия стала востребованным инструментом во многих практических приложениях. Эти предложения ставят большой пласт новых задач для программного обеспечения.
Так, в медицине возникает необходимость, например, в обнаружении на получаемых изображениях вирусных частиц или инактивированных вирионов, выступающих в качестве вакцины, при их адсорбции из жидких сред на подложки с биоспецифическими свойствами [6]. Эта важная задача стоит при раннем обнаружении вирусных заболеваний. Программное обеспечение должно позволять микроскопу в автоматическом режиме находить на изображении вирусные частицы, проводить морфологический анализ, измерять кинетику сорбции, определять интактность частиц, регистрировать реакцию на различные воздействия (механические, тепловые, биохимические и др.). Удобным модельным объектом в вирусологии служат вирусы растений, не представляющие опасности для исследователя (рис.2).
При анализе изображений бактериальных клеток (рис.3) перед программным обеспечением появляются задачи поиска, морфологического анализа, анализа жизненного цикла и характера колебаний мембраны клеток. Регистрируемое программным обеспечением изменение подвижности клеточной стенки бактерий при воздействии различных медикаментов создает эффективный метод определения устойчивости бактерий к внешним воздействиям, в том числе позволяет определить их антибиотикорезистентность. При этом решить вопрос устойчивости или неустойчивости бактерий к антибиотикам с помощью алгоритмов программного обеспечения по регистрации морфологии и спектра колебаний можно будет реализовать за несколько минут, что на несколько порядков быстрее, чем традиционное наблюдение за ростом колоний бактерий на культуральной среде.
Анализ нервной ткани – сети живых нейронных клеток – выдвигает сложные требования к программному обеспечению, поскольку необходимо следить как за изменением морфологии нервной ткани, так и за характером и маршрутом прохождения нервных импульсов. Эти требования выдвигает современная нейрофизиология и нейромедицина.
Детальные исследования опухолевых клеток (рис.4), определение их реакции на медикаментозное воздействие – приоритетные направления зондовой микроскопии в решении задач современной онкологии. Сканирующая капиллярная микроскопия и атомно-силовая микроскопия дают ценную информацию о морфологии клеток, шероховатости клеточной стенки, адгезивных и фрикционных свойствах. Все измерения проводятся в буферных растворах, что позволяет следить за жизненными процессами клетки – ростом, делением, реакцией на внешние воздействия и пр.
Особый практический интерес представляет полнофункциональный анализ клеток крови – морфологии, геометрии, жесткости, адгезивных и фрикционных свойств поверхности и пр. (рис.5).
В настоящее время в начальной стадии находится развитие методов молекулярной печати и нанолитографии методами зондовой микроскопии, и в первую очередь атомно-силовой и капиллярной микроскопии, для решения задач регенеративной медицины, микрохирургии, пластической хирургии и т.п. Здесь стоят задачи у программного обеспечения по 3D-визуализации, 3D-печати, направленной 3D-модификации поверхности клеток и ткани под действием механического, электрического, химического и биохимического воздействия.
Для эффективного использования зондовой микроскопии в медицине необходимо добиваться того, чтобы большинство режимов реализовывалось в автоматическом режиме с предоставлением развернутых отчетов.
В настоящее время широко используется программное обеспечение "ФемтоСкан Онлайн" для фильтрации, обработки и анализа изображений и экспериментальных данных зондовой микроскопии [10, 11]. При этом большая часть работы проводится пользователем в режиме зрительного наблюдения. При внедрении автоматизированного анализа изображений стоит большая и сложная задача развития алгоритмов машинного зрения с использованием популярных и развивающихся методов искусственного интеллекта и нейронных сетей. Недавно нам удалось эффективно использовать алгоритм нейронных сетей для поиска белковых наночастиц, размеры которых на изображении сравнимы с уровнем шума [12].
В настоящей заметке приведена лишь небольшая часть задач, которые стоят перед программным обеспечением в зондовой микроскопии. Но и они требуют существенных усилий со стороны программистов, инженеров и исследователей.
БЛАГОДАРНОСТИ
Автор выражает искреннюю благодарность аспиранту А.И.Ахметовой, магистрам А.А.Власову, О.В.Иванову, Н.Е.Максимовой, М.А.Павловой, С.А.Сенотрусовой, Т.О.Советникову, А.А.Труховой за неоценимую помощь в работе.
ИНФОРМАЦИЯ О РЕЦЕНЗИРОВАНИИ
Редакция благодарит анонимного рецензента (рецензентов) за их вклад в рецензирование этой работы, а также за размещение статей на сайте журнала и передачу их в электронном виде в НЭБ eLIBRARY.RU.
Декларация о конфликте интересов. Авторы заявляют об отсутствии конфликтов интересов или личных отношений, которые могли бы повлиять на работу, представленную в данной статье.
ЛИТЕРАТУРА / REFERENCES
Takahashi Y., Zhou Y., Miyamoto T. et al. High-Speed SICM for the Visualization of Nanoscale Dynamic Structural Changes in Hippocampal Neurons. Analytical Chemistry. 2020. Vol. 92 (2), PP. 2159–2167. https://doi.org/10.1021/acs.analchem.9b04775
Hansma P.K., Drake B., Marti O., Gould S.A., Prater C.B. Science, 1989, Vol. 243, p. 641.
Gorelik J., Shevchuk A.I., Frolenkov G.I., Diakonov I.A., Lab M.J., Kros C.J., Richardson G.P., Vodyanoy I., Edwards C.R.W., Klenerman D., et al. Dynamic assembly of surface structures in living cells. Proc. Natl. Acad. Sci., USA. 2003. Vol. 100, pp. 5819–5822.
Yaminsky I.V., Akhmetova A.I., Senotrusova S.A., Wang Z., Bing Y., Lukyanchuk B.S., Barmina E., Simakin A.V., Shafeev G.A. A new solution for bionanoscopy based on optical microlens technology. NANOINDUSTRY, 2021. Vol. 14(5): pp. 292–297, http://dx.doi.org/10.22184/1993-8578.2021.14.5.292.297
Yaminsky I.V., Akhmetova A.I. Atomic force microscopy: the study of viruses. NANOINDUSTRY, 2021. Vol. 14(2). PP. 102–107, http://dx.doi.org/10.22184/1993-8578.2021.14.2.102.106
Akhmetova A.I., Yaminsky I.V. High resolution imaging of viruses: scanning probe microscopy and related techniques. Methods, 2022. Vol. 197, pp. 30–38, http://dx.doi.org/10.1016/j.ymeth.2021.06.011
Yaminsky I.V., Akhmetova A.I. Scanning probe microscopy of bacteria: genotype and phenotype. NANOINDUSTRY, 2022. Vol. 15(1), pp. 22–27, http://dx.doi.org/10.22184/1993-8578.2022.15.1.38.43
Sovetnikov T.O., Tikhomirova M.A., Akhmetova A.I., Yaminsky I.V. Observation of human carcinoma cells in a capillary microscope. Medicine and high technologies, 2022. Vol. 2, pp. 10–15, http://dx.doi.org/10.34219/2306-3645-2022-12-2-10-15
Sinitsyna O.V., Akhmetova A.I., Yaminsky I.V. Atomic force microscopy of erythrocytes: new diagnostic possibilities. Medicine and high technologies, 2022. Vol. 1, PP. 9–12, http://dx.doi.org/10.34219/2306-3645-2022-12-1-9-12
Filonov A.S., Yaminsky I.V., Akhmetova A.I., Meshkov G.B. FemtoScan Online! Why he? NANOINDUSTRY. 2018. Vol. 11, no. 5(84), pp. 339–342.
Yaminsky I.V., Akhmetova A.I., Meshkov G.B. FemtoScan Online software and visualization of nano-objects in high-resolution microscopy. NANOINDUSTRY, 2018, Vol. 11, no. 6(85), pp. 414–416.
Yaminsky I.V., Sinitsyna O.V., Vorobyov M.M. Automated search for nanoparticles in probe microscopy images using a neural network. NANOINDUSTRY, 2021, Vol. 14, no. 5, pp. 276–280, http://dx.doi.org/10.22184/1993-8578.2021.14.5.276.280
Научная статья
ВЫСОКОСКОРОСТНАЯ СКАНИРУЮЩАЯ ЗОНДОВАЯ МИКРОСКОПИЯ: ВОПРОСЫ ЭЛЕКТРОНИКИ
И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
И.В.Яминский1, 2, д.ф.-м.н., профессор МГУ имени М.В. Ломоносова, физический факультет, ORCID: 0000-0001-8731-3947 / yaminsky@nanoscopy.ru
Аннотация. Сканирующая зондовая микроскопия является уникальным методом для наблюдения природных и искусственных наноструктур, объектов живой природы – биомакромолекул, ДНК и РНК, белков, вирусов, бактерий, клеток, нейронных сетей и живой ткани. Наблюдение эволюционных процессов с высоким временным разрешением является наиважнейшей задачей для понимания характера процессов в живых системах, функционирования различных структур в наноэлектронике и биосенсорике. Для ее решения необходимо создание сверхбыстродействующей электроники, программного обеспечения и скоростных электромеханических устройств. В частности, в нейрофизиологии для установления взаимосвязи между топологией сети живых нейронов и прохождения сигналов в них, понимания процессов самообучения живых нейронных сетей необходимо существенно повысить временное разрешение при записи изображений нервной ткани и скорости записи карт прохождения электрических сигналов в ней.
Ключевые слова: биомедицина, зондовая микроскопия, атомно-силовая микроскопия, ФемтоСкан
Для цитирования: И.В. Яминский. Высокоскоростная сканирующая зондовая микроскопия: вопросы электроники и программного обеспечения. НАНОИНДУСТРИЯ. 2022. Т. 15, № 7-8. С. 408–416. https://doi.org/10.22184/1993-8578.2022.15.7-8.408.416
Received: 11.11.2022 | Accepted: 18.11.2022 | DOI: https://doi.org/10.22184/1993-8578.2022.15.7-8.408.416
Original paper
HIGH-SPEED SCANNING PROBE MICROSCOPY:
ELECTRONICS AND SOFTWARE ISSUES
I.V.Yaminsky1, 2, Doct. of Sci. (Physics and Mathematics), Prof. of Lomonosov Moscow State University, Physical department, ORCID: 0000-0001-8731-3947 / yaminsky@nanoscopy.ru
Abstract. Scanning probe microscopy is a unique method for observing natural and artificial nanostructures and living objects – biomacromolecules, DNA and RNA, proteins, viruses, bacteria, cells, neural networks and living tissue. Observation of evolutionary processes with high temporal resolution present a crucial task for understanding the nature of processes in living systems, functioning of different structures in nanoelectronics and biosensor technology. This requires ultra-high-speed electronics development, software and high-speed electromechanical devices. In particular, in neurophysiology, in order to establish the link between the network topology of living neurons and signals transmission in them, and to understand the self-learning processes of living neural networks, time resolution in recording images of neural tissue and speed of recording maps of the electrical signals transmission in it should be significantly increased.
Keywords: biomedicine, probe microscopy, atomic force microscopy, FemtoScan
For citation: I.V. Yaminsky. High-speed scanning probe microscopy: electronics and software issues. NANOINDUSTRY. 2022. Т. 15, no. 7-8. PP. 408–416. https://doi.org/10.22184/1993-8578.2022.15.7-8.408.416
ВВЕДЕНИЕ
Пионер высокоскоростной атомно-силовой микроскопии профессор Тошио Андо указал на широкий спектр применения этого направления [1]. Так, высокоскоростной атомно-силовой микроскоп (АСМ) позволил напрямую визуализировать динамические явления, происходящие в нанопространствах в жидких средах. В биологической области микроскопия широко используется для наблюдения за белками, ДНК и другими объектами в процессе их функциональной активности. АСМ также используется для наблюдения за морфологическими изменениями живых клеток и динамическими процессами, происходящими на их поверхности. В материаловедении скоростная микроскопия используется для наблюдения за динамическими процессами, происходящими в синтетических полимерных цепях, детергентах и нанопузырьках, а также для исследования коррозионных реакций на границах раздела твердое тело-жидкость, для измерения рельефа фоторезиста, наблюдения кристаллизации неорганических и органических материалов, электрохимических реакций и т.д. Профессор Тошио Андо справедливо констатирует, что визуализированные динамические явления просты, понятны и убедительны.
МЕТОДЫ ИССЛЕДОВАНИЯ
Для повышения скорости сканирования в атомно-силовой микроскопии используются быстродействующие сканеры различных конструкций, применяются кантилеверы уменьшенных размеров с высокой резонансной частотой.
Увеличение скорости особенно актуально для сканирующей капиллярной микроскопии [2]. Сканирующая капиллярная микроскопия в высшей степени успешно применяется в биофизических, биомедицинских и биосенсорных приложениях [3]. При использовании многоканальных капилляров удается одновременно исследовать как морфологию живой клетки (3D-профиль, механические свойства), так и проводить электрофизиологические измерения: определять расположение и проводимость ионных каналов, измерять концентрации активных форм кислорода как снаружи, так и внутри клетки. Сканирующий капиллярный микроскоп открывает новые возможности в локальном переносе низко- и высокомолекулярных веществ, в молекулярной 2D- и 3D-нанопечати, определении подвижности биомакромолекул и секвенировании нуклеиновых кислот (РНК и ДНК).
Достижение высокой скорости сканирования предъявляет строгие требования к повышению резонансной частоты как механических систем, так и самих зондов – кантилеверов. В этом направлении наблюдается существенный прогресс.
В нашей заметке мы затронем вопрос оптимизации и дальнейшего развития быстродействующей электроники и соответствующего программного обеспечения. Использование программируемых логических интегральных схем (ПЛИС) становится наиболее популярным и успешным решением этого вопроса. Ранее мы отмечали, что в повышении скорости производимых измерений ключевым моментом является рациональное применение ПЛИС в сочетании со скоростными цифро-аналоговыми (ЦАП) и аналого-цифровыми преобразователями (АЦП), синтезаторами частот (СЧ), синхронными детекторами и т.д. ПЛИС позволяет сформировать непосредственно из логических ячеек, расположенных на одном кристалле, как сам процессор, осуществляющий реализацию высокоуровневых алгоритмов управления модулями микроскопа и обработки данных, так и низкоуровневые модули, необходимые для формирования управляющих сигналов ЦАП, АЦП, СЧ и прочих устройств. Такой подход разгружает центральный процессор, распараллеливает исполнение задач электроники микроскопа, а также позволяет сократить число внешних сигнальных соединений и компонентов в устройстве, повышая таким образом производительность системы. Также большая гибкость в программировании и отсутствие фиксированной системы команд, как в микроконтроллерах, позволяет с помощью ПЛИС осуществлять более сложную обработку сигналов, а возможность перепрограммирования позволяет расширять систему без замены процессорного устройства, существенно экономя денежные средства. Таким образом, несмотря на более высокую стоимость и необходимость в более трудоемком процессе программирования, упомянутые выше положительные стороны делают систему на основе ПЛИС более оптимальным решением в долгосрочной перспективе.
При использовании ПЛИС появляются существенные удобства и преимущества. ПЛИС позволяет построить большое количество портов ввода-вывода, что весьма актуально в сканирующей зондовой микроскопии (рис.1). Так, в современной версии сканирующих зондовых микроскопов серии "ФемтоСкан" реализовано целое семейство различных режимов, среди них:
атомно-силовая микроскопия контактная и резонансная, на воздухе и в жидкости;
сканирующая фрикционная микроскопия на воздухе и в жидкости;
сканирующая проводящая микроскопия;
сканирующая фотопроводящая микроскопия;
сканирующая пьезоэлектрическая микроскопия;
сканирующая электростатическая микроскопия;
сканирующая магнитная микроскопия;
сканирующая туннельная микроскопия;
нанолитография (контактная и резонансная, силовая и токовая);
режим атомных весов;
флирт-мода деликатного сканирования на воздухе и в жидкости;
режим силового картирования поверхности;
режим температурного нагрева образца.
Для ПЛИС есть много алгоритмов цифровой обработки сигналов, в том числе цифровой обратной связи, что актуально для сканирующей зондовой микроскопии. При этом характерна высокая скорость передачи данных и возможность криптографической защиты передаваемой информации. В электронике микроскопа одновременно может быть сразу несколько ПЛИС для синхронной обработки различных информационных потоков.
В скоростном атомно-силовом микроскопе "ФемтоСкан Х" для связи с ПЛИС и обработки данных, поступающих из электронного блока через высокоскоростное Ethernet-соединение, используется клиентское Qt-приложение.
В развиваемой нами концепции программного обеспечения на сканирующий зондовый микроскоп "ФемтоСкан" возлагается существенно больше полномочий, чем просто сканирование поверхности в различных режимах.
В частности, мы разрабатываем новые функционалы прибора:
контроль над температурой, освещением влажности в помещении и/или в измерительной камере. При наблюдении клеточных структур необходимо поддерживать уровень содержания углекислого газа в атмосфере. Это важно, поскольку изменение этих параметров может оказывать влияние на данные эксперимента;
создание интеллектуальной автоматизированной системы хранения данных. Многолетний опыт показывает, что многие даже опытные пользователи подчас не уделяют должного внимания сортировке, составлению каталога и детальному описанию полученных экспериментальных данных, структурированию файловых записей и т.п. А это в конечном итоге приводит к существенному снижению эффективности работы, как индивидуальной, так и коллективной. Программное обеспечение призвано помочь в организации рационального и удобного хранения данных;
в программное обеспечение должно быть интегрировано расписание пользователей. Ведь многие зондовые микроскопы – это приборы коллективного пользования. Ведение записи пользователей, расписания, времени реальной работы, запоминание служебной передаваемой информации – всю эту работу может вести само программное обеспечение, при этом упрощать систему клиентского администрирования;
много лет мы вели конкурс изображений. Программное обеспечение может существенно упростить процедуру отправки изображения на конкурс;
в конце концов, приветствия и слова похвалы пользователю от программного обеспечения могут быть немаловажны;
отдельный большой функционал касается внедрения ставшей модной и подчас эффективной технологии искусственного интеллекта (ИИ) и нейронных сетей. Ранее нами был опробован алгоритм ИИ для настройки цепи обратной связи в атомно-силовом микроскопе.
Отдельным направлением является глубокое интегрирование оптической микроскопии с методами зондовой микроскопии. Многое в этом направлении уже сделано. Традиционное решение – это использование прямых или инвертированных профессиональных оптических микроскопов для размещения на них зондовых микроскопов. При многих преимуществах есть и существенные недостатки. Например, коммерческие инвертированные оптические микроскопы, обладая громоздкостью и большими размерами, становятся обузой для компактных зондовых микроскопов. В результате для устранения возникающих шумов и нестабильности приходится использовать большие антивибрационные столы, системы защиты и экранировки. В результате зондовый микроскоп превращается в большого и очень дорогого монстра. При этом системы видеонаблюдения дают существенное развитие при уменьшении габаритов, увеличении разрешения и скорости наблюдений. Важно, что многие функции наблюдения и обработки оптических сигналов может и должно проводить ПЛИС.
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ ИССЛЕДОВАНИЙ
В настоящее время дополнительные возможности, в том числе по преодолению дифракционного предела, позволяет получить микролинзовая оптическая микроскопия [4].
Сканирующая зондовая микроскопия стала востребованным инструментом во многих практических приложениях. Эти предложения ставят большой пласт новых задач для программного обеспечения.
Так, в медицине возникает необходимость, например, в обнаружении на получаемых изображениях вирусных частиц или инактивированных вирионов, выступающих в качестве вакцины, при их адсорбции из жидких сред на подложки с биоспецифическими свойствами [6]. Эта важная задача стоит при раннем обнаружении вирусных заболеваний. Программное обеспечение должно позволять микроскопу в автоматическом режиме находить на изображении вирусные частицы, проводить морфологический анализ, измерять кинетику сорбции, определять интактность частиц, регистрировать реакцию на различные воздействия (механические, тепловые, биохимические и др.). Удобным модельным объектом в вирусологии служат вирусы растений, не представляющие опасности для исследователя (рис.2).
При анализе изображений бактериальных клеток (рис.3) перед программным обеспечением появляются задачи поиска, морфологического анализа, анализа жизненного цикла и характера колебаний мембраны клеток. Регистрируемое программным обеспечением изменение подвижности клеточной стенки бактерий при воздействии различных медикаментов создает эффективный метод определения устойчивости бактерий к внешним воздействиям, в том числе позволяет определить их антибиотикорезистентность. При этом решить вопрос устойчивости или неустойчивости бактерий к антибиотикам с помощью алгоритмов программного обеспечения по регистрации морфологии и спектра колебаний можно будет реализовать за несколько минут, что на несколько порядков быстрее, чем традиционное наблюдение за ростом колоний бактерий на культуральной среде.
Анализ нервной ткани – сети живых нейронных клеток – выдвигает сложные требования к программному обеспечению, поскольку необходимо следить как за изменением морфологии нервной ткани, так и за характером и маршрутом прохождения нервных импульсов. Эти требования выдвигает современная нейрофизиология и нейромедицина.
Детальные исследования опухолевых клеток (рис.4), определение их реакции на медикаментозное воздействие – приоритетные направления зондовой микроскопии в решении задач современной онкологии. Сканирующая капиллярная микроскопия и атомно-силовая микроскопия дают ценную информацию о морфологии клеток, шероховатости клеточной стенки, адгезивных и фрикционных свойствах. Все измерения проводятся в буферных растворах, что позволяет следить за жизненными процессами клетки – ростом, делением, реакцией на внешние воздействия и пр.
Особый практический интерес представляет полнофункциональный анализ клеток крови – морфологии, геометрии, жесткости, адгезивных и фрикционных свойств поверхности и пр. (рис.5).
В настоящее время в начальной стадии находится развитие методов молекулярной печати и нанолитографии методами зондовой микроскопии, и в первую очередь атомно-силовой и капиллярной микроскопии, для решения задач регенеративной медицины, микрохирургии, пластической хирургии и т.п. Здесь стоят задачи у программного обеспечения по 3D-визуализации, 3D-печати, направленной 3D-модификации поверхности клеток и ткани под действием механического, электрического, химического и биохимического воздействия.
Для эффективного использования зондовой микроскопии в медицине необходимо добиваться того, чтобы большинство режимов реализовывалось в автоматическом режиме с предоставлением развернутых отчетов.
В настоящее время широко используется программное обеспечение "ФемтоСкан Онлайн" для фильтрации, обработки и анализа изображений и экспериментальных данных зондовой микроскопии [10, 11]. При этом большая часть работы проводится пользователем в режиме зрительного наблюдения. При внедрении автоматизированного анализа изображений стоит большая и сложная задача развития алгоритмов машинного зрения с использованием популярных и развивающихся методов искусственного интеллекта и нейронных сетей. Недавно нам удалось эффективно использовать алгоритм нейронных сетей для поиска белковых наночастиц, размеры которых на изображении сравнимы с уровнем шума [12].
В настоящей заметке приведена лишь небольшая часть задач, которые стоят перед программным обеспечением в зондовой микроскопии. Но и они требуют существенных усилий со стороны программистов, инженеров и исследователей.
БЛАГОДАРНОСТИ
Автор выражает искреннюю благодарность аспиранту А.И.Ахметовой, магистрам А.А.Власову, О.В.Иванову, Н.Е.Максимовой, М.А.Павловой, С.А.Сенотрусовой, Т.О.Советникову, А.А.Труховой за неоценимую помощь в работе.
ИНФОРМАЦИЯ О РЕЦЕНЗИРОВАНИИ
Редакция благодарит анонимного рецензента (рецензентов) за их вклад в рецензирование этой работы, а также за размещение статей на сайте журнала и передачу их в электронном виде в НЭБ eLIBRARY.RU.
Декларация о конфликте интересов. Авторы заявляют об отсутствии конфликтов интересов или личных отношений, которые могли бы повлиять на работу, представленную в данной статье.
ЛИТЕРАТУРА / REFERENCES
Takahashi Y., Zhou Y., Miyamoto T. et al. High-Speed SICM for the Visualization of Nanoscale Dynamic Structural Changes in Hippocampal Neurons. Analytical Chemistry. 2020. Vol. 92 (2), PP. 2159–2167. https://doi.org/10.1021/acs.analchem.9b04775
Hansma P.K., Drake B., Marti O., Gould S.A., Prater C.B. Science, 1989, Vol. 243, p. 641.
Gorelik J., Shevchuk A.I., Frolenkov G.I., Diakonov I.A., Lab M.J., Kros C.J., Richardson G.P., Vodyanoy I., Edwards C.R.W., Klenerman D., et al. Dynamic assembly of surface structures in living cells. Proc. Natl. Acad. Sci., USA. 2003. Vol. 100, pp. 5819–5822.
Yaminsky I.V., Akhmetova A.I., Senotrusova S.A., Wang Z., Bing Y., Lukyanchuk B.S., Barmina E., Simakin A.V., Shafeev G.A. A new solution for bionanoscopy based on optical microlens technology. NANOINDUSTRY, 2021. Vol. 14(5): pp. 292–297, http://dx.doi.org/10.22184/1993-8578.2021.14.5.292.297
Yaminsky I.V., Akhmetova A.I. Atomic force microscopy: the study of viruses. NANOINDUSTRY, 2021. Vol. 14(2). PP. 102–107, http://dx.doi.org/10.22184/1993-8578.2021.14.2.102.106
Akhmetova A.I., Yaminsky I.V. High resolution imaging of viruses: scanning probe microscopy and related techniques. Methods, 2022. Vol. 197, pp. 30–38, http://dx.doi.org/10.1016/j.ymeth.2021.06.011
Yaminsky I.V., Akhmetova A.I. Scanning probe microscopy of bacteria: genotype and phenotype. NANOINDUSTRY, 2022. Vol. 15(1), pp. 22–27, http://dx.doi.org/10.22184/1993-8578.2022.15.1.38.43
Sovetnikov T.O., Tikhomirova M.A., Akhmetova A.I., Yaminsky I.V. Observation of human carcinoma cells in a capillary microscope. Medicine and high technologies, 2022. Vol. 2, pp. 10–15, http://dx.doi.org/10.34219/2306-3645-2022-12-2-10-15
Sinitsyna O.V., Akhmetova A.I., Yaminsky I.V. Atomic force microscopy of erythrocytes: new diagnostic possibilities. Medicine and high technologies, 2022. Vol. 1, PP. 9–12, http://dx.doi.org/10.34219/2306-3645-2022-12-1-9-12
Filonov A.S., Yaminsky I.V., Akhmetova A.I., Meshkov G.B. FemtoScan Online! Why he? NANOINDUSTRY. 2018. Vol. 11, no. 5(84), pp. 339–342.
Yaminsky I.V., Akhmetova A.I., Meshkov G.B. FemtoScan Online software and visualization of nano-objects in high-resolution microscopy. NANOINDUSTRY, 2018, Vol. 11, no. 6(85), pp. 414–416.
Yaminsky I.V., Sinitsyna O.V., Vorobyov M.M. Automated search for nanoparticles in probe microscopy images using a neural network. NANOINDUSTRY, 2021, Vol. 14, no. 5, pp. 276–280, http://dx.doi.org/10.22184/1993-8578.2021.14.5.276.280
Отзывы читателей
