АВТО БЛОГ YAMAHA-VOLGA.RU

Декодирование нескольких звуковых категорий в слуховой коре с помощью нейронных сетей: исследование fNIRS

Front Hum Neurosci. 2021; 15: 636191.

So-Hyeon Yoo

¹ Школа машиностроения, Пусанский национальный университет, Пусан, Южная Корея

Хендрик Сантоса

² Факультет радиологии, США, Питтсбург, Университет Питтсбурга Штаты

Chang-Seok Kim

³ Факультет инженерной когно-мехатроники, Пусанский национальный университет, Пусан, Южная Корея

Keum-Shik Hong

¹ Инженерно-механический факультет, Пусанский национальный университет, Пусан, Южная Корея Корея

¹ Школа машиностроения Пусанского национального университета, Пусан, Южная Корея

² Кафедра радиологии Питтсбургского университета, Питтсбург, Пенсильвания, США

³ Факультет когно-мехатроники Пусанский национальный университет, Пусан, Южная Корея

Под редакцией: Андреас К.Майер, Эрлангенский университет Нюрнберга, Германия

Рецензировал: Евангелос Параскевопулос, Университет Аристотеля в Салониках, Греция; Джанкарло Валенте, Маастрихтский университет, Нидерланды

Специальная секция : Эта статья была отправлена ​​в Sensory Neuroscience, раздел журнала Frontiers in Human Neuroscience

Поступила в редакцию 1 декабря 2020 г.; Принято 31 марта 2021 г.

Это статья с открытым доступом, распространяемая на условиях лицензии Creative Commons Attribution License (CC BY).Использование, распространение или воспроизведение на других форумах разрешено при условии указания оригинального автора(ов) и владельца(ей) авторских прав и при условии цитирования оригинальной публикации в этом журнале в соответствии с общепринятой академической практикой. Запрещается использование, распространение или воспроизведение без соблюдения этих условий.

Abstract

Это исследование направлено на расшифровку гемодинамических ответов (ГР), вызванных несколькими звуковыми категориями, с использованием функциональной спектроскопии ближнего инфракрасного диапазона (fNIRS).В качестве стимулов были даны шесть различных звуков (английский, неанглийский, раздражающий, природа, музыка и выстрел). Изменения концентрации оксигемоглобина (HbO) измеряют в обоих полушариях слуховой коры, в то время как 18 здоровых испытуемых слушают 10-секундные блоки из шести звуковых категорий. В качестве классификатора использовались сети с долговременной кратковременной памятью (LSTM). Точность классификации составила 20,38 ± 4,63% при классификации по шести классам. Хотя производительность сетей LSTM была немного выше случайных уровней, примечательно, что мы могли классифицировать данные по предметам без выбора признаков.

Ключевые слова: функциональная ближняя инфракрасная спектроскопия (fNIRS), долгая кратковременная память (LSTM), слуховая кора, декодирование, глубокое обучение

Введение

Распознавание звука является одним из важных чувств в повседневной жизни. Люди всегда подвергаются воздействию различных звуков, и они могут знать, что это за звук, не осознавая этого. Эта способность позволяет людям избегать различных опасностей и облегчает общение с окружающими. Слуховой раздражитель, поступающий через наружное ухо, передается в слуховую кору через слуховой нерв.Понятно, что височная кора по-разному активируется разными звуками. Нервные реакции в слуховой коре изучались с использованием различных методов, таких как электроэнцефалография (ЭЭГ; Wong et al., 2007; Hill and Scholkopf, 2012; Liu et al., 2015), магнитоэнцефалография (MEG; Hyvarinen et al., 2015). электрокортикограмма (ЭКоГ; Pasley et al., 2012; Herff et al., 2015), функциональная магнитно-резонансная томография (фМРТ; Wong et al., 2008; Gao et al., 2015; Zhang et al., 2016), функциональная около — инфракрасная спектроскопия (fNIRS; Plichta et al., 2011; Ковельман и др., 2012; Dewey and Hartley, 2015) и мультимодальную визуализацию (т. е. одновременное проведение fNIRS, fMRI и/или MEG; Kovelman et al., 2015; Corsi et al., 2019) для выявления этого процесса. В этих исследованиях изучались сложные реакции мозга, вызванные восприятием звуков, для улучшения качества жизни.

Гриффитс и Уоррен (2004) утверждали, что анализ слуховых объектов в двумерном пространстве (частота и время), а не в одномерном пространстве (частота или время), является более значимым, и, следовательно, акустические ощущения, которые создают двумерные изображения, нуждаются в анализе. быть исследованы.Но в своей работе они не предоставили конкретных звуковых категорий. Theunissen и Elie (2014) показали, что естественные звуки облегчают характеристику функций стимул-реакция для нейронов, чем белый шум или простые синтетические звуки. Сальвари и др. (2019) с помощью МЭГ продемонстрировали значительные различия в активации и взаимосвязи между естественными звуками и звуками искусственных объектов (музыка и искусственные звуки) в префронтальных областях. Однако существенных различий между музыкой и искусственными звуками не было.Лю и др. (2019) продемонстрировали, что предсказания настраивающих свойств предполагаемых нейронов, селективных по признакам, совпадают с данными первичной слуховой коры мартышек. Кроме того, они показали, что точный алгоритм классификации криков мартышек может быть успешно применен для классификации криков у других видов.

Идентификация звука, который слышит человек, с помощью интерфейса мозг-компьютер (BCI) позволяет нам узнать, что слышит человек. Чем больше разнообразных звуков может различить устройство BCI, тем больше различных состояний идентифицируется.Для тех, кто потерял зрение, звук может стать альтернативным средством бесконтактного общения с другими людьми. Если есть возможность классифицировать больше звуков, мы можем увеличить количество команд управления для внешнего устройства. Чжан и др. (2015) исследовали расшифровку активации мозга из нескольких звуковых категорий в височной коре человека. Семь различных звуковых категорий (английский, неанглийский, вокал, животное, механическое, музыка и природа) использовались для классификации в их работе с фМРТ. Они сообщили о картах мозга, селективных по звуковым категориям, показывающих распределенные паттерны мозговой активности в верхней височной извилине и средней височной извилине.Однако анализу таких ответов мешал машинный шум, создаваемый во время экспериментов с фМРТ (Scarff et al., 2004; Fuchino et al., 2006).

fNIRS — это неинвазивный метод визуализации головного мозга, в котором используется свет ближнего инфракрасного диапазона (700–900 нм) для проникновения в голову и регистрации изменений оксигенации в мозговом кровотоке. fNIRS — многообещающий метод анализа звука и обработки речи. По сравнению с фМРТ измерение fNIRS не вызывает шума, и такие измерения можно проводить в среде, более подходящей для исследований младенцев.Благодаря этим преимуществам fNIRS демонстрирует значительный потенциал для мониторинга мозга в режиме реального времени, когда субъект движется. Согласно анализу fNIRS, новорожденные постоянно демонстрируют сильную гемодинамическую реакцию на универсально предпочтительные слоги, что позволяет предположить, что раннее усвоение и восприятие языка можно обнаружить с помощью категориальных лингвистических звуков (Gomez et al., 2014). Применение этой технологии может обеспечить обратную связь в логопедической терапии или при настройке слуховых аппаратов (например, слуховых аппаратов).g., кохлеарные импланты) на ранней стадии развития на основе записей головного мозга (Mushtaq et al., 2020). Несколько групп продемонстрировали использование fNIRS для измерения реакции мозга у глухих детей с кохлеарными имплантами (Sevy et al., 2010; Pollonini et al., 2014).

В приложениях fNIRS классификация использовалась для обнаружения лжи (Bhutta et al., 2015), обнаружения сонливости (Khan and Hong, 2015), обнаружения умственной нагрузки (Herff et al., 2014), заболеваний головного мозга (Yoo et al. ., 2020) и гибридный BCI на основе fNIRS-EEG (Yuan et al., 2019; Лин и др., 2020). В приложениях фМРТ классификация также использовалась для декодирования ответов мозга, вызванных зрением (Kohler et al., 2013; Smith, 2013) и звуком (Staeren et al., 2009; Zhang et al., 2015). Лотте и др. (2007) и Pereira et al. (2009) рассмотрели алгоритмы классификации данных ЭЭГ и фМРТ соответственно.

В последнее время многочисленные исследования были сосредоточены на повышении точности классификации за счет применения технологии глубокого обучения для классификации сигналов мозга в дополнение к искусственным нейронным сетям (ИНС; Badai et al., 2020; Флинн и др., 2020). Сверточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN) являются репрезентативными формами ANN. CNN надежно обрабатывает большие наборы данных изображений (Lee et al., 2020). Он широко применяется в обработке сигналов мозга, включая фМРТ (Erturk et al., 2020), глубокую стимуляцию мозга (Kakusa et al., 2020) и ЭЭГ (Lun et al., 2020). Кроме того, CNN использовались для диагностики заболеваний головного мозга в области fNIRS (Xu et al., 2019a; Yang et al., 2019, 2020).RNN способны прогнозировать и классифицировать последовательные данные. Они широко применяются в робототехнике для различных целей и систем, таких как управление уклонением от препятствий (Xu et al., 2019b; Zheng et al., 2019; Zhao et al., 2020), самоорганизующееся управление роботом (Smith et al. , 2020), контроль соответствия без столкновений (Zhou et al., 2019), динамические нейронные роботы (Tekulve et al., 2019) и система автономного вождения (Chen et al., 2019). В последнее время RNN добились впечатляющих результатов в обнаружении припадков (Sirpal et al., 2019), травмах головного мозга (Ieong et al., 2019) и боли (Hu et al., 2019b), а также при дискриминационном синдроме дефицита внимания с гиперактивностью (Dubreuil-Vall et al., 2020).

Долгая кратковременная память (LSTM) представляет собой тип RNN, включающий прогрессивную модель (Hochreiter and Schmidhuber, 1997). По сравнению с RNN, сети LSTM обладают «воротом», чтобы уменьшить проблему исчезающего градиента и позволить алгоритму более точно контролировать информацию, которую необходимо сохранить в памяти, и информацию, которую необходимо удалить.LSTM также считается превосходящим RNN при обработке больших последовательностей данных. Кроме того, по сравнению с CNN, он демонстрирует лучшую производительность при классификации высокодинамичных нелинейных данных временных рядов, таких как данные ЭЭГ (Tsiouris et al., 2018; Li et al., 2020).

Это исследование направлено на разработку метода общения для полностью парализованных и лишенных зрения. Мы идентифицируем звук, который слышит человек, измеряя вызванные заданием гемодинамические реакции слуховой коры: в нашей ранней работе (Hong and Santosa, 2016) были классифицированы четыре звуковые категории.При удаленном общении с людьми без зрения ИМК на основе зрительной или моторной коры могут быть неприменимы. Звук будет жизненно важным инструментом для общения. В этой статье мы увеличили количество звуковых категорий с четырех до шести. Чем разнообразнее классифицируются звуки, тем больше выявляется вариантных состояний. В конце концов, мы можем разнообразить команды управления для работы с внешним устройством. Основанный на звуке BCI с использованием звуковых стимулов является многообещающим, поскольку мы можем использовать такие звуковые сигналы в нашей повседневной жизни (т.е., возможен пассивный ИМК). В этой статье слуховые ЧСС измеряются с использованием fNIRS, а затем LSTM применяется для анализа способности fNIRS различать отдельные звуки из шести классов.

Материалы и методы

Испытуемые

Всего в эксперименте участвовало 18 испытуемых (возраст: 26,89 ± 3,49 года, семь женщин, две левши). Все испытуемые имели нормальный слух и не имели в анамнезе каких-либо неврологических расстройств. Все испытуемые были проинформированы о характере и цели соответствующих экспериментов до получения их письменного согласия.Для эксперимента каждый испытуемый ложился на кровать. Всех испытуемых просили оставаться расслабленными, закрыть глаза и избегать значительных движений тела во время эксперимента. Испытуемых просили внимательно слушать различные звуковые стимулы и угадывать категорию каждого стимула. После эксперимента всех участников попросили устно объяснить, могут ли они точно различить услышанное. Эксперименты fNIRS проводились на здоровых субъектах, и вся экспериментальная процедура проводилась в соответствии с Хельсинкской декларацией и рекомендациями, одобренными Комитетом по этике Институционального наблюдательного совета Пусанского национального университета.

Звуковые стимулы

Звуковые стимулы состояли из шести различных звуковых категорий, выбранных с популярного веб-сайта (http://www.youtube.com). Как показано в , первая и вторая категории подразумевают речь на английском и других языках (неанглийских). Субъектами были индонезийцы, корейцы, китайцы, вьетнамцы и пакистанцы. Каждый участник имел общее признание английского языка, но не смог распознать другие языки. Третьей и четвертой категориями были раздражающие звуки и звуки природы.Пятая категория представляла собой сегмент классической музыки (Канон ре мажор Пахельбеля). Шестая категория — звуки выстрелов частотой 1 Гц. Каждая категория состояла из шести разных звуков (кроме выстрелов, у которых был один и тот же повторяющийся звук). Каждый испытуемый подвергался 36 испытаниям (т. е. шесть звуковых категорий × шесть испытаний). Звуковые стимулы предъявлялись в псевдорандомизированном порядке. Каждый стимул состоял из 10 секунд звука и 20 секунд тишины.

Таблица 1

Аудио категории (M: мужской, F: женский).

3 F

Кроме того, были добавлены предварительные и последующие пробы классической музыки (во избежание внезапного прослушивания), ни одна из которых не была включена в обработку данных.Соответственно, вся запись fNIRS длилась примерно 19 мин. Все звуковые стимулы были микшированы в цифровом виде с использованием программного обеспечения Adobe Audition (файл в формате MP3: 16-битная квантификация, дискретизация 44,1 кГц, стереоканал) и нормализованы до одинакового уровня интенсивности. Наушники с активным шумоподавлением (Sony MDR-NC100D) использовались для акустической стимуляции всех испытуемых с одинаковым уровнем звука. После каждого сеанса записи fNIRS все испытуемые сообщали, что они могут точно различать звук среди звуковых категорий во всех испытаниях.

Измерения fNIRS

показывает конфигурацию оптода непрерывной волны fNIRS системы (DYNOT: динамическая оптическая томография в ближнем инфракрасном диапазоне; NIRx Medical Technologies, Бруклин, штат Нью-Йорк, США) для двусторонней визуализации слуховой коры в обоих полушариях. Расстояние излучатель-детектор составляло 23 мм, а частота дискретизации была установлена ​​на 1,81 Гц на двух длинах волн (760 и 830 нм). Конфигурация оптода состояла из матриц 3 × 5 (восемь излучателей и семь детекторов) по 22 канала на каждое полушарие.Два 22-канальных набора были помещены на скальп, охватывая левую (гл. 1–22) и правую (гл. 23–44) височные доли. Согласно Международной системе 10-20, Chs. 16 и 38 были помещены в Т2 и Т4 соответственно (Santosa et al., 2014). В левом полушарии этой конфигурацией были охвачены как зона Брока, так и зона Вернике. Наконец, свет в комнате был выключен, чтобы свести к минимуму искажение сигнала от источников окружающего света во время экспериментов.

Конфигурация оптода: числа обозначают измерительные каналы, где Chs.16 и 38 совпадают с местоположениями T3 и T4 в системе International 10–20 (Hong, Santosa, 2016).

Предварительная обработка

Оптические данные двух длин волн были преобразованы в относительные изменения концентрации оксигемоглобина (HbO) и дезоксигемоглобина (HbR) с использованием модифицированного закона Бера-Ламберта (Hiraoka et al., 1993) с использованием MATLAB ^TM (2020b, MathWorks, США). Из-за одинакового расстояния излучатель-детектор для всех каналов использовались постоянные значения дифференциальных коэффициентов длины пути (т.д., d = 7,15 для λ = 760 нм и d = 5,98 для λ = 830 нм). В предыдущих исследованиях данные HbO активировались значительно выше, чем HbR для заданных стимулов. Поэтому в этом исследовании обрабатывались только данные HbO. Данные HbO были отфильтрованы для удаления физиологических и искусственных шумов с использованием полосового фильтра Баттерворта пятого порядка с частотами среза 0,01 Гц и 0,1 Гц. Отфильтрованные данные были нарезаны для каждого испытания.

Извлечение признаков для метода опорных векторов

В качестве признаков метода опорных векторов (SVM) использовались значения среднего значения, наклона, эксцесса и асимметрии сигналов HbO.Классификация SVM выполнялась дважды: одна для «внутрипредметной» и другая для «межпредметной». Внутрипредметная классификация является стандартным методом классификации для исследования fNIRS. Учитывая, что общее количество испытаний для одного субъекта составило 36, для каждого субъекта была проведена 6-кратная перекрестная проверка. Для межпредметной классификации мы использовали весь набор данных. В этом случае общее количество испытаний составило 648 (т. е. произведение числа субъектов и числа испытаний. Для межпредметной классификации была проведена десятикратная перекрестная проверка с исключением одного исключения.Наборы для обучения и тестирования были разделены случайным образом с помощью MATLAB ^TM function cvpartition для перекрестной проверки. Одни и те же разделы данных использовались для SVM и LSTM.

LSTM

Рекуррентная нейронная сеть (RNN) — это тип искусственной нейронной сети, в которой скрытые узлы соединены направленными ребрами в виде направленного цикла. Он хорошо известен как эффективный инструмент для обработки последовательных данных, таких как голос и рукописный ввод. RNN имеет следующую структуру (Hochreiter and Schmidhuber, 1997):

ht=tanh (Whh ht−1+Wxhxt+bh),

(2)

, где y _t указывает выход настоящего состояние; индекс t – шаг дискретного времени; W _hy , W _hh , W _xh — параметры от слоя к слою; b _y — смещение выхода y ; h _t — вектор скрытого состояния; x _t — входной вектор; и b _h — смещение вектора скрытого состояния h .

LSTM — это рекуррентная нейронная сеть особого типа, компенсирующая проблему исчезающего градиента. Он имеет структуру состояний ячеек в скрытом состоянии RNN. Основные формулы для LSTM следующие.

ft=σ(Wxfxt+Whfht−1+bf),

(3)

it=σ(Wxixt+Whiht−1+bο),

(4)

οt=σ(Wxοxt+Whοht 1+bο),

(5)

gt=tanh(Wxgxt+Whght−1+bg),

(6)

ct=ft∘ct−1+it∘gt,

(7)

, где f _t — вектор активации ворот забывания для забывания прошлой информации; i _t – вектор активации входного вентиля для запоминания текущей информации; o _t – вектор активации выходного вентиля; g _t — вектор активации клеточного входа; c _t – вектор состояния клетки; W _{XF , W HF , W XI XI , W HI}

, W _XO , W _HO , W _xg , W _hg – матрицы весов входной и рекуррентной связей; b _f , b _i , b _o , b _g — векторы параметрических смещений; ° — произведение Адамара.В сетях LSTM состояние ячейки и скрытое состояние вычисляются рекурсивно.

В этой статье сети LSTM применяются двумя способами, как и в двух случаях (внутрисубъектный, межпредметный) в классификации SVM. представляет сети LSTM, используемые в этой статье. Во-первых, для внутрисубъектной классификации использовался слой bi-LSTM из восьми скрытых слоев с двумя максимальными эпохами и тремя размерами мини-партий (Kang et al., 2020). Во-вторых, слой bi-LSTM из 16 скрытых слоев использовался для межпредметной классификации с тремя максимальными эпохами и тремя размерами мини-пакетов, см.Количество скрытых слоев, максимальная эпоха и размер мини-пакета были выбраны, чтобы избежать переобучения (Sualeh and Kim, 2019). Кроме того, был изучен слой bi-LSTM из 256 скрытых слоев для межпредметной классификации (для сравнения с 16 скрытыми слоями). Кроме того, 6- и 10-кратные перекрестные проверки и перекрестные проверки с исключением одного были выполнены так же, как SVM.

Простая модель bi-LSTM для классификации.

Таблица 2

Одна сеть bi-LSTM.

Результаты

Всего в эксперименте 18 испытуемых прослушивали по шесть повторений каждой из шести категорий звуковых стимулов (всего 36 проб).Шесть категорий: английский (E), не английский (nE), звуки природы (NS), музыка (M), раздражающие звуки (AS) и выстрелы (GS). Точность внутрисубъектной классификации составила 21,35 ± 6,71% для SVM и 19,14 ± 9,16% для LSTM соответственно; видеть .

Точность внутрипредметной классификации (SVM по сравнению с LSTM).

Когда перекрестные проверки SVM и LSTM проводились отдельно, точность 10-кратной межпредметной классификации с 16 скрытыми слоями составила 16,83 ± 3,90% для SVM и 20.38 ± 4,63% для LSTM соответственно. показаны матрицы путаницы для обучения и тестирования 10-кратной межпредметной классификации. Гипергеометрические значения p были рассчитаны с использованием матрицы смешения в . Значения p составили 0,3745 (E), 0,3123 (nE), 0,0232 (NS), 0,0946 (M), 0,0129 (AS) и 0,3701 (GS). Для справедливого сравнения между SVM и LSTM мы повторили 10-кратную перекрестную проверку, используя то же разделение данных, используя тот же код. В данном случае результатов было 15.73 ± 3,00% для SVM и 21,44 ± 4,57% для LSTM. В дальнейшем мы не могли найти существенной разницы между двумя случаями в отношении метода разделения данных.

Точность межпредметной классификации (LSTM): (A) матрица путаницы для обучения, (B) матрица путаницы для тестирования (класс 1: английский; класс 2: не английский; класс 3: звук природы; класс 4: Музыка; Класс 5: Раздражающий звук; Класс 6: Выстрел).

Используя то же разделение данных для SVM и LSTM, мы также выполнили межпредметную классификацию с исключением одного.Результаты составили 16,83 ± 3,90% для SVM и 20,52 ± 6,15% для LSTM. показывает матрицы путаницы для обучения и тестирования в случае исключения. Гипергеометрические значения p были рассчитаны с использованием матрицы смешения в . Значения p составили 0,4274 (E), 0,5488 (nE), 0,0129 (NS), 0,0036 (M), 0,1078 (AS) и 0,3769 (GS). Низкие значения p указывают на то, что классификатор может успешно классифицировать звуки.

Точность межпредметной классификации (проверка LSTM с 16 скрытыми слоями): (A) матрица путаницы для обучения, (B) матрица путаницы для тестирования (класс 1: английский; класс 2 : не английский; класс 3: звуки природы; класс 4: музыка; класс 5: раздражающие звуки; класс 6: выстрел).

LSTM показал лучшую точность в межпредметной классификации, но худшую точность в внутрипредметной классификации: этот результат был несколько неожиданным по сравнению со случаем с четырьмя звуками (Hong and Santosa, 2016). Это предполагает, что в случае с шестью категориями испытуемые слышали слишком много звуковых категорий и с трудом различали их. В целом, когда в классификаторе много скрытых слоев, обучение становится лучше, чем когда их мало, но происходит переподгонка к обучающим данным.Отмечается, что точность межпредметной классификации LSTM с 256 скрытыми слоями составила 99,9% для обучения и 23,15% для тестирования, что является случаем переобучения.

Обсуждения

Предыдущие литературные исследования показали, что разные звуковые категории по-разному обрабатываются мозгом. Старен и др. (2009) показали, что различные звуковые категории вызывали значимые ЖИРНЫЕ ответы на большом пространстве слуховой коры, включая билатерально извилину Хешля, верхнюю височную извилину и верхний берег верхней височной борозды.Чжан и др. (2015) показали, что звуковые карты мозга, отобранные по категориям, демонстрируют распределенные паттерны активности мозга в верхней височной извилине и средней височной извилине. Плихта и др. (2011) сообщили, что приятные и неприятные звуки усиливают активацию слуховой коры, чем нейтральные звуки в их исследовании fNIRS. Наши результаты показали, что звуки природы, музыка и раздражающие звуки были классифицированы лучше, чем другие категории. Звуки природы и музыка считаются приятными звуками, а раздражающие звуки — неприятными звуками (Plichta et al., 2011). Выделение эмоционально-нейтральных звуков (т. е. Е, n-E и GS) «отдельно» от других категорий считается трудным.

Для повышения точности и стабильности классификации были разработаны алгоритмы глубокого обучения (Shan et al., 2019; Park and Jung, 2020; Sung et al., 2020). RNN также были разработаны для повышения их производительности; RNN на основе мемристоров (Yang et al., 2021), хаотические задержанные RNN с неизвестными параметрами и стохастическим шумом (Yan et al., 2019), преобразованная рекуррентная полиномиальная нейронная сеть Эрмита (Lin and Ting, 2019).Разработанные RNN применялись в различных методах визуализации мозга (Hu et al., 2019a; Plakias and Boutalis, 2019). Ван и др. (2019) достигли 98,50% точности классификации с помощью сверточных RNN для индивидуального распознавания на основе данных фМРТ в состоянии покоя. Цяо и др. (2019) предложили применение bi-LSTM для декодирования визуальных стимулов на основе изображений фМРТ из зрительной коры. Точность классификации составила 60,83 ± 1,17% и 42,50 ± 0,74% для каждого субъекта в пяти категориях. Количество обучающих и проверочных выборок составляло 1750 и 120 для каждого субъекта.По сравнению с существующими исследованиями, ограничением этого исследования является небольшой размер набора данных.

Традиционный метод классификации — это процесс выделения данных из набора категорий на основе обучающего набора данных, классы категорий которого известны (Klein and Kranczioch, 2019; Pinti et al., 2019). Отдельные наблюдения анализируются в набор функций, выбранных и выполненных классификатором (Khan et al., 2014). В более подробном процессе классификатор — это функция, которая принимает значения различных признаков.Например, в качестве набора признаков можно использовать средние значения, наклон, асимметрию и значения эксцесса сигналов HbO и HbR из отдельных испытаний (Tai and Chau, 2009). В нашем предыдущем исследовании (Hong and Santosa, 2016) декодирование категорий звуков с четырьмя классами с использованием fNIRS показало точность 46,17 ± 6,25% (слева) и 40,28 ± 6,00% (справа) с использованием LDA, показывая при этом 38,35 ± 5,39% (слева). и 36,99 ± 4,23% (справа) с использованием SVM. В предыдущем исследовании классификация выполнялась со следующими этапами: фильтрация, выбор области интереса, извлечение признаков из области интереса и классификация.В текущем исследовании для сравнения с предложенным методом применялась обычная методика классификации со следующими этапами: фильтрация, извлечение признаков из всех каналов и классификация. Для сетей LSTM перед классификацией применялась только фильтрация.

Сеть LSTM может косвенно извлекать неструктурированные функции из данных, а весовые коэффициенты сети оптимизируются во время сеанса обучения. Сеть можно обучить только после простой фильтрации.Результаты показали, что SVM лучше подходит для внутрипредметной классификации, а LSTM лучше для межпредметной классификации. Кажется, что данные fNIRS включают разные физиологические данные для каждого субъекта, но это физиологическое различие не устраняется простой фильтрацией. Кроме того, размеры выборки внутрипредметной классификации составляли 30 для обучения и шесть для проверки. Размер выборки межпредметной классификации составил 584 для обучения и 64 для проверки. Кроме того, нет существенных различий между 10-кратной проверкой и проверкой с исключением одного.Набор данных 10-кратной проверки может использовать данные одного и того же субъекта как при обучении, так и при тестировании. Размер набора обучающих данных был больше при проверке по исключению. Согласно этому результату, если размер выборки увеличится, сеть LSTM покажет лучшую производительность, чем традиционный метод (SVM). Кроме того, если у нас будет достаточно обучающих данных, этого будет достаточно для игнорирования физиологических различий субъектов в сети LSTM. Сеть LSTM с 256 скрытыми слоями показала немного лучшую производительность, чем другие, но сеть быстро переоснащалась набором обучающих данных.Упрощение времени классификации данных может способствовать коммерциализации будущей диагностики с использованием технологии fNIRS или BCI, учитывая, что это может сократить время классификации. Хотя результаты этого исследования не являются выдающимися, стоит показать потенциал технологии классификации сигналов fNIRS на основе глубокого обучения.

Заключение

Данная статья посвящена выявлению слуховых звуков с использованием ЧСС слуховой коры. Предлагаемый ИМК на основе звуковых сигналов должен использоваться для полностью парализованных людей, которым может не подойти ИМК на основе зрительной или моторной коры.В этом исследовании мы использовали сигналы fNIRS, вызванные звуковыми стимулами из нескольких звуковых категорий. По сравнению с обычным методом подход на основе LSTM может декодировать деятельность мозга без тяжелой предварительной обработки данных, такой как регрессия, выбор признаков и извлечение признаков. Хотя производительность сети LSTM была немного выше, чем уровень случайности, примечательно, что мы могли классифицировать шесть звуков практически без определения интересующей области и выделения признаков.Подход с использованием звуковых стимулов перспективен для ИМК пассивного типа, использующего обычные звуки в нашей повседневной жизни. Это исследование имеет ограничение на количество данных, которое необходимо улучшить в будущем.

Заявление о доступности данных

Наборы данных, созданные в этой статье, доступны по запросу соответствующему автору.

Заявление об этике

Исследования с участием людей были рассмотрены и одобрены Комитетом по этике Институционального наблюдательного совета Пусанского национального университета.Пациенты/участники предоставили письменное информированное согласие на участие в этом исследовании.

Вклад автора

S-HY провел обзор литературы и написал первый вариант рукописи. HS получил экспериментальные данные и начал работу. C-SK участвовала в пересмотре рукописи. К-Ш задумал идею, откорректировал рукопись и доработал работу. Все авторы одобрили окончательный вариант рукописи.

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов.Это исследование было проведено в отсутствие каких-либо коммерческих или финансовых отношений, которые могли бы быть истолкованы как потенциальный конфликт интересов.

Сноски

Финансирование. Работа выполнена при поддержке Национального исследовательского фонда (NRF) Кореи под эгидой Министерства науки и ИКТ Кореи (грант № NRF-2020R1A2B5B03096000).

Ссылки

• Бадай Дж., Бу К., Чжан Л. (2020). Обзор приложений и алгоритмов искусственного интеллекта для исследования органоидов мозга.междисциплинарный науч. 12, 383–394. 10.1007/s12539-020-00386-4 [PubMed] [CrossRef] [Google Scholar]
• Бхутта М. Р., Хонг М. Дж., Ким Ю. Х., Хонг К. С. (2015). Однократная детекция лжи с использованием комбинированной системы fNIRS-полиграф. Передний. Психол. 6:709. 10.3389/fpsyg.2015.00709 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Chen J. N., Chen J. Y., Zhang R. M., Hu X. B. (2019). На пути к системе, вдохновленной мозгом: глубокое рекуррентное обучение с подкреплением для симулированного автономного агента.Передний. Нейроробот. 13:40. 10.3389/fnbot.2019.00040 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Corsi M.C., Chavez M., Schwartz D., Hugueville L., Khambhati A.N., Bassett D.S., et al. . (2019). Интеграция сигналов ЭЭГ и МЭГ для улучшения классификации изображений движений в интерфейсе мозг-компьютер. Междунар. Дж. Нейронная система. 29:1850014. 10.1142/S012
• 18500144 [PubMed] [CrossRef] [Google Scholar]
• Dewey R.S., Hartley D.E.H. (2015). Корковая кросс-модальная пластичность после глухоты, измеренная с помощью функциональной спектроскопии в ближней инфракрасной области.Слышать. Рез. 325, 55–63. 10.1016/j.heares.2015.03.007 [PubMed] [CrossRef] [Google Scholar]
• Dubreuil-Vall L., Ruffini G., Camprodon J. A. (2020). Сверточные нейронные сети с глубоким обучением отличают взрослых с СДВГ от здоровых людей на основе спектральной ЭЭГ, связанной с событием. Передний. Неврологи. 14:251. 10.3389/fnins.2020.00251 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Erturk M.A., Panken E., Conroy M.J., Edmonson J., Kramer J., Chatterton J., et al. . (2020).Прогнозирование in vivo уровней напряжения, индуцированного градиентным полем МРТ, на имплантированных системах глубокой стимуляции мозга с использованием нейронных сетей. Передний. Гум. Неврологи. 14:34. 10.3389/fnhum.2020.00034 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Flynn M., Effraimidis D., Angelopoulou A., Kapetanios E., Williams D., Hemanth J., et al. . (2020). Оценка эффективности автоматизированного распознавания эмоций у взрослых и детей для клинических исследований. Передний. Гум. Неврологи. 14:70.10.3389/fnhum.2020.00070 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Фучино Ю., Сато Х., Маки А., Ямамото Ю., Катура Т., Обата А. и др. . (2006). Влияние акустического шума фМРТ на сенсомоторную активацию изучали с помощью оптической топографии. НейроИзображение 32, 771–777. 10.1016/j.neuroimage.2006.04.197 [PubMed] [CrossRef] [Google Scholar]
• Гао П. П., Чжан Дж. В., Фан С. Дж., Санес Д. Х., Ву Э. X. (2015). Слуховая обработка среднего мозга по-разному модулируется слуховой и зрительной корой: исследование слуховой фМРТ.НейроИзображение 123, 22–32. 10.1016/j.neuroimage.2015.08.040 [PubMed] [CrossRef] [Google Scholar]
• Гомес Д. М., Берент И., Бенавидес-Варела С., Бион Р. А. Х., Каттаросси Л., Неспор М. и др. . (2014). Языковые универсалии при рождении. проц. Натл. акад. науч. США 111, 5837–5841. 10.1073/pnas.1318261111 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Griffiths T., Warren J. (2004). Что такое слуховой объект? Нац. Преподобный Нейроски. 5, 887–892. 10.1038/nrn1538 [PubMed] [CrossRef] [Google Scholar]
• Herff C., Хегер Д., де Пестерс А., Телаар Д., Бруннер П., Шалк Г. и др. . (2015). Мозг в текст: декодирование произнесенных фраз из телефонных представлений в мозгу. Передний. Неврологи. 9:217. 10.3389/fnins.2015.00217 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Herff C., Heger D., Fortmann O., Hennrich J., Putze F., Schultz T. (2014). Умственная нагрузка во время задачи n-back количественно оценивалась в префронтальной коре с использованием fNIRS. Передний. Гум. Неврологи. 7:935. 10.3389/fnhum.2013.00935 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Hill N.Дж., Шолкопф Б. (2012). Онлайн-интерфейс мозг-компьютер, основанный на переключении внимания на одновременные потоки слуховых стимулов. Дж. Нейронная инженерия. 9:026011. 10.1088/1741-2560/9/2/026011 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Hiraoka M., Firbank M., Essenpreis M., Cope M., Arridge SR, Vanderzee P. , и другие. . (1993). Исследование методом Монте-Карло длины оптического пути в неоднородной ткани и его применение в спектроскопии ближнего инфракрасного диапазона. физ. Мед. биол. 38, 1859–1876 гг.10.1088/0031-9155/38/12/011 [PubMed] [CrossRef] [Google Scholar]
• Hochreiter S., Schmidhuber J. (1997). Длинная кратковременная память. Нейронные вычисления. 9, 1735–1780 гг. [PubMed] [Google Scholar]
• Хонг К. С., Сантоса Х. (2016). Расшифровка четырех различных звуковых категорий в слуховой коре с использованием функциональной спектроскопии ближнего инфракрасного диапазона. Слышать. Рез. 333, 157–166. 10.1016/j.heares.2016.01.009 [PubMed] [CrossRef] [Google Scholar]
• Ху Р. Х., Хуан К. Дж., Ван Х., Хе Дж., Чанг С. (2019a).Рекуррентная сеть на основе монитора для представления сложных динамических паттернов. Междунар. Дж. Нейронная система. 29:1950006. 10.1142/S012
• 19500060 [PubMed] [CrossRef] [Google Scholar]
• Hu X. S., Nascimento T. D., Bender M. C., Hall T., Petty S., O’Malley S., et al. . (2019б). Возможности клинической дополненной реальности и искусственного интеллекта в режиме реального времени для обнаружения и локализации боли в мозгу. Дж. Мед. Интернет Рез. 21:e13594. 10.2196/13594 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Hyvarinen P., Yrttiaho S., Lehtimaki J., Ilmoniemi R.J., Makitie A., Ylikoski J., et al. . (2015). Чрескожная стимуляция блуждающего нерва модулирует активность бета- и гамма-диапазона, связанную с шумом в ушах. Ухо Слушай. 36, Е76–Е85. 10.1097/AUD.0000000000000123 [PubMed] [CrossRef] [Google Scholar]
• Ieong H. F. H., Gao F., Yuan Z. (2019). Машинное обучение: оценка нервно-сосудистых сигналов в префронтальной коре с помощью неинвазивной бимодальной электрооптической нейровизуализации при опиоидной зависимости. науч. Респ. 9:18262. 10.1038/s41598-019-54316-6 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Какуса Б., Saluja S., Dadey D.Y.A., Barbosa D.A.N., Gattas S., Miller K.J., et al. . (2020). Электрофизиология и структурная связь задней области гипоталамуса: многое можно узнать из редкого признака глубокой стимуляции мозга. Передний. Гум. Неврологи. 14:164. 10.3389/fnhum.2020.00164 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Кан Х., Ян С., Хуан Дж., О Дж. (2020). Прогнозирование расхода сточных вод во временных рядах с помощью двунаправленного глубокого обучения LSTM. Междунар. J. Управление автоматом.Сист. 18, 3023–3030. 10.1007/s12555-019-0984-6 [CrossRef] [Google Scholar]
• Хан М.Дж., Хонг К.С. (2015). Пассивный BCI на основе обнаружения сонливости: исследование fNIRS. Биомед. Опц. выражать 6, 4063–4078. 10.1364/BOE.6.004063 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Khan M.J., Hong M.J.Y., Hong K.S. (2014). Декодирование четырех направлений движения с использованием гибридного нейрокомпьютерного интерфейса NIRS-EEG. Передний. Гум. Неврологи. 8:244. 10.3389/fnhum.2014.00244 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Klein F., Кранчиох К. (2019). Обработка сигналов в fNIRS: случай удаления системной активности для данных одного испытания. Передний. Гум. Неврологи. 13:331. 10.3389/fnhum.2019.00331 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Kohler P.J., Fogelson S.V., Reavis E.A., Meng M., Guntupalli J.S., Hanke M., et al. . (2013). Классификация паттернов предшествует среднему по региону гемодинамическому ответу в ранней зрительной коре. НейроИзображение 78, 249–260. 10.1016/j.neuroimage.2013.04.019 [PubMed] [CrossRef] [Google Scholar]
• Ковельман И., Масчо К., Миллотт Л., Мастик А., Моисефф Б., Шалинский М. Х. (2012). В ритме языка: мозговые основы языкового частотного восприятия у детей. НейроИзображение 60, 673–682. 10.1016/j.neuroimage.2011.12.066 [PubMed] [CrossRef] [Google Scholar]
• Ковельман И., Уэгли Н., Хэй Дж. С. Ф., Уголини М., Бойер С. М., Ладжинесс-О’Нил Р. и др. . (2015). Мультимодальное изображение временной обработки при типичном и нетипичном языковом развитии. Анна. Н. Я. акад. наук.. 1337, 7–15. 10.1111/няс.12688 [PubMed] [CrossRef] [Google Scholar]
• Lee SJ, Choi H., Hwang S.S. (2020). Оценка глубины в реальном времени с использованием рекуррентной CNN с разреженными сигналами глубины для системы SLAM. Междунар. J. Управление автоматом. Сист. 18, 206–216. 10.1007/s12555-019-0350-8 [CrossRef] [Google Scholar]
• Li R.L., Wu Q., Liu J., Li C., Zhao Q.B. (2020). Мониторинг глубины анестезии на основе гибридных функций и рекуррентной нейронной сети. Передний. Неврологи. 14:26. 10.3389/fnins.2020.00026 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Lin C.T., King J.T., Chuang C.H., Ding W.P., Chuang W.Y., Liao L.D., et al. . (2020). Изучение реакции мозга на усталость от вождения с помощью одновременных измерений ЭЭГ и fNIRS. Междунар. Дж. Нейронная система. 30:1950018. 10.1142/S012
• 19500187 [PubMed] [CrossRef] [Google Scholar]
• Lin CH, Ting JC (2019). Новое нелинейное обратное управление приводной системой синхронного реактивного двигателя для отслеживания положения периодических опорных входных сигналов с учетом пульсаций крутящего момента. Междунар. J. Управление автоматом.Сист. 17, 1–17. 10.1007/s12555-017-0703-0 [CrossRef] [Google Scholar]
• Liu F., Maggu A.R., Lau JCY, Wong PCM (2015). Кодирование стволом мозга речи и музыкальных стимулов при врожденной амузии: данные говорящих на кантонском диалекте. Передний. Гум. Неврологи. 8:1029. 10.3389/fnhum.2014.01029 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Liu S. T., Montes-Lourido P., Wang X., Sadagopan S. (2019). Оптимальные функции для слуховой категоризации. Нац. коммун. 10:1302. 10.1038/s41467-019-09115-y [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Lotte F., Congedo M., Lecuyer A., ​​Lamarche F., Arnaldi B. (2007). Обзор алгоритмов классификации интерфейсов мозг-компьютер на основе ЭЭГ. Дж. Нейронная инженерия. 4, Р1–Р13. 10.1088/1741-2560/4/2/R01 [PubMed] [CrossRef] [Google Scholar]
• Lun X.M., Yu Z.L., Chen T., Wang F., Hou Y.M. (2020). Упрощенный метод классификации CNN для MI-EEG с помощью сигналов пар электродов. Передний. Гум.Неврологи. 14:338. 10.3389/fnhum.2020.00338 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Муштак Ф., Виггинс И. М., Киттерик П. Т., Андерсон К. А., Хартли Д. Э. Х. (2020). Положительное влияние кросс-модальной реорганизации на восприятие речи у детей с кохлеарными имплантами выявлено с помощью функциональной спектроскопии в ближней инфракрасной области. Передний. Гум. Неврологи. 14:308. 10.3389/fnhum.2020.00308 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Park J., Jung D. J. (2020).Архитектуры глубокой сверточной нейронной сети для идентификации тональной частоты в лофарграмме. Междунар. J. Управление автоматом. Сист. 19, 1103–1112. 10.1007/s12555-019-1014-4 [CrossRef] [Google Scholar]
• Пэсли Б. Н., Дэвид С. В., Месгарани Н., Флинкер А., Шамма С. А., Кроун Н. Е. и др. . (2012). Реконструкция речи из слуховой коры человека. PLoS биол. 10:e1001251. 10.1371/journal.pbio.1001251 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Перейра Ф., Митчелл Т., Ботвиник М. (2009). Классификаторы машинного обучения и фМРТ: обзор учебного пособия. НейроИзображение 45, С199–С209. 10.1016/j.neuroimage.2008.11.007 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Пинти П., Шолкманн Ф., Гамильтон А., Берджесс П., Тахцидис И. (2019). Текущее состояние и проблемы, связанные с предварительной обработкой данных нейровизуализации fNIRS: исследование различных методов фильтрации сигналов в рамках общей линейной модели. Передний. Гум. Неврологи. 12:505. 10.3389/fnhum.2018.00505 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Плакиас С., Буталис Ю. С. (2019). Нейронные сети слияния на основе теории Ляпунова для идентификации динамических нелинейных систем. Междунар. Дж. Нейронная система. 29:1950015. 10.1142/S012
• 19500151 [PubMed] [CrossRef] [Google Scholar]
• Plichta M.M., Gerdes A.B.M., Alpers G.W., Harnisch W., Brill S., Wieser M.J., et al. . (2011). Активация слуховой коры модулируется эмоциями: исследование функциональной ближней инфракрасной спектроскопии (fNIRS).НейроИзображение 55, 1200–1207. 10.1016/j.neuroimage.2011.01.011 [PubMed] [CrossRef] [Google Scholar]
• Поллонини Л., Олдс К., Абая Х., Бортфельд Х., Бошам М. С., Огалаи Дж. С. (2014). Активация слуховой коры к естественной речи и смоделированной речи кохлеарного импланта, измеренная с помощью функциональной спектроскопии ближнего инфракрасного диапазона. Слышать. Рез. 309, 84–93. 10.1016/j.heares.2013.11.007 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Qiao K., Chen J., Wang L. Y., Zhang C., Zeng L., Tong L., и другие. . (2019). Категориальное декодирование зрительных стимулов от активности человеческого мозга с использованием двунаправленной рекуррентной нейронной сети для имитации двунаправленных информационных потоков в зрительной коре головного мозга человека. Передний. Неврологи. 13:692. 10.3389/fnins.2019.00692 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Сальвари В., Параскевопулос Э., Чалас Н., Мюллер К., Воллбринк А., Добель К. и др. . (2019). Слуховая категоризация искусственных звуков по сравнению с естественными звуками с помощью функциональной связи мозга MEG.Передний. Гум. Неврологи. 13:1052. 10.3389/fnins.2019.01052 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Santosa H., Hong MJ, Hong K.S. (2014). Латерализация обработки музыки слуховой корой: исследование fNIRS. Передний. Поведение Неврологи. 8:418. 10.3389/fnbeh.2014.00418 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Scarff C.J., Dort J.C., Eggermont J.J., Goodyear B.G. (2004). Влияние шума МРТ-сканера на активность слуховой коры при использовании фМРТ. Гум.Карта мозга. 22, 341–349. 10.1002/hbm.20043 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Sevy A.B.G., Bortfeld H., Huppert T.J., Beauchamp M.S., Tonini R.E., Oghalai J.S. (2010). Нейровизуализация с помощью спектроскопии в ближней инфракрасной области демонстрирует вызванную речью активность в слуховой коре глухих детей после кохлеарной имплантации. Слышать. Рез. 270, 39–47. 10.1016/j.heares.2010.09.010 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Shan C. H., Guo X.Р., Оу Дж. (2019). Глубокие дырявые одновершинные треугольные нейронные сети. Междунар. J. Управление автоматом. Сист. 17, 2693–2701. 10.1007/s12555-018-0796-0 [CrossRef] [Google Scholar]
• Сирпал П., Кассаб А., Пулио П., Нгуен Д. К., Лесаж Ф. (2019). fNIRS улучшает обнаружение припадков в мультимодальных записях EEG-fNIRS. Дж. Биомед. Опц. 24, 1–9. 10.1117/1.JBO.24.5.051408 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Smith K. (2013). Чтение мыслей. Природа 502, 428–430. 10.1038/502428a [PubMed] [CrossRef] [Google Scholar]
• Smith S.К., Дхармади Р., Имри К., Си Б.Л., Херрманн Дж. М. (2020). Модель DIAMOND: глубокие рекуррентные нейронные сети для самоорганизующегося управления роботом. Передний. Нейроробот. 14:62. 10.3389/fnbot.2020.00062 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Staeren N., Renvall H., De Martino F., Goebel R., Formisano E. (2009). Звуковые категории представлены в виде распределенных паттернов в слуховой коре человека. Курс. биол. 19, 498–502. 10.1016/j.cub.2009.01.066 [PubMed] [CrossRef] [Google Scholar]
• Суале М., Ким Г.В. (2019). Одновременная локализация и картографирование в эпоху семантики: обзор. Междунар. J. Управление автоматом. Сист. 17, 729–742. 10.1007/s12555-018-0130-x [CrossRef] [Google Scholar]
• Sung HJ, Park MK, Choi JW (2020). Автоматический сортировщик камбал с использованием машинного зрения. Междунар. J. Управление автоматом. Сист. 18, 3073–3082. 10.1007/s12555-020-0007-7 [CrossRef] [Google Scholar]
• Тай К., Чау Т. (2009). Однократная классификация сигналов NIRS во время задач эмоциональной индукции: к телесному машинному интерфейсу.Дж. Нейроэнг. Реабилит. 6:39. 10.1186/1743-0003-6-39 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Текулве Дж., Фойс А., Сандамирская Ю., Шонер Г. (2019). Автономная генерация последовательности для нейронного динамического робота: восприятие сцены, последовательный порядок и объектно-ориентированное движение. Передний. Нейроробот. 13:95. 10.3389/fnbot.2019.00095 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Theunissen F., Elie J. (2014). Нейронная обработка природных звуков. Нац. Преподобный Нейроски.15, 355–366. 10.1038/nrn3731 [PubMed] [CrossRef] [Google Scholar]
• Циурис К. М., Пезулас В. К., Зервакис М., Конитсиотис С., Куцурис Д. Д., Фотиадис Д. И. (2018). Сеть глубокого обучения с долговременной кратковременной памятью для прогнозирования эпилептических припадков с использованием сигналов ЭЭГ. вычисл. биол. Мед. 99, 24–37. 10.1016/j.compbiomed.2018.05.019 [PubMed] [CrossRef] [Google Scholar]
• Ван Л.Б., Ли К.М., Чен С., Ху С.П.П. (2019). Применение сверточной рекуррентной нейронной сети для индивидуального распознавания на основе данных фМРТ в состоянии покоя.Передний. Неврологи. 13:434. 10.3389/fnins.2019.00434 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Wong PCM, Skoe E., Russo N.M., Dees T., Kraus N. (2007). Музыкальный опыт формирует кодирование стволом человеческого мозга лингвистических паттернов высоты тона. Нац. Неврологи. 10, 420–422. 10.1038/nn1872 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Wong PCM, Uppunda A.K., Parrish T.B., Dhar S. (2008). Корковые механизмы восприятия речи в шуме. Дж. Спич Ланг.Слышать. Рез. 51, 1026–1041. 10.1044/1092-4388(2008/075) [PubMed] [CrossRef] [Google Scholar]
• Сюй Л. Ю., Гэн С. Л., Хе С. Ю., Ли Дж., Ю Дж. (2019a). Прогнозирование при аутизме путем глубокого обучения кратковременным спонтанным гемодинамическим колебаниям. Передний. Неврологи. 13:11:20. 10.3389/fnins.2019.01120 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Xu Z.H., Zhou X.F., Li S. (2019b). Управление избеганием препятствий на основе глубоких рекуррентных нейронных сетей для избыточных манипуляторов. Передний.Нейроробот. 13:47. 10.3389/fnbot.2019.00047 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Yan Z.L., Liu Y.M., Huang X., Zhou J.P., Shen H. (2019). Смешанная заглавная буква H-бесконечность и заглавная буква L-2 — контроль антисинхронизации заглавной буквы L-бесконечность для хаотических отложенных рекуррентных нейронных сетей. Междунар. J. Управление автоматом. Сист. 17, 3158–3169. 10.1007/s12555-019-0263-6 [CrossRef] [Google Scholar]
• Ян С., Лю Ю. К., Ли Ф. М., Ли Ю. Ф. (2021). Синхронизация с конечным временем класса связанных рекуррентных нейронных сетей на основе мемристоров: подход статического управления состоянием и динамического управления.Междунар. J. Управление автоматом. Сист. 19, 426–438. 10.1007/s12555-019-0616-1 [CrossRef] [Google Scholar]
• Ян Д., Хонг К.-С., Ю С.-Х., Ким К.-С. (2019). Оценка биомаркеров нервной дегенерации в префронтальной коре для раннего выявления пациентов с легкими когнитивными нарушениями: исследование fNIRS. Передний. Гум. Неврологи. 13:317. 10.3389/fnhum.2019.00317 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Ян Д., Хуан Р., Ю С.-Х., Шин М.-Дж., Юн Дж. А., Шин Ю. -Я., и другие. . (2020). Обнаружение легких когнитивных нарушений с использованием сверточной нейронной сети: карты временных характеристик функциональной спектроскопии ближнего инфракрасного диапазона. Передний. Стареющие нейроски. 12:141. 10.3389/fnagi.2020.00141 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Yoo S.-H., Woo S.-W., Shin M.-J., Yoon JA, Shin Y.- И., Хонг К.-С. (2020). Диагностика легких когнитивных нарушений с помощью когнитивных задач: исследование функциональной ближней инфракрасной спектроскопии. Курс. Альцаймер Рез. 17, 1145–1160.10.2174/1567205018666210212154941 [PubMed] [CrossRef] [Google Scholar]
• Юань З., Чжан С., Дин М. З. (2019). От редакции: достижения в области методов и клиническое применение объединенной ЭЭГ-fNIRS. Передний. Гум. Неврологи. 13:408. 10.3389/fnhum.2019.00408 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Zhang C.C., Pugh K.R., Mencl W.E., Molfese P.J., Frost S.J., Magnuson J.S., et al. . (2016). Функционально интегрированная нейронная обработка лингвистической информации и информации о говорящих: связанное с событием исследование фМРТ и ERP.НейроИзображение 124, 536–549. 10.1016/j.neuroimage.2015.08.064 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Zhang F.Q., Wang J.P., Kim J., Parrish T., Wong P.C.M. (2015). Расшифровка нескольких звуковых категорий в височной коре человека с использованием фМРТ высокого разрешения. PLoS один 10:e0117303. 10.1371/journal.pone.0117303 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Zhao WF, Li X.X., Chen X., Su X., Tang G.R. (2020). Двухкритериальный уровень ускорения для обхода препятствий избыточного манипулятора.Передний. Нейроробот. 14:54. 10.3389/fnbot.2020.00054 [бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]
• Zheng W., Wang H.B., Zhang Z.M., Li N., Yin P.H. (2019). Многоуровневое управление нейронной сетью с прямой связью для глубокого обучения с гибридным алгоритмом положения и виртуальной силы для обхода препятствий мобильным роботом. Междунар. J. Управление автоматом. Сист. 17, 1007–1018. 10.1007/s12555-018-0140-8 [CrossRef] [Google Scholar]
• Zhou X. F., Xu Z. H., Lie S. (2019). Бесконфликтный контроль соответствия для избыточных манипуляторов: пример оптимизации.Передний. Нейроробот. 13:50. 10.3389/fnbot.2019.00050 [Бесплатная статья PMC] [PubMed] [CrossRef] [Google Scholar]

Расшифровка подключенного праздничного покупателя в Юго-Восточной Азии в 2021 году

Все права защищены. InMobi © 2021

Об InMobi

InMobi — ведущий поставщик технологий маркетинга и монетизации. Благодаря глубокому опыту и уникальному охвату мобильных устройств, он является надежным и прозрачным технологическим партнером для маркетологов, создателей контента и предприятий всех видов.Миссия InMobi состоит в том, чтобы способствовать росту своих клиентов, помогая им привлекать свою аудиторию и строить значимые связи. Дочерние предприятия — Glance, неконсолидированная дочерняя компания, которая предлагает платформу для обнаружения контента на основе экрана блокировки и видеоплатформу Roposo — помогают InMobi создавать новый контент и коммерческие возможности в мире подключенных устройств. Штаб-квартира InMobi находится в Сингапуре, имеет большое присутствие в Сан-Франциско и Бангалоре и имеет операции в Нью-Йорке, Чикаго, Канзас-Сити, Лос-Анджелесе, Дели, Мумбаи, Пекине, Шанхае, Джакарте, Маниле, Куала-Лумпуре, Сиднее, Мельбурне, Сеуле. , Токио, Лондон и Дубай.Чтобы узнать больше, посетите inmobi.com.

Расшифровка подключенного праздничного покупателя из Юго-Восточной Азии в 2021 году

Юго-Восточная Азия — один из самых разнообразных регионов мира. С множеством различных культур, этнических групп и идентичностей есть причина праздновать каждые несколько недель в конце года.
Хотя неудачи, вызванные пандемией, могли изменить нашу жизнь, дух стойкости и позитивного настроя в Юго-Восточной Азии сильнее, чем когда-либо прежде. В этом году потребители продолжают покупать растения и делают выбор в отношении категорий, брендов и продуктов, которые они планируют покупать.Несомненно, самоизоляция вызвала изменение в поведении среднего потребителя, будь то совершение покупок в Интернете или перераспределение бюджетов по другим каналам. Обо всем этом и многом другом мы поговорим в нашем репортаже!

Понять новое покупательское поведение потребителей из Юго-Восточной Азии  

Узнать об ожиданиях потребителей от онлайн- и офлайн-брендов и розничных продавцов 

Зафиксировать моменты истины для мобильных устройств в Юго-Восточной Азии  

Тенденции и возможности для сезона праздничных покупок в Юго-Восточной Азии в 2021 г. Юго-восток

3

Азия, родина цифрового покупателя 

Юго-Восточная Азия приняла более 70 миллионов онлайн-покупателей с начала пандемии, причем более 80% потребителей намерены сделать онлайн-покупки частью своей повседневной жизни.Какие тенденции будут определять праздничные покупки в Юго-Восточной Азии в 2021 году?

В Индонезии, эпицентре мобильных покупок, наблюдается самый высокий темп роста числа цифровых потребителей в Юго-Восточной Айсе. В этом отчете мы исследуем 3 новых типа покупателей: охотников за скидками, исследователей категорий и любителей брендов, а также то, как бренды и розничные продавцы могут удовлетворить эти запросы в преддверии праздничного сезона и в последующий период.

Фестивали онлайн-покупок, такие как День холостяков (11 ноября), распродажи с двузначными числами и фестивали распродаж в конце года, формируют привычки потребителей и стимулируют рост электронной коммерции с беспрецедентной скоростью в Сингапуре.Что это означает для сезона праздничных покупок в островном государстве?

Матери-филиппинки в первую очередь влияют на покупки, сделанные во время долгожданного сезона Бера. В этом году более 97% филиппинских матерей и семей планируют сосредоточить свои рождественские покупки на онлайн-каналах. Как это повлияет на филиппинцев, которые празднуют самый длинный рождественский сезон в мире, который начинается в начале сентября?

Библиография — People Powered

Accenture.«Равноправие: преимущество включения людей с ограниченными возможностями». Accenture, 2018.

Аллен, Даниэль. «Для чего нужно образование?» Boston Review, 26 апреля 2016 г.

Ариас, Дэн. «Как хешировать пароли: дорога с односторонним движением к усиленной безопасности». Auth0 – Блог, 30 сентября 2019 г. 

Совместное изменение диалога. «Глубокая агитация». По состоянию на 1 декабря 2021 г. 

CitizenLab. «Платформа взаимодействия с сообществом с открытым исходным кодом». По состоянию на 1 декабря 2021 г. 

CitizenLab. «Часто задаваемые вопросы о цифровых консультациях: советы и рекомендации из реальных примеров и государственных служащих.Брюссель, Бельгия: CitizenLab, 2020.

«КОНСУЛ». По состоянию на 1 декабря 2021 г. 

Microsoft. «Основы и политики кибербезопасности». По состоянию на 1 декабря 2021 г. 

Dalia Research, Альянс демократий и Rasmussen Global. «Глобальное восприятие демократии», 2018 г. 

Decidim. «Децидимовая перепись». По состоянию на 1 декабря 2021 г. 

Decidim. «Децидим в использовании». По состоянию на 1 декабря 2021 г.

Decidim. «Функции.» По состоянию на 3 декабря 2021 г. 

Делиб Учись.«Вебинар. Закрытие цикла обратной связи». По состоянию на 3 декабря 2021 г. 

Википедия. «Дизайн-мышление». По состоянию на 4 ноября 2021 г. 

Diario de Madrid. «El Ayuntamiento recibe el Premio al Servicio Público de la ONU 2018 por Decide Madrid». По состоянию на 6 января 2022 г.

Городской совет Дублина. «Мы спросили, вы сказали, мы сделали». Гражданское пространство. По состоянию на 1 декабря 2021 г. 

Дагган, Мейв. «Каждый четвертый чернокожий американец сталкивался с домогательствами в Интернете из-за своей расы, этнической принадлежности.Исследовательский центр Пью (блог). По состоянию на 1 декабря 2021 г. 

Европейская комиссия. «Архитектура DECODE, документация и устойчивость». ЕС, 16 декабря 2019 г. 

Фланиган, Бейли, Пол Гёльц, Анупам Гупта, Бретт Хенниг и Ариэль Д. Прокачча. «Справедливые алгоритмы выбора собраний граждан». Природа 596, вып. 7873 (август 2021 г.): 548–52.

Флетчер, Одри. «В опросе 1 млн лучших веб-сайтов, проведенном WebAIM за 2021 год, 96,7% обнаруженных ошибок WCAG пришлось на 6 категорий.Твит. @avfletcher (блог), 15 ноября 2021 г. 

Европейский фонд свободного программного обеспечения (FSFE). «Общественные деньги, общественный кодекс». По состоянию на 1 декабря 2021 г. 

Decidim Docs. «Общее описание и введение в работу Decidim». По состоянию на 1 декабря 2021 г. 

GDPR.eu. «Изобразительное искусство. 5 GDPR — Принципы обработки персональных данных», 14 ноября 2018 г. 

Gloves, Karl. «6 самых простых тестов веб-доступности, которые может сделать каждый». Карл Гловс (блог), 5 сентября 2013 г.

Голдфранк, Бенджамин. «Включение без власти?: ограничения институтов участия». В Инклюзивный поворот в латиноамериканских демократиях , под редакцией Деборы Дж. Яшар, Дайаны Капишевски и Стивена Левицкого, 117–54. Кембридж: издательство Кембриджского университета, 2021 г. 

Google Cloud. «Группа действий Google по кибербезопасности». По состоянию на 1 декабря 2021 г. 

Хван, Ынми, Охён Квон, Джисон Сон и ХёнСок Хван. Демонстрация платформы участия граждан X Руководство по эксплуатации .Южная Корея: Parti Co-op, 2019.

IBM. «Академия обучения безопасности IBM». По состоянию на 1 декабря 2021 г. 

ICO. «Принцип (c): Минимизация данных». ICO, 11 февраля 2021 г. 

Международная ассоциация общественного участия. «IAP2 Спектр общественного участия». IAP2, 2018 г. 

Джордан, Люк. «Не создавайте это: руководство для практиков в области гражданских технологий / технологий для развития». Grassroot (Южная Африка) и MIT Governance Lab (США), n.d.

Сделаем мир.«Сделаем это, мир». По состоянию на 2 декабря 2021 г. 

Маккензи, Хелен. «Закупки общественного транспорта в сельской местности – твердое положение сообществ за рулем». Citymart Procurement Institute (блог), 16 июня 2020 г. 

Национальная гражданская лига. «Мэрия, чтобы пойти — Бостон, Массачусетс». По состоянию на 2 декабря 2021 г. 

«Отдел по взаимодействию с общественностью мэра Нью-Йорка». По состоянию на 1 декабря 2021 г. https://www1.nyc.gov/site/mayorspeu/index.page.

Соседи. «Представьте Месу». По состоянию на 2 декабря 2021 г.

О’Нил, Дэниел X. CUTGroup: Группа тестирования пользователей Civic как новая модель для тестирования UX, развития цифровых навыков и взаимодействия с сообществом в Civic Tech . Под редакцией Сони Марциано и Линдси Мускато. 2-е изд. Smart Chicago Collaborative, 2016.

Openwashing.org. «Открытая стирка». По состоянию на 1 декабря 2021 г. 

PACE Academy. «Социальные исследования.» Академия ПАСЕ. По состоянию на 1 декабря 2021 г. 

Парсонс, Алекс. «Цифровые инструменты для собраний граждан.” mySociety, 2019. 

Participedia. «Гражданское жюри». По состоянию на 1 декабря 2021 г. 

PlaceSpeak. «Плейс». По состоянию на 1 декабря 2021 г. 

Плоский, Константин, Леонид Донос, Евгений Перевезенцев, Роман Никитенко и Роман Широких. «Партисипативное бюджетирование: практический опыт городов Восточной Украины». Украина: ПАУСИ, 2021. 

Румбул, Ребекка. «Кому выгодны гражданские технологии?» мое общество. По состоянию на 1 декабря 2021 г. 

Саиз, Эмилия.«14 декабря состоялась панельная дискуссия об уроках, извлеченных из местной демократии». ОИДП. По состоянию на 1 декабря 2021 г. 

Шульга, Иван, Лев Шилов, Анна Сухова и Петр Поярский. «Могут ли местные программы участия повысить общественное доверие: выводы Программы поддержки местных инициатив в России». Рабочий документ Всемирного банка. Вашингтон, округ Колумбия: Всемирный банк, 1 мая 2019 г. 

Синдерс, Кэролайн. «Никто не говорит о самой большой проблеме со Slack». Кварц. По состоянию на 1 декабря 2021 г.

———. «Когда домогательства в Интернете не соответствуют правилам». Цифровая инициатива Гарвардской школы бизнеса (блог), 16 февраля 2019 г. 

Отчет о патруле троллей. «Находки патруля троллей». По состоянию на 1 декабря 2021 г. 

Конференция Организации Объединенных Наций по торговле и развитию. «Законодательство о защите данных и конфиденциальности во всем мире». ЮНКТАД. По состоянию на 1 декабря 2021 г. 

Агентство по охране окружающей среды США. «Руководство по участию общественности: введение в руководство». Обзоры и информационные бюллетени.EPA, 24 февраля 2014 г. 

vTaiwan. «VTaiwan.Tw — 數位經濟法規線上諮詢». По состоянию на 1 декабря 2021 г. 

Вамплер, Брайан. Руководство по партисипаторному бюджетированию. Международное бюджетное партнерство, 2000 г.

WebAIM. «WebAIM Million — ежегодный анализ доступности 1 000 000 лучших домашних страниц». WebAIM, февраль 2021 г. 

Всемирная организация здравоохранения. Всемирный доклад об инвалидности . Женева: Всемирная организация здравоохранения, 2011 г.

Россия: Доклад о свободе в сети за 2021 год

Российские власти регулярно блокируют доступ к конфиденциальному политическому и социальному контенту в Интернете.Ссылаясь на ряд оправданий, они также ограничивают или пытались ограничить доступ ко многим социальным сетям и коммуникационным платформам. По неофициальным данным, на конец 2019 года в России было заблокировано более 4,74 млн интернет-ресурсов. Официально заблокированными значились лишь около 315 000 интернет-ресурсов. В ответ на пандемию COVID-19 Роскомнадзор заблокировал более тысячи якобы ложных сообщений о коронавирусе (см. С2).

В июле 2021 года, после окончания периода охвата, Роскомнадзор заблокировал 49 сайтов, связанных с Навальным и его Фондом борьбы с коррупцией (ФБК), сославшись на «экстремистскую деятельность.Ранее в этом месяце он также заблокировал Pixabay, сайт для обмена фотографиями и сайт адвоката Навального.

В марте 2021 года Роскомнадзор временно заблокировал Twitter после того, как компания отказалась блокировать «запрещенный контент», который, по словам правительства, включал контент, связанный с употреблением наркотиков и самоубийством (см. A3). Тем не менее, Twitter выразил обеспокоенность тем, что ограничения контента ограничат свободу слова, и дросселирование началось всего через день после того, как правительство подало в суд на Facebook, Google и Twitter за отказ удалить контент, связанный с протестами оппозиции, начавшимися в январе.Если Twitter продолжит сопротивляться удалению запрещенного контента, ему грозит полная блокировка. Однако в мае 2021 года Роскомнадзор сообщил, что компания удалила более 90 процентов спорных материалов и что вариант блокировки не рассматривается. К концу периода покрытия агентство сняло ограничения на трафик для фиксированных широкополосных сетей, но продолжало ограничивать трафик Twitter в мобильных сетях.

В течение периода освещения правительство сняло ограничения на Telegram, популярное приложение для обмена сообщениями.В апреле 2018 года окружной суд постановил заблокировать Telegram за отказ соблюдать закон Яровой, который обязывает приложение предоставлять властям свои ключи шифрования (см. A3 и C4). Telegram использовал различные методы для преодоления первоначальной блокировки, включая использование альтернативных служб облачного хостинга. Затем Роскомнадзор нацелился на многие из этих сервисов, включая Alibaba Cloud, Amazon Web Services, Google Cloud и Microsoft Azure, что привело к расширенной блокировке сопутствующего контента. В какой-то момент было заблокировано более 18 миллионов IP-адресов, что затронуло интернет-магазины, банки, системы продажи авиабилетов, новостные сайты и другие социальные сети и коммуникационные платформы, такие как Viber и Одноклассники.В июне 2020 года правительство резко отменило запрет на Telegram, сославшись на «готовность» его основателя «противодействовать терроризму и экстремизму». Причины такого обращения неясны. Наблюдатели предположили, что правительство, понимая практическую невозможность ограничить доступ к приложению, искало удобный момент, чтобы разблокировать его. Момент настал после смены руководства Роскомнадзора — уходящий глава Александр Жаров публично заявил, что Telegram будет оставаться заблокированным до тех пор, пока не выполнит закон Яровой, чего, судя по всему, до сих пор не выполнил, — и на фоне пандемии COVID-19, во время которого власти использовали Telegram для общения с общественностью.

Другие приложения для обмена сообщениями оставались заблокированными в течение периода покрытия. Zello был заблокирован Роскомнадзором в 2017 году за отказ передать свои ключи шифрования в соответствии с Законом Яровой и за то, что не зарегистрировался в качестве «организатора распространения информации» в соответствии с Законом об информации, информационных технологиях и защите информации, который предоставил бы властям доступ к большую часть данных службы (см. C6). BlackBerry Messenger, Imo, Line и VChat были заблокированы по аналогичным причинам в 2017 году.

Веб-сайты с контентом, затрагивающим множество деликатных тем, также подлежат блокировке в соответствии с Законом об информации, информационных технологиях и защите информации и соответствующим законодательством. Запрещенный веб-контент официально включает изображения сексуального насилия над детьми; контент, связанный с незаконной продажей алкоголя; информация о нелегальных наркотиках; информация о нелегальных азартных играх; призывы к самоубийству; призывы к экстремистской деятельности, беспорядкам или несанкционированным акциям протеста; нарушения авторских прав; нарушения законодательства о защите данных; и информация об обходе онлайн-цензуры (см. B3).В октябре 2019 года независимое новостное издание Fergana News было заблокировано за сообщение о самоубийстве. Другие категории контента также подвергаются менее формальной цензуре.

Ряд различных государственных органов уполномочены блокировать веб-контент (см. B3). Например, в 2019 году МВД заблокировало почти 21 тысячу интернет-ресурсов, содержащих информацию о нелегальных наркотиках. Генеральная прокуратура в том году заблокировала 81 тысячу сайтов, предположительно размещавших экстремистский контент.Однако Федеральное агентство по делам молодежи (Росмолодежь), которое может распорядиться о блокировке контента, побуждающего несовершеннолетних к нарушению закона, проявляло в этом отношении относительную пассивность, инициировав всего 10 блокировок к марту 2020 года. Суды также имеют широкую свободу действий для блокировки веб-контента.

Виртуальные частные сети (VPN) недавно столкнулись с давлением со стороны властей (см. C4). В письме от марта 2019 года Роскомнадзор попросил 10 поставщиков услуг VPN ограничить доступ пользователей к веб-сайтам, которые заблокированы в России.В случае невыполнения Роскомнадзор пригрозил «ограничить доступ» к самим VPN-сервисам. В июне 2019 года Роскомнадзор сообщил, что только одна компания, российская Kaspersky Secure Connection, удовлетворила его запрос. Однако к маю 2021 года Роскомнадзор не предпринимал попыток заблокировать остальные сервисы.

Другие инструменты обхода цензуры и шифрования попали под официальную проверку. В марте 2019 года выяснилось, что два крупнейших российских интернет-провайдера, МТС и Ростелеком, ограничили трафик несколькими узлами анонимного веб-браузера Tor, а также серверами простого протокола передачи почты (SMTP) ProtonMail, службы зашифрованной электронной почты.Дело стало прецедентом ограничения доступа к зашифрованным сервисам, так как Федеральная служба безопасности (ФСБ) прямо потребовала от операторов связи наложить блокировку на ProtonMail, не попросив Роскомнадзор сначала попытаться зарегистрировать сервис в качестве «организатора распространения информации». Согласно установленной процедуре, отказ ProtonMail в регистрации позволил бы Роскомнадзору инициировать процедуру блокировки. Впоследствии в ProtonMail были введены специальные технические функции для предотвращения ограничений трафика в России.

В начале 2020 года органы национальной безопасности России инициировали новую кампанию по блокировке зашифрованных почтовых сервисов якобы в ответ на рост числа ложных и анонимных электронных сообщений о наличии взрывных устройств в общественных местах. Чиновники нацелились на службы, включая Тутаноту, SCRYPTmail, StartMail, и ПротонМейл, утверждая, что они способствовали призывам к экстремистской деятельности.

В феврале 2020 года ProtonMail согласилась соблюдать Закон об информации, информационных технологиях и защите информации, удалив мошеннические учетные записи из своего сервиса.При этом компания, штаб-квартира которой находится в Швейцарии, заявила, что будет предоставлять данные о пользователях российским властям только на основании решений швейцарских судов. По состоянию на май 2021 года большинство российских интернет-провайдеров по-прежнему ограничивали доступ к ProtonMail. Также в феврале 2020 года Mailbox.org, еще один зашифрованный почтовый сервис, находящийся под угрозой блокировки, согласился зарегистрироваться в качестве «организатора распространения информации».

Закон 2015 г. позволяет правительству отмечать иностранные организации как «нежелательные», что запрещает им распространять информацию (см. B3).По состоянию на май 2021 года 34 иностранные организации, в том числе «Открытая Россия», неправительственная организация, основанная критиком Кремля Михаилом Ходорковским, и фонды «Открытое общество», созданные филантропом Джорджем Соросом, были внесены в список нежелательных; в некоторых случаях их веб-сайты блокируются. С июля 2019 года по апрель 2020 года Генеральная прокуратура добавила в список семь иностранных организаций, в том числе базирующиеся в США Атлантический совет, фонды «Свободная Россия» и «Джеймстаунский фонд», а также чешскую организацию «Люди в беде».Сайты Фонда «Свободная Россия» и «Люди в беде» были заблокированы, а сайты Атлантического совета и Фонда Джеймстауна остались доступными.

Правила, требующие от компаний хранить персональные данные российских пользователей на территории России (см. C6), используются правительством в качестве предлога для ограничения доступа к определенным веб-сайтам. В 2016 году LinkedIn стала первой крупной международной платформой, которую заблокировали в России за несоблюдение требований по локализации данных. и это остается самой заметной блокировкой в ​​​​своем роде.Руководство Роскомнадзора неоднократно заявляло о необходимости применения аналогичных мер к Twitter и Facebook. В апреле 2019 года обе компании были оштрафованы на символические 3000 рублей (40 долларов США) за несоблюдение требований. Законодательные поправки, которые были приняты в конце ноября 2019 года и подписаны президентом Путиным в декабре, постепенно увеличивают такие штрафы до тех пор, пока они не станут достаточно большими, чтобы повлиять на доходы компаний, не подвергая их платформы угрозе блокировки. Помимо неоднократных нарушений требований по локализации данных, более строгие штрафы могут быть наложены за незаконную деятельность аудиовизуальных сервисов, несоблюдение поисковиками российской системы ограничения контента и отказ мессенджеров предоставить органам национальной безопасности ключи шифрования по их запросу ( см. Б3).В феврале 2020 года суд оштрафовал Twitter и Facebook на 4 миллиона рублей (52 000 долларов США) каждый после того, как они не уложились в срок, чтобы сообщить Роскомнадзору о соблюдении правил локализации данных. В апреле 2021 года Роскомнадзор отправил еще один запрос в Google, Twitter и Facebook с требованием соблюдать политику локализации данных. Если они продолжат отказываться, им может грозить еще один штраф в размере до 18 миллионов рублей (236 000 долларов США).

Использование потоковой передачи с аппаратным ускорением | Поддержка Plex

Совет! : Потоковая передача с аппаратным ускорением является платной функцией и требует активной подписки Plex Pass.

Для плавного воспроизведения видео на самых разных устройствах Plex Media Server часто требуется преобразовать видео в другое качество или в совместимый формат. Преобразование видео (транскодирование) происходит автоматически в режиме реального времени, пока вы его воспроизводите. Используя бесплатное программное перекодирование в Plex Media Server, домашние компьютеры могут беспрепятственно конвертировать и транслировать видео в режиме реального времени в любое приложение Plex. Некоторые компьютеры с более мощными процессорами могут даже транслировать несколько видео одновременно, особенно в более низком качестве.

Чтобы конвертировать видео быстрее и с меньшей вычислительной мощностью, вы можете включить аппаратно-ускоренную потоковую передачу в Plex Media Server. Когда аппаратное ускорение включено, Plex Media Server будет использовать выделенный видеодекодер и аппаратную поддержку кодировщика на вашем компьютере/устройстве для преобразования видео, что позволит вам более плавно передавать потоковое видео в формате HD или 4K и выполнять потоковую передачу на большее количество устройств одновременно. А если вы используете один и тот же компьютер как для работы, так и для игр, аппаратное ускорение потребляет меньше вычислительной мощности во время потоковой передачи видео, возвращая вам необходимую скорость.

Должен ли я использовать потоковую передачу с аппаратным ускорением?

Потоковая передача с аппаратным ускорением имеет ряд преимуществ:

• Часто одновременно можно транслировать больше видео.
• Видео может запускаться быстрее и буферизоваться реже.
• Высококачественные видео, особенно видео 4K и HEVC, могут передаваться более плавно.
• Перенося задачи транскодирования, интенсивно использующие ЦП, на выделенное оборудование, потоковое видео оказывает меньшее влияние на производительность вашего компьютера.

Потоковая передача с аппаратным ускорением имеет некоторые недостатки:

• Качество вывода видео может быть ниже, оно может выглядеть немного более размытым или блочным. Это особенно верно и более заметно при потоковой передаче с разрешением ниже 720p или при использовании исходного материала с более низкой скоростью передачи данных. (Видеодекодеры с аппаратным ускорением работают быстрее, но обеспечивают более низкое качество вывода, чем программные кодировщики.)
• Более ранние поколения оборудования обычно имеют более низкое качество вывода, чем более новые поколения.(Например, выходные данные процессора Intel «Sandy Bridge» обычно не будут выглядеть так же хорошо, как процессора «Kaby Lake».)
• Некоторые редкие форматы видео могут некорректно воспроизводиться на определенных устройствах. Это неожиданно, и пользователи должны сообщать об этих проблемах Plex на наших дружественных форумах.

Если вы теперь заинтересованы в потоковой передаче с аппаратным ускорением, вы можете начать:

1. Проверьте системные требования