背景：人类的思想是多式联的。然而，大多数行为研究依赖于百年历史措施，例如任务准确性和延迟。为了更好地了解人类行为和大脑功能，我们应该引入其他措施并分析各个方面的行为。然而，它在技术上复杂且昂贵地设计和实施记录多种措施的实验。要解决此问题，需要一个允许从人类行为同步多种措施的平台。方法：本文介绍了名为OpenSync的OpenSource平台，可用于在神经科学实验中同步多种措施。该平台有助于自动集成，同步和记录生理测量（例如，脑电图（EEG），电流性皮肤响应（GSR），眼睛跟踪，身体运动等），用户输入响应（例如，来自鼠标，键盘，操纵杆等）和任务相关信息（刺激标记）。在本文中，我们解释了Opensync的结构和细节，提供了两种在精神病和团结的案例研究。与现有工具的比较：与专有系统（例如，审核）不同，OpenSync是免费的，它可以在任何替换实验设计软件（例如，Fleare，Openseame，Unity等，https://pypi.org/project/中使用OpenSync /和https://github.com/moeinrazavi/opensync_unity）。结果：我们的实验结果表明，OpenSync平台能够使用微秒分辨率同步多种措施。

我们介绍了Dreamento（Drea Engineering Toolbox），这是一种使用Zmax（Hypnodyne Corp.，Sofia，Bulgaria，Bulgaria）的开源Python Python套件，用于梦想工程。 DREAMENTO的主要功能是（1）图形用户界面（GUI）（2）（2）中的实时记录，监视，分析和刺激以及所得数据的离线后处理。 Dreamento实时能够（1）记录数据，（2）可视化数据，包括功率光谱分析和导航，（3）自动睡眠评分，（4）感觉刺激（视觉，听觉，触觉）， （5）建立文本到语音通信，以及（6）管理自动和手动事件的注释。离线功能有助于其后处理获得的数据，具有重新装修可穿戴数据并将其与不可磨损记录的模式（例如肌电图）相结合的功能。尽管Dreamento的主要应用是用于（清醒）梦想研究的，但它愿意适应其他目的和测量方式。

在本文中，我们提出了一种具有高时间同步（同步）精度的记录系统，该精度由智能手机，深度摄像机，IMU等等异质传感器组成，由于智能手机的一般兴趣和大量采用，我们包括至少一个这些设备进入我们的系统。这种异构系统需要两个不同时间权限的混合同步：智能手机和MCU，在那里我们将基于硬件有线的触发同步与软件同步组合起来。我们在用RGB摄像头中汇总与新颖的系统混合有源红外深度的自定义和新颖系统的同步结果。我们的系统实现了时间同步的子毫秒精度。此外，我们的系统在这种精度下同时暴露每个RGB深度图像对。我们特别展示了一个配置，但我们系统背后的一般原则可以被其他项目复制。

目前，大多数社会机器人通过传感器与周围环境和人类相互作用，这些传感器是机器人的组成部分，这限制了传感器，人机相互作用和互换性的可用性。在许多应用中需要一种适合许多机器人的可穿戴传感器衣服。本文介绍了一个经济实惠的可穿戴传感器背心，以及带有物联网（物联网）的开源软件架构，用于社会人形机器人。背心由触摸，温度，手势，距离，视觉传感器和无线通信模块组成。 IOT功能允许机器人与人类和互联网一起与人类交互。设计的体系结构适用于任何具有通用图形处理单元（GPGPU），I2C / SPI总线，Internet连接和机器人操作系统（ROS）的任何社交机器人。此架构的模块化设计使开发人员能够轻松地添加/删除/更新复杂行为。所提出的软件架构提供IOT技术，GPGPU节点，I2C和SPI总线管理器，视听交互节点（语音到文本，文本到语音和图像理解），以及行为节点和其他节点之间的隔离。所提出的IOT解决方案包括机器人中的相关节点，RESTful Web服务和用户界面。我们使用HTTP协议作为与Internet的社会机器人双向通信的手段。开发人员可以在C，C ++和Python编程语言中轻松编辑或添加节点。我们的架构可用于为社会人形机器人设计更复杂的行为。

Understanding our brain is one of the most daunting tasks, one we cannot expect to complete without the use of technology. MindBigData aims to provide a comprehensive and updated dataset of brain signals related to a diverse set of human activities so it can inspire the use of machine learning algorithms as a benchmark of 'decoding' performance from raw brain activities into its corresponding (labels) mental (or physical) tasks. Using commercial of the self, EEG devices or custom ones built by us to explore the limits of the technology. We describe the data collection procedures for each of the sub datasets and with every headset used to capture them. Also, we report possible applications in the field of Brain Computer Interfaces or BCI that could impact the life of billions, in almost every sector like healthcare game changing use cases, industry or entertainment to name a few, at the end why not directly using our brains to 'disintermediate' senses, as the final HCI (Human-Computer Interaction) device? simply what we call the journey from Type to Touch to Talk to Think.

我们展示了一个新的数据集和基准，其目的是在大脑活动和眼球运动的交叉口中推进研究。我们的数据集EEGEYENET包括从三种不同实验范式中收集的356个不同受试者的同时脑电图（EEG）和眼睛跟踪（ET）录像。使用此数据集，我们还提出了一种评估EEG测量的凝视预测的基准。基准由三个任务组成，难度越来越高：左右，角度幅度和绝对位置。我们在该基准测试中运行大量实验，以便根据经典机器学习模型和大型神经网络提供实心基线。我们释放了我们的完整代码和数据，并提供了一种简单且易于使用的界面来评估新方法。

闭环大脑刺激是指捕获诸如脑电图（EEG）之类的神经生理学措施，迅速识别感兴趣的神经事件，并产生听觉，磁性或电刺激，从而精确地与大脑过程相互作用。这是一种基本神经科学的新方法，也许是临床应用，例如恢复降解记忆功能；但是，现有工具很昂贵，繁琐，并且具有有限的实验灵活性。在本文中，我们提出了Portiloop，这是一种基于深度学习的，便携式和低成本的闭环刺激系统，能够靶向特定的脑振荡。我们首先记录可以从市售组件构建的开放式软件实现。我们还提供了快速，轻巧的神经网络模型和探索算法，该算法自动优化了所需的脑振荡的模型超参数。最后，我们在实时睡眠主轴检测的具有挑战性的测试案例中验证了该技术，结果可与大规模在线数据注释主轴数据集（MODA；组共识）上的离线专家绩效相当。社区可以提供软件和计划，作为开放科学计划，旨在鼓励进一步开发并推动闭环神经科学研究。

大脑电脑接口（BCI）系统通过无肌肉活动的直接测量来支持通信。需要验证大脑电脑界面系统，以严重残疾人的真实世界使用的长期研究，并必须实施其普遍传播的有效和可行的模型。最后，必须提高BCI性能的日常和时刻瞬间可靠性，以便接近自然肌肉的功能的可靠性。本次审查讨论了BCI系统的结构和功能，阐明了术语集成和进度，并且还基于用于BCI系统的侵入性记录技术的当前可用性来识别和阐述该领域的机遇。

Healthcare Ai持有增加患者安全性，增强效率和改善患者结果的潜力，但研究通常受到数据访问，队列策划和分析工具的限制。电子健康记录数据，实时数据和实时高分辨率设备数据的集合和翻译可能是具有挑战性和耗时的。现实世界AI工具的发展需要克服数据采集，稀缺医院资源和数据治疗需求的挑战。这些瓶颈可能导致资源沉重的需求和AI系统的研究和开发延迟。我们提供了一种系统和方法，可加速数据采集，数据集开发和分析和AI模型开发。我们创建了一个依赖于可扩展的微服务后端的交互式平台。该系统可以每小时摄取15,000名患者记录，其中每个记录代表数千个多式数级测量，文本备注和高分辨率数据。统称，这些记录可以接近数据的数据。该系统可以在2-5分钟内进一步执行队列和初步数据集分析。因此，多个用户可以在实时同时协作以迭代数据集和模型。我们预计这种方法将推动现实世界的AI模型开发，并且在长期运行中，有意义地改善医疗保健交付。

我们开发了一种图形用户界面（GUI），可删除，专用于卷积神经网络（CNN）模型培训和脑电图（EEG）解码的可视化。可用功能包括在时间和空间表示方面的模型培训，评估和参数可视化。我们使用良好研究的公共数据集进行了Motor-Immery EEG的公共数据集，并将结果与现有的神经科学知识进行比较。卓越的主要目标是为跨学科的调查人员提供一种快速，简化和用户友好的EEG解码解决方案，以利用脑/神经科学研究中的尖端方法。

由于照顾不断增长的老年人口的医疗和财务需求，对跌倒的及时可靠发现是一个大型且快速增长的研究领域。在过去的20年中，高质量硬件（高质量传感器和AI微芯片）和软件（机器学习算法）技术的可用性通过为开发人员提供开发此类系统的功能，从而成为这项研究的催化剂。这项研究开发了多个应用组件，以研究秋季检测系统的发展挑战和选择，并为未来的研究提供材料。使用此方法开发的智能应用程序通过秋季检测模型实验和模型移动部署的结果验证。总体上表现最好的模型是标准化的RESNET152，并带有2S窗口尺寸的调整数据集，可实现92.8％的AUC，7.28％的灵敏度和98.33％的特异性。鉴于这些结果很明显，加速度计和心电图传感器对秋季检测有益，并允许跌倒和其他活动之间的歧视。由于所得数据集中确定的弱点，这项研究为改进的空间留下了很大的改进空间。这些改进包括在跌落的临界阶段使用标签协议，增加数据集样品的数量，改善测试主题表示形式，并通过频域预处理进行实验。

Recently developed methods for video analysis, especially models for pose estimation and behavior classification, are transforming behavioral quantification to be more precise, scalable, and reproducible in fields such as neuroscience and ethology. These tools overcome long-standing limitations of manual scoring of video frames and traditional "center of mass" tracking algorithms to enable video analysis at scale. The expansion of open-source tools for video acquisition and analysis has led to new experimental approaches to understand behavior. Here, we review currently available open-source tools for video analysis and discuss how to set up these methods for labs new to video recording. We also discuss best practices for developing and using video analysis methods, including community-wide standards and critical needs for the open sharing of datasets and code, more widespread comparisons of video analysis methods, and better documentation for these methods especially for new users. We encourage broader adoption and continued development of these tools, which have tremendous potential for accelerating scientific progress in understanding the brain and behavior.

本文呈现出廉价，高精度，但同时，易于维护的Pieeg板将RaspBerryPI转换为脑电脑界面。该屏蔽允许测量和处理八个实时EEG（脑电图）信号。我们使用最受欢迎的编程语言 - C，C ++和Python来读取由设备录制的信号。读取EEG信号的过程如尽可能完全清楚地证明。该设备可以轻松用于机器学习爱好者，以利用思路的力量来创建控制机器人和机械肢体的项目。我们将在Github上发布使用案例（https://github.com/ildaron/eegwithraspberypi），用于控制机器人机，无人驾驶飞行器，以及使用思想的力量。

本报告描述了一组新生儿脑电图（EEG）记录，根据背景模式中异常的严重程度分级。该数据集由来自新生儿重症监护病房记录的53个新生儿的169小时多通道脑电图组成。所有新生儿均诊断出低氧缺血性脑病（HIE），这是全年前婴儿脑损伤的最常见原因。对于每种新生儿，选择了多个1小时的高质量脑电图，然后对背景异常进行评分。分级系统评估eeg属性，例如振幅和频率，连续性，睡眠循环，对称性和同步以及异常波形。然后将背景严重程度分为4年级：正常或轻度异常，中度异常，严重异常和不活跃的脑电图。数据可用作用于HIE，用于脑电图训练目的的新生儿的多通道脑电图的参考集，或用于开发和评估自动化等级算法。

新颖的智能环境，如智能家居，智能城市和智能交通，正在推动在边缘设备部署深神经网络（DNN）的兴趣越来越兴趣。不幸的是，在资源受限的边缘设备上部署DNN构成了巨大的挑战。如果模拟器可以与深度学习框架互动，它可以促进在边缘深度学习的研究。现有的仿真框架（如MATLAB，NS-3等）尚未扩展以支持边缘学习的模拟。为了支持边缘节点上的大规模培训模拟，我们提出了一种基于离散的Edge学习模拟器。它包括深度学习模块和网络仿真模块。具体而言，它使模拟作为深度学习的环境。我们的框架是通用的，可以在部署深度学习模型之前在各种深度学习问题中使用。在本文中，我们提供了基于离散的学习模拟器的设计和实现细节，并呈现了所提出的模拟器的说明性用例。

机器学习传感器代表了嵌入式机器学习应用程序未来的范式转移。当前的嵌入式机器学习（ML）实例化遭受了复杂的整合，缺乏模块化以及数据流动的隐私和安全问题。本文提出了一个以数据为中心的范式，用于将传感器智能嵌入边缘设备上，以应对这些挑战。我们对“传感器2.0”的愿景需要将传感器输入数据和ML处理从硬件级别隔离到更广泛的系统，并提供一个薄的界面，以模拟传统传感器的功能。这种分离导致模块化且易于使用的ML传感器设备。我们讨论了将ML处理构建到嵌入式系统上控制微处理器的软件堆栈中的标准方法所带来的挑战，以及ML传感器的模块化如何减轻这些问题。 ML传感器提高了隐私和准确性，同时使系统构建者更容易将ML集成到其产品中，以简单的组件。我们提供了预期的ML传感器和说明性数据表的例子，以表现出来，并希望这将建立对话使我们朝着传感器2.0迈进。

由于几个因素之间的微妙权衡：参与者的隐私，生态有效性，数据保真度和后勤开销，记录野外未脚本人类互动的动态是具有挑战性的。为了解决这些问题，在社区精神上为社区的“数据集”之后，我们提出了会议生活实验室（Conflab）：一个新的概念，用于多模式多模式数据收集，野生野外社交对话。对于此处描述的Conflab的首次实例化，我们在一次大型国际会议上组织了现实生活中的专业网络活动。该数据集涉及48个会议参与者，捕捉了地位，熟人和网络动机的各种组合。我们的捕获设置改善了先前野外数据集的数据保真度，同时保留隐私敏感性：从非侵入性的架空视图中获得8个视频（1920x1080，60 fps），并具有定制的可穿戴传感器，并带有车载记录（完整9） - 轴IMU），具有隐私性的低频音频（1250 Hz）和基于蓝牙的接近度。此外，我们开发了用于采集时分布式硬件同步的自定义解决方案，并以高采样速率对身体关键点和动作进行了及时的连续注释。我们的基准测试展示了与野外隐私保护社交数据分析有关的一些开放研究任务：从高架摄像头视图，基于骨架的No-Audio扬声器检测和F-Formation检测中的关键点检测。

Drowsiness on the road is a widespread problem with fatal consequences; thus, a multitude of systems and techniques have been proposed. Among existing methods, Ghoddoosian et al. utilized temporal blinking patterns to detect early signs of drowsiness, but their algorithm was tested only on a powerful desktop computer, which is not practical to apply in a moving vehicle setting. In this paper, we propose an efficient platform to run Ghoddosian's algorithm, detail the performance tests we ran to determine this platform, and explain our threshold optimization logic. After considering the Jetson Nano and Beelink (Mini PC), we concluded that the Mini PC is the most efficient and practical to run our embedded system in a vehicle. To determine this, we ran communication speed tests and evaluated total processing times for inference operations. Based on our experiments, the average total processing time to run the drowsiness detection model was 94.27 ms for Jetson Nano and 22.73 ms for the Beelink (Mini PC). Considering the portability and power efficiency of each device, along with the processing time results, the Beelink (Mini PC) was determined to be most suitable. Also, we propose a threshold optimization algorithm, which determines whether the driver is drowsy or alert based on the trade-off between the sensitivity and specificity of the drowsiness detection model. Our study will serve as a crucial next step for drowsiness detection research and its application in vehicles. Through our experiment, we have determinend a favorable platform that can run drowsiness detection algorithms in real-time and can be used as a foundation to further advance drowsiness detection research. In doing so, we have bridged the gap between an existing embedded system and its actual implementation in vehicles to bring drowsiness technology a step closer to prevalent real-life implementation.

我们认为，利用公共，跨平台，语言 - 不可止结的包管理器和jupyter紧密地耦合广泛使用的机器人操作系统，这是有益的，这是一种提供科学计算的基于网络的互动计算环境。我们为公务员提供新的ROS套餐，可以轻松地安装ROS沿着数据科学和机器学习套件。多个ROS版本（目前ROS1 Melodic和Neatic以及ROS2 Foxy和Galactic）可以同时在一台机器上运行，具有适用于Linux，Windows和OSX的预编译二进制文件，以及ARM架构（例如Raspberry PI和新的苹果硅）。要处理ROS生态系统的大尺寸，我们通过重写C ++的关键零件来显着提高公共求解器和构建系统的速度。我们进一步为ROS提供了一系列jupyterlab扩展，包括用于实时绘图，调试和机器人控制的插件，以及与ZETHU的紧密集成，RVIZ如可视化工具。罗布斯特克在一起结合了最好的数据科学和机器人世界，帮助研究人员和开发人员为学术和工业项目建立定制解决方案。

神经记录的进展现在在前所未有的细节中研究神经活动的机会。潜在的变量模型（LVMS）是用于分析各种神经系统和行为的丰富活动的有希望的工具，因为LVM不依赖于活动与外部实验变量之间的已知关系。然而，目前缺乏标准化目前阻碍了对神经元群体活性的LVM进行的进展，导致采用临时方式进行和比较方法。为协调这些建模工作，我们为神经人群活动的潜在变量建模介绍了基准套件。我们从认知，感官和机动领域策划了四种神经尖峰活动的数据集，以促进适用于这些地区各地的各种活动的模型。我们将无监督的评估视为用于评估数据集的模型的共同框架，并应用几个显示基准多样性的基线。我们通过评估释放此基准。 http://neurallatents.github.io.