It is crucial to choose the appropriate scale in order to build an effective and informational representation of a complex system. Scientists carefully choose the scales for their experiments to extract the variables that describe the causalities in the system. They found that the coarse scale(macro) is sometimes more causal and informative than the numerous-parameter observations(micro). The phenomenon that the causality emerges by coarse-graining is called Causal Emergence(CE). Based on information theory, a number of recent works quantitatively showed that CE indeed happens while coarse-graining a micro model to the macro. However, the existing works have not discussed the question of why and when the CE happens. We quantitatively analyze the redistribution of uncertainties for coarse-graining and suggest that the redistribution of uncertainties is the cause of causal emergence. We further analyze the thresholds that determine if CE happens or not. From the regularity of the transition probability matrix(TPM) of discrete systems, the mathematical expressions of the model properties are derived. The values of thresholds for different operations are computed. The results provide the critical and specific conditions of CE as helpful suggestions for choosing the proper coarse-graining operation. The results also provided a new way to better understand the nature of causality and causal emergence.
translated by 谷歌翻译
由于鉴定了“身份”和“欺诈性”和强大的实验证据,在人类认知和语言中存在相关的Bose-Einstein统计数据,我们在以前的工作中争论了量子认知研究领域的延伸。除了量子复杂的矢量空间和量子概率模型之外,我们还表明量化本身,用词为量子,对人类认知是相关的和可能的重要性。在目前的工作中,我们在此结果构建,并引入了用于人类认知的强大辐射量化方案。我们表明,与Maxwell-Boltzmann统计数据相比,缺乏Bose-Einstein统计数据的独立性可以通过存在“含义动态”来解释,这导致与同一话语吸引的话语。因此,在同一个状态中,单词聚集在一起,在量子力学的早期众所周知的光子中熟知的现象,导致普朗克和爱因斯坦之间的激烈分歧。使用一个简单的例子,我们介绍了所有元素,以获得更好,更详细地了解这一“意义动态”,例如微型和宏状态,以及Maxwell-Boltzmann,Bose-Einstein和Fermi-Dirac编号和权重,并比较这一点示例及其图表,具有Winnie The PoOH故事的辐射量化方案,也具有图表。通过将概念直接连接到人类体验,我们表明纠缠是保留我们所识别的“意义动态”的必要性,并且在Fermi-Dirac解决人类记忆的方式变得清晰。在那里,在具有内部参数的空格中,可以分配不同的单词。
translated by 谷歌翻译
动态系统广泛用于科学和工程,以模拟由多个交互组件组成的系统。通常,它们可以在意义上给出因果解释,因为它们不仅模拟了系统组件状态随时间的演变,而且描述了他们的进化如何受到动态的系统的外部干预的影响。我们介绍了结构动态因果模型(SDCMS)的正式框架,其将系统组件的因果语言作为模型的一部分来阐述。 SDCMS表示动态系统作为随机过程的集合,并指定了管理每个组件的动态的基本因果机制,作为任意顺序的随机微分方程的结构化系统。 SDCMS扩展了结构因果模型(SCM)的多功能因果建模框架,也称为结构方程模型(SEM),通过显式允许时间依赖。 SDCM可以被认为是SCM的随机过程版本,其中SCM的静态随机变量由动态随机过程及其衍生物代替。我们为SDCMS理论提供基础,(i)正式定义SDCMS,其解决方案,随机干预和图形表示; (ii)对初始条件的解决方案的存在性和独特性; (iii)随着时间的推移倾向于无穷大,讨论SDCMS平衡的条件下降; (iv)将SDCM的性质与平衡SCM的性质相关联。这封对应关系使人们能够在研究大类随机动力系统的因果语义时利用SCM的大量统计工具和发现方法。该理论用来自不同科学域的几个众所周知的示例进行说明。
translated by 谷歌翻译
基于AI和机器学习的决策系统已在各种现实世界中都使用,包括医疗保健,执法,教育和金融。不再是牵强的,即设想一个未来,自治系统将推动整个业务决策,并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时,不公平和歧视的问题普遍存在,并且当使用几乎没有透明度,问责制和公平性的机器做出决定时(或可能会放大)。在本文中,我们介绍了\ textit {Causal公平分析}的框架,目的是填补此差距,即理解,建模,并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集,这些机制首先会产生差异,挑战我们称之为因果公平的基本问题分析(FPCFA)。为了解决FPCFA,我们研究了分解差异和公平性的经验度量的问题,将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图,这是组织和解释文献中不同标准之间关系的首次系统尝试。最后,我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设,该假设使数据科学家能够评估不同影响和不同治疗的存在。
translated by 谷歌翻译
In my previous article I mentioned for the first time that a classical neural network may have quantum properties as its own structure may be entangled. The question one may ask now is whether such a quantum property can be used to entangle other systems? The answer should be yes, as shown in what follows.
translated by 谷歌翻译
继承是一种确定性算法,用于生成可以被视为满足输入时刻条件的随机样本的数据点。该算法基于高维动力系统的复杂行为,并由统计推断的最大熵原理的启发。在本文中,我们提出了埃尔特联算法的延伸,称为熵放牧,它产生一系列分布而不是点。熵放映是从最大熵原理获得的目标函数的优化。使用所提出的熵放牧算法作为框架,我们讨论了勃起与最大熵原理之间的更近的联系。具体而言,我们将原始的掠过算法解释为熵牧群的易缩放版,其理想的输出分布在数学上表示。我们进一步讨论了掠过算法的复杂行为如何有助于优化。我们认为,所提出的熵扩建算法扩展了爬行到概率建模的应用。与原来的放牧相比,熵放牧可以产生平滑的分布,使得两个有效的概率密度计算和样本产生都变得可能。为了证明这些研究中这些论点的可行性,进行了数值实验,包括合成和实际数据的与其他常规方法的比较。
translated by 谷歌翻译
我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病,我们引入了辅助变量以表示这种不确定性。然而,这些变量导致了高维图像数据的综合可能性,通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明,可以计算出有关模型参数的数据中的预期信息收益(EIG),而无需额外的成本。最后,我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准,我们介绍了一些基于域的能量和傅立叶的摘要统计数据,并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。
translated by 谷歌翻译
瞬态现象在多个尺度上协调大脑活性方面起着关键作用,但是,它们的潜在机制在很大程度上仍然未知。因此,神经数据科学的一个关键挑战是表征这些事件期间的网络交互。使用结构性因果模型的形式主义及其图形表示,我们研究了基于信息理论的理论和经验特性,基于信息理论的因果力量测量在反复自发的瞬态事件的背景下。在这种环境中显示了转移熵和动态因果强度的局限性之后,我们引入了一种新颖的度量,相对动态的因果强度,并为其益处提供了理论和经验支持。这些方法应用于模拟和实验记录的神经时间序列,并与我们当前对潜在脑电路的理解相吻合。
translated by 谷歌翻译
作为在人类智能中获得可推广的解决方案的关键组成部分,推理为加强学习(RL)代理人对各种目标的概括提供了巨大的潜力,这是通过汇总部分到全部的论点并发现因果关系的。但是,如何发现和代表因果关系仍然是阻碍因果RL发展的巨大差距。在本文中,我们使用因果图(CG)增强目标条件的RL(GCRL),该结构是基于对象和事件之间的关系建立的。我们在小新生中将GCRL问题提出为变异的可能性最大化,将CG作为潜在变量。为了优化派生目标,我们提出了一个具有理论性能的框架,可以保证在两个步骤之间交替:使用介入数据来估计CG的后验;使用CG学习可推广的模型和可解释的政策。由于缺乏在推理下验证概括能力的公共基准测试,我们设计了九个任务,然后从经验上显示了对这些任务上五个基准的拟议方法的有效性。进一步的理论分析表明,我们的绩效提高归因于因果发现,过渡建模和政策培训的良性周期,这与广泛消融研究中的实验证据相吻合。
translated by 谷歌翻译
从数据中发现复杂系统的基本动力是一个重要的实践主题。受限的优化算法被广泛使用并带来许多成功。但是,这种纯粹的数据驱动方法可能会在存在随机噪声的情况下会导致物理不正确,并且无法轻易通过不完整的数据来处理情况。在本文中,开发了一种具有部分观察结果的复杂湍流系统的新迭代学习算法,该算法在识别模型结构,恢复未观察到的变量和估计参数之间交替。首先,将基于因果关系的学习方法用于模型结构的稀疏识别,该方法考虑了从数据中预先学习的某些物理知识。它在应对特征之间的间接耦合方面具有独特的优势,并且与随机噪声具有鲁棒性。实用算法旨在促进高维系统的因果推断。接下来,构建了系统的非线性随机参数化,以表征未观察到的变量的时间演变。通过有效的非线性数据同化的封闭分析公式被利用以采样未观察到的变量的轨迹,然后将其视为合成观测值,以提高快速参数估计。此外,状态变量依赖性和物理约束的本地化已纳入学习过程,从而减轻维度的诅咒并防止有限的时间爆破问题。数值实验表明,新算法成功地识别模型结构并为许多具有混乱动力学,时空多尺度结构,间歇性和极端事件的复杂非线性系统提供合适的随机参数化。
translated by 谷歌翻译
人工智能的象征主义,联系主义和行为主义方法在各种任务中取得了很多成功,而我们仍然没有对社区中达成足够共识的“智能”的明确定义(尽管有70多个不同的“版本”的“版本”定义)。智力的本质仍然处于黑暗状态。在这项工作中,我们不采用这三种传统方法中的任何一种,而是试图确定智力本质的某些基本方面,并构建一种数学模型来代表和潜在地重现这些基本方面。我们首先强调定义讨论范围和调查粒度的重要性。我们仔细比较了人工智能,并定性地展示了信息抽象过程,我们建议这是联系感知和认知的关键。然后,我们提出了“概念”的更广泛的概念,将自我模型的概念从世界模型中分离出来,并构建了一种称为世界自我模型(WSM)的新模型。我们展示了创建和连接概念的机制,以及WSM如何接收,处理和输出有关解决的问题的信息的流程。我们还考虑并讨论了所提出的理论框架的潜在计算机实施问题,最后我们提出了一个基于WSM的统一智能一般框架。
translated by 谷歌翻译
我们合并计算力学的因果状态(预测等同历史)的定义与再现 - 内核希尔伯特空间(RKHS)表示推断。结果是一种广泛适用的方法,可直接从系统行为的观察中迁移因果结构,无论它们是否超过离散或连续事件或时间。结构表示 - 有限或无限状态内核$ \ epsilon $ -Machine - 由减压变换提取,其提供了有效的因果状态及其拓扑。以这种方式,系统动态由用于在因果状态上的随机(普通或部分)微分方程表示。我们介绍了一种算法来估计相关的演化运营商。平行于Fokker-Plank方程,它有效地发展了因果状态分布,并通过RKHS功能映射在原始数据空间中进行预测。我们展示了这些技术,以及他们的预测能力,在离散时间的离散时间离散 - 有限的无限值Markov订单流程,其中有限状态隐藏马尔可夫模型与(i)有限或(ii)不可数 - 无限因果态和(iii)连续时间,由热驱动的混沌流产生的连续值处理。该方法在存在不同的外部和测量噪声水平和非常高的维数据存在下鲁棒地估计因果结构。
translated by 谷歌翻译
在许多学科中,动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架,用于混合机械和机器学习方法,以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较,这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知,在连续和离散的时间设置中都呈现,并且与表现出很大的内存和错误的模型误差兼容。首先,我们从学习理论的角度研究无内存线性(W.R.T.参数依赖性)模型误差,从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统,我们证明,多余的风险和泛化误差都通过与T的正方形介于T的术语(指定训练数据的时间间隔)的术语界定。其次,我们研究了通过记忆建模而受益的方案,证明了两类连续时间复发性神经网络(RNN)的通用近似定理:两者都可以学习与内存有关的模型误差。此外,我们将一类RNN连接到储层计算,从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果(Lorenz '63,Lorenz '96多尺度系统),以比较纯粹的数据驱动和混合方法,发现混合方法较少,渴望数据较少,并且更有效。最后,我们从数值上证明了如何利用数据同化来从嘈杂,部分观察到的数据中学习隐藏的动态,并说明了通过这种方法和培训此类模型来表示记忆的挑战。
translated by 谷歌翻译
黑框模型的鲁棒性研究被认为是基于结构方程和从数据中学到的预测模型的数值模型的必要任务。这些研究必须评估模型的鲁棒性,以实现其输入的可能错误指定(例如,协变量转移)。通过不确定性定量(UQ)的棱镜对黑盒模型的研究通常基于涉及输入上施加的概率结构的灵敏度分析,而ML模型仅由观察到的数据构建。我们的工作旨在通过为这两个范式提供相关且易于使用的工具来统一UQ和ML可解释性方法。为了为鲁棒性研究提供一个通用且易于理解的框架,我们定义了依赖于概率指标之间的瓦斯汀距离的分位数约束和投影的输入信息的扰动,同时保留其依赖性结构。我们表明,可以通过分析解决这个扰动问题。通过等渗多项式近似确保规律性约束会导致更平滑的扰动,这在实践中可能更适合。从UQ和ML领域进行的实际案例研究的数值实验突出了此类研究的计算可行性,并提供了对黑盒模型鲁棒性的局部和全球见解,以输入扰动。
translated by 谷歌翻译
当前独立于域的经典计划者需要问题域和实例作为输入的符号模型,从而导致知识采集瓶颈。同时,尽管深度学习在许多领域都取得了重大成功,但知识是在与符号系统(例如计划者)不兼容的亚符号表示中编码的。我们提出了Latplan,这是一种无监督的建筑,结合了深度学习和经典计划。只有一组未标记的图像对,显示了环境中允许的过渡子集(训练输入),Latplan学习了环境的完整命题PDDL动作模型。稍后,当给出代表初始状态和目标状态(计划输入)的一对图像时,Latplan在符号潜在空间中找到了目标状态的计划,并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN:8个插头,15个式嘴,Blockworld,Sokoban和两个LightsOut的变体。
translated by 谷歌翻译
历史流程表现出显着的多样性。尽管如此,学者们长期以来一直试图识别模式,并将历史行动者分类和对一些成功的影响。随机过程框架提供了一种结构化方法,用于分析大型历史数据集,允许检测有时令人惊讶的模式,鉴定内源性和外源对过程的相关因果作用者,以及不同历史案例的比较。随机过程的数据,分析工具和组织理论框架的组合使历史和考古中的传统叙事方法补充了传统的叙事方法。
translated by 谷歌翻译
This review presents empirical researchers with recent advances in causal inference, and stresses the paradigmatic shifts that must be undertaken in moving from traditional statistical analysis to causal analysis of multivariate data. Special emphasis is placed on the assumptions that underly all causal inferences, the languages used in formulating those assumptions, the conditional nature of all causal and counterfactual claims, and the methods that have been developed for the assessment of such claims. These advances are illustrated using a general theory of causation based on the Structural Causal Model (SCM) described in Pearl (2000a), which subsumes and unifies other approaches to causation, and provides a coherent mathematical foundation for the analysis of causes and counterfactuals. In particular, the paper surveys the development of mathematical tools for inferring (from a combination of data and assumptions) answers to three types of causal queries: (1) queries about the effects of potential interventions, (also called "causal effects" or "policy evaluation") (2) queries about probabilities of counterfactuals, (including assessment of "regret," "attribution" or "causes of effects") and (3) queries about direct and indirect effects (also known as "mediation"). Finally, the paper defines the formal and conceptual relationships between the structural and potential-outcome frameworks and presents tools for a symbiotic analysis that uses the strong features of both.
translated by 谷歌翻译
我们建议出现的定量和客观概念。我们的建议使用算法信息理论作为一个客观框架的基础,其中某个字符串编码观测数据。这种字符串的Kolmogorov结构功能中有多个滴剂被视为出现的标志。我们的定义除了扩展了粗粒和边界条件的概念外,还提供了一些理论上的结果。最后,我们面对对动态系统和热力学的应用。
translated by 谷歌翻译
我们研究具有流形结构的物理系统的langevin动力学$ \ MATHCAL {M} \ subset \ Mathbb {r}^p $,基于收集的样品点$ \ {\ Mathsf {x} _i \} _ {_i \} _ {i = 1} ^n \ subset \ mathcal {m} $探测未知歧管$ \ mathcal {m} $。通过扩散图,我们首先了解反应坐标$ \ {\ MATHSF {y} _i \} _ {i = 1}^n \ subset \ subset \ mathcal {n} $对应于$ \ {\ {\ mathsf {x} _i _i \ \ \ \ \ _i \ \ \ \ {x} } _ {i = 1}^n $,其中$ \ mathcal {n} $是$ \ mathcal {m} $的歧义diffeomorphic,并且与$ \ mathbb {r}^\ ell $ insometryally嵌入了$ \ ell $,带有$ \ ell \ ell \ ell \ ell \ el \ ell \ el \ el \ ell \ el \ LL P $。在$ \ Mathcal {n} $上的诱导Langevin动力学在反应坐标方面捕获了缓慢的时间尺度动力学,例如生化反应的构象变化。要构建$ \ Mathcal {n} $上的Langevin Dynamics的高效稳定近似,我们利用反应坐标$ \ MATHSF {y} n effertold $ \ Mathcal {n} $上的歧管$ \ Mathcal {n} $上的相应的fokker-planck方程$。我们为此Fokker-Planck方程提出了可实施的,无条件稳定的数据驱动的有限卷方程,该方程将自动合并$ \ Mathcal {n} $的歧管结构。此外,我们在$ \ Mathcal {n} $上提供了有限卷方案的加权$ L^2 $收敛分析。所提出的有限体积方案在$ \ {\ Mathsf {y} _i \} _ {i = 1}^n $上导致Markov链,并具有近似的过渡概率和最近的邻居点之间的跳跃速率。在无条件稳定的显式时间离散化之后,数据驱动的有限体积方案为$ \ Mathcal {n} $上的Langevin Dynamics提供了近似的Markov进程,并且近似的Markov进程享有详细的平衡,Ergodicity和其他良好的属性。
translated by 谷歌翻译
在以前的研究中,我们展示了“讲故事”的文本展示了不是Maxwell-Boltzmann但Bose-Einstein的统计结构。我们的解释是,这是由于在人类语言中存在“无法区分”,因此故事的不同部分中的相同词语彼此无法区分。在目前的文章中,我们开始为此Bose-Einstein统计提供解释。我们表明,在“故事”中存在“意义”,这导致了Bose-eInstein的独立特征,并提供了确凿的证据,即“言语可以被认为是人类语言”,结构类似于如何“光子是光的量子”。使用若干关于我们布鲁塞尔研究组的纠缠研究,我们还表明它也是在文本中存在“含义”,这使得von Neumann熵相对于组成它的单词熵的总文本更小。我们解释了本文的新见解如何与称为“量子认知”的研究领域适合,其中量子概率模型和量子矢量空间用于人类认知,并且也与使用量子结构在信息检索和自然中的使用相关语言处理,以及它们如何将“量化”和“Bose-Einstein统计数据”引入那里的相关量子效应。灵感来自量子力学的概念性解释,并依靠新的见解,我们提出了关于物理现实性质的假设。在这样做时,我们注意到这种新的熵减少以及其解释,对量子热力学的发展可能是重要的。我们同样注意到它也可以引起行星地球表面上的物理现实性质的原始解释图片,其中人类文化随着养护的延续而出现。
translated by 谷歌翻译