Энтропия, алгебра и топология =?

Энтропияалгебраитопология=

http://www.math3ma.com/

Сегодня я хотел бы поделиться небольшими математическими выкладками, связанными с идеями из теории информации, алгебры и топологии. . Это все в новой статье , которую я недавно загрузил на arXiv, резюме которой вы можете видеть справа. Статья короткая – просто 13 страницы! Тем не менее, я подумал, что было бы неплохо здесь побродить по некоторым математическим выкладкам.

Чтобы представить эти идеи, давайте начнем с размышлений о функции $ d двоеточие to mathbb {R} $ определяется как $ d (x) = – x log x $, когда $ x> 0 $, и $ d (x) = 0 $, когда $ x = 0 $. Возможно, вытащив карандаш и бумагу, легко убедиться, что эта функция удовлетворяет уравнению, которое очень похоже на правило произведения из Calculus:

http://www.math3ma.com/

Функции, которые удовлетворяют уравнению, напоминающему «правило Лейбница», вроде этого, называются производными , который вызывает знакомую идею производной . Ненулевой член $ -x log x $ может показаться некоторым из вас знакомым. Это выражение, которое появляется в энтропии Шеннона вероятностного распределения. Распределение вероятностей на конечном множестве $ {1, ldots, n } $ для $ n geq 1 $ – это последовательность $ p = (p_1, ldots, p_n) $ неотрицательных действительных чисел, удовлетворяющих $ sum_ { i = 1} ^ np_i = 1 $, и энтропия Шеннона $ p $ равна определяется как

http://www.math3ma.com/

Теперь выясняется, что функция $ d $ нелинейна, а это значит, что мы можем ‘ t вытаскиваю перед суммированием. Другими словами, $ H (p) neq d ( sum_ip_i). $ Даже в этом случае любопытство может заставить нас задуматься о настройках, в которых энтропия Шеннона сам по себе является производным. Один из таких параметров описан в статье выше, в которой показано соответствие между энтропией Шеннона и производными (подождите …) топологических симплексов !

Но что это значит? Чтобы разобраться в этом, нам нужно использовать алгебраический инструмент, берущий свое начало в теории гомотопий. Этот инструмент называется операдой, , и это то, что мы ранее представили здесь, в блоге . Грубо говоря, операда – это абстрактный способ кодирования различных «разновидностей», которые входят в алгебры: ассоциативные алгебры, коммутативные алгебры, Ложь алгебры и т. д. Операды широко используются в алгебраической топологии (см. эту дружественную статью Джима Сташеффа). в Уведомлениях AMS) и даже в физика тоже. Фактически, мы видели пример операции на PBS Infinite Series давным-давно – ассоциаэдры!

Как оказалось, топологические симплексы – еще один прекрасный пример операды, как описано в это старое сообщение в блоге и совсем недавно в главе 14 новой книги Тома Лейнстера Энтропия и разнообразие . Формально $ n-1 $ -симплекс $ Delta ^ {n-1} $ – это множество всех точек $ (p_1, ldots, p_n) $ в $ mathbb {R} ^ n $, таких что $ 0 leq p_i leq 1 $ для каждого $ i $ и $ sum_i p_i = 1 $. Таким образом, точка в симплексе – это не что иное, как распределение вероятностей! Таким образом, вероятности и топология идут рука об руку.

http://www.math3ma.com/

Но при чем здесь энтропия? Или алгебра? Или производные , если на то пошло? Я объясню. Но сначала позвольте мне рассказать вам, почему я нахожу совпадение этих идей таким интригующим.

http://www.math3ma.com/ Обход (Со) гомологии

В последние годы стало очевидно, что пересечение теории информации и алгебраической топологии плодородная почва. В частности, идеи из (ко) гомологической алгебры возникли в нескольких разных местах. Грубо говоря, гомологические инструменты позволяют обнаруживать «дыры» в топологическом пространстве и, таким образом, являются полезным способом отличить одно пространство от другого – просто подсчитайте количество дыр в каждом! Концептуально отверстие похоже на строку, которая закрыта и через которую вы можно пальцем ткнуть. Иначе говоря, дыра – это замкнутая струна, которая не является границей какой-то двухмерной области пространства. И, кстати, границы часто обозначаются буквой $ d, что означает, что, когда $ R $ является областью, ее граница обозначается $ dR $.

http://www.math3ma.com/

Если $ S $ – замкнутая строка, то ее граница интуитивно представляет собой просто точку. (Представьте, что начиная с единичного интервала $ $ и склеивая концы $ 0 $ и $ 1 $ вместе, чтобы образовать цикл.) Эту идею можно кратко записать как $ dS = 0 $. Если эта закрытая строка $ S $ также является границей некоторой области, поэтому что $ S = dR $, то следует, что $ dS = d (dR) = 0 $. Это приводит к лаконичной фразе «граница границы – ноль», что кратко переводится как $ d ^ 2 = 0 $. Это уравнение является чрезвычайно важным в математике.

http://www.math3ma.com/ «Если бы я только мог понять прекрасное следствие, вытекающее из краткого предложения $ d ^ 2 = 0 $.»

– Анри Картан

Журнал Quanta недавно опубликовал отличная статья , объясняющая эти идеи, поэтому я не буду вдаваться в подробности. деталь. Главное знать, что «дыры» более формально называются циклами , или еще лучше, 1-цикл , , поскольку концепция может быть абстрагирована до более высоких измерений. В любом случае важно умение определять границы. Одномерная дыра – это в точности 1-цикл, который не является границей! Более того, эта история о гомологии имеет двойную версию, называемую когомологией . Здесь двойственное понятие дыры называется коциклом , и в обоих случаях совокупность всех (со) циклов, (со) границ (и аналогов более высоких измерений), и детектор (со) границ $ d $ может быть организован в нечто, называемое (со) цепной комплекс .

Помимо жаргона, вот важный момент: хотя я нарисовал выше амебоподобные формы, мы также можем понять ” дыр »,« формы »и« (ко) гомологии »в чисто алгебраической , а не топологической. Например, вы можете вычислить гомологии своей любимой ассоциативной алгебры ! В этом алгебраическом контексте есть несколько сценариев, в которых граничный оператор $ d $ может также удовлетворяют правилу Лейбница (или некоторой его версии), т.е. граничный оператор $ d $ также может быть производным.

Я правда, здесь расплывчато, но я надеюсь вызвать ваше любопытство.

В конце концов, какое отношение все это имеет к энтропии?

Соединение точек

Как я уже упоминал выше , связь теории информации и алгебраической топологии – соблазнительное место. В 2015, Пьер Бодо и Даниэль Беннекен опубликовали статью под названием « Гомологическая природа энтропии , где они вводят инструменты «информационной когомологии» и создают некоторый коцепной комплекс, для которого энтропия представляет собой единственный 1-коцикл. Примерно в то же время Филипп Эльбаз-Винсент и Хербет Гангл определяют так называемые «информационные функции степени 1», которые выглядят как энтропийные и доказано , что эти функции ведут себя «во многом как определенные производные».

Несколькими годами ранее Джон Баэз, Тобиас Фриц и Том Ленстер дал категориальную характеристику энтропии в 2012. При подготовке этой статьи Баэз написал неофициальная статья в nLab, где он заметил, что энтропия, кажется, ведет себя как производное, если смотреть с точки зрения операды . (Проверить это наблюдение и сделать его точным – вот содержание моей статьи.) И – как будто этого мало! – в 2019 Том Майньеро исследовал когомологические идеи в контексте взаимной информации и энтропии в статье под названием « Гомологические инструменты для квантовой механики “и обнаружили, что энтропия появляется в эйлеровой характеристике конкретного комплекса коцепи, связанного с квантовым состоянием.

Уф!

Инвентаризация этих идей дает ощущение, что все эти результаты согласуются с представлением о том, что энтропия ведет себя немного например “$ d $ of something” для подходящего (со) граничного оператора $ d $.

Результат, который я поделился с arXiv, находится в в том же духе.

Энтропия + Алгебра + Топология = Выводы

Вместо того, чтобы смотреть на производные $ d $ на (ко) цепном комплексе, ассоциированном с топологическим пространством, или дифференцировании ассоциативной алгебры, вместо этого мы смотрим на вывод операды топологической симплексы . Определение этой концепции – ключевая часть статьи, поэтому вам придется прочитать статью, чтобы понять, что она означает!

Вдохновением для этого послужили несколько наблюдения, сделанные Джоном Баэзом в http://www.math3ma.com/ это 2011 сообщение в блоге вместе с красивой характеристикой энтропии Шеннона, данной Дмитрием Фаддеевым в 2011 и поучительный вариант этого, недавно приведенный Томом Ленстером в главе из эта книга . И я впервые узнал об операде симплексов в этот превосходный доклад Тома в CIRM в в “Категорических истоках” энтропии ».

Математика, которая связывает все это вместе, объясняется в препринте, который я назвал« Энтропия как вывод топологической операды “. Надеюсь, вы посмотрите! Неудивительно, что есть и несколько картинок. Вот мой любимый, который вы можете найти на странице 9:

http://www.math3ma.com/

http://www.math3ma.com/

На этом я оставлю вас с изюминкой статьи:

http://www.math3ma.com/

http://www.math3ma.com/ Теорема.

Энтропия Шеннона определяет вывод операды топологических симплексов, и для каждого производного этой операды существует точка, в которой она задается постоянным кратным энтропии Шеннона.

Leave a comment

Your email address will not be published. Required fields are marked *

16 − 12 =