Компания Microsoft открыла исходные тексты встраиваемого в приложения движка хранения Extensible Storage Engine (ESE), реализующего механизм хранения ISAM, при котором данные сохраняются последовательно, а для быстрого доступа к произвольным записям применяются отдельные индексы. ESE используется в Windows 10, но впервые появился в Windows NT 3.51, выпущенном в 1995 году, и с тех пор несколько раз переписывался. В Microsoft движок ESE используется для хранения содержимого почтовых ящиков в Office 365 и MS Exchange, лежит в основе API JET, а также применяется в службах Active Directory и Windows Search. Код написан на языке С++ и открыт под лицензией MIT...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=54518
Нафиг ненужное ненужно, но тут вдруг> при написании комментариев разработчики не ограничивали себя должным образом)
Стоит глянуть )
> при написании комментариев разработчики не ограничивали себя должным образомПрофессиональная этика разработчиков M$ такая, угу.
Когда-то давно я сравнивал разные каменты в win-header-ах. Встречалось такое:
old > #pragma disable warning xxx // this is a stupid warning anyway
new < #pragma disable warning xxx // this is an unneeded warning anyway
А вот если бы не комментировали код ничего бы вычищать не нужно было сейчас!
Чиcтят 0xb00b5 :)
0xB16B00B5
очевидно) это байт что бы ну хоть кто то просмотрел ненужное не нужно)) лал ару ахах
> Нафиг ненужное ненужно,Нууу, парсить какие-нибудь базы AD или Exchange не только в маздае, наверное, не так уж плохо?
> Нууу, парсить какие-нибудь базы AD или Exchange не только в маздае, наверное,Это в каком месте то ?
Microsoft, есть Akonadi. Поддерживает несколько бекендов хранения, в отличие от вашего.
Наш, в отличие от вашего ненужно - работает в миллионах систем по всему миру.
Спасибо вам, что и про Линукс не забываете, а то бы он уже загнулся в проде!
От души!
> в миллионах системугу.
если не вспоминать (уже ушедший) MyISAM. (3-я ссылка в новости кстати)
и не говоря уже про андроиды с айфонами c их энджинамизыж
а как там называлась мобильная ось от мс? эта "горящая" платформа? кто-нибудь ещё помнит?
> если не вспоминать (уже ушедший) MyISAMдык а чего - хороший же был myisam, если не требовать от него невозможного, типа acid.
Действительно, может не миллионы, но многие сотни тыщ систем (и не всегда с одной рекламой) держал.Сейчас приходится заменять sqlite, а это далеко не равноценная замена.
Кстати, у ms acid с 2003, по-моему ;-)
> а как там называлась мобильная ось от мс?
windows10 она называлась. И умерла вовсе не потому что была плоха.
> дык а чего - хороший же был myisamкак и сабж.
просто уже не нужен. с современным развитием техники и по.>> а как там называлась мобильная ось от мс?
> windows10 она называлась.не-не! как-то по другому было.
вот трухина который за неё тут топил,помню, а ось уже забылась.
маемо споминается, а на что её в нокиа променяли на поделку от мс — нет.
>просто уже не нужен. с современным развитием техники и по.Во первых - сначала надо посмотреть. Мало ли ..
Во вторых - круглое колесо уже заменил на современной технике? :-р
> Во первых - сначала надо посмотреть. Мало ли ..но из цитаты myisam все-таки убрал… ты же на него смотреть собираешься, не? :D
> Во вторых - круглое колесо уже заменил на современной технике? :-ркарты лучше передергиваются, чем колеса.
>windows10 она называлась. И умерлаТо ты её бжественной называешь, а то, вдруг, умерла.
> работает в миллионах систем по всему миру.При том миллионы - разве что в индексаторе файлов, натужно тормозящем диском по жизни в винде. АДа и эксченжей явно меньше.
У меня Аконади несколько раз херил все данные. Ну вот, например, когда место на диске кончается. Венда конечно тоже умирает, когда место кончается, но в 10 она потом ещё может загрузится и нормально работает, ничего не портит. До 10 правда тоже умирала с концами. Будем надеяться, Аконади найдёт для себя что-нибудь полезное в этой реализации. А комментарии зря вычистили, вряд ли там какие-то важные секреты в них.
Хотя вот с включённым сжатием не проверял, сжатие тоже только в 10 починили, но в 2018 что ли, до того ntfs при этом рассыпалась.
Дада, поставишь - поменяют лицензию и доить.
Какой же там дерьмовый код!
Ну дык, лучших макакенов со всего мира собрали, дедлайны поставили, надзирателей с плетками оплатили и мотивировали. Откуда там взяться красивому коду?
>> В Microsoft движок ESE используется для хранения содержимого почтовых ящиков в Office 365 и MS Exchange Server, лежит в основе API JET, а также применяется в службах Active Directory, Windows Search и Windows UpdateВот похоже и причина win-специфичных тупняков и крашей.
...и падений базы NTDS. Ух.
> ...и падений базы NTDS. Ух.Да оно и без баз кончается влет. Пруфлинк: cd C:\:$i30:$bitmap
а что должно было случиться???C:\Windows\system32>cd C:\:$i30:$bitmap
The directory name is invalid.
О, ISAM! А аналог легендарной IEBISAM будет? :)
Enterprise
Business
Illuminati
Solid
Storage
Active
Makakenбудет только по прямому запросу, по цене от 999$ за одну клиентскую лицензию на 1 рабочее место.
> IEBISAMЗапрещено на территории РФ, в силу вульгарности названия.
От Майкрософт нам ничего не нужно.
🙂 А сдохнуть кто постоянно требует?
Это наконец-то можно будет AD'шные и Exchange'вские недобазы руками разбирать в случае чего?
Накотец-то.
Их и раньше можно было разбирать. API для любого желающего они открыли еще в середине нулевых.
Апи - еще не код для работы с базой. Как мне твоим апи в линухе такую базу открыть? Никак? Ну и грошь твоему апи в базарный день тогда.
А вот и не воруй данные.Ничего кроме воровства - с данными exchange в твоем слинуксе делать никому в голову не придет.
А там где надо для работы - там api есть, сто лет, действительно, как. И очень навряд ли тысячегласс что-то в нем улучшит. Вот троянцев теперь прибавится, эт поверю.
Уворовать данные именно с exchange, именно как базу - весьма экзотично, я бы сказал. Ну и знаешь, если это что-то такое, кмк, народ виртуалку с виндой и exchange все же поставит, не? А дальше прицепит к нему базу да им самим и распарсит, гули.Но бывают всякие прикольные случаи, когда допустим база кораптнута по той или иной причине. И если чудное апи тебя вообще совсем шлет в пень - ну ты и пролетаешь. Вообще без доступа к данным.
p.s. и таки для линя есть парсеры pst аутглюка и mdbtools...
> воровать данные именно с exchange, именно как базу - весьма экзотично, я бы сказал.скопировал виртуалку или диски, и пошел, называетсо, нашел.
> Ну и знаешь, если это что-то такое, кмк, народ виртуалку с виндой и exchange все же поставит, не?
ты местный уровень что, не видишь? Поставит, "снесет штатными средствами fax&scan" (где он его отдельный нашел в десятой отдельный вопрос), оно загружаться перестанет.
> Но бывают всякие прикольные случаи, когда допустим база кораптнута по той или иной причине.
думаю, если она не краденая - это как-нибудь на месте будут решать, без использования ненужнолинухов.
> И если чудное апи тебя вообще совсем шлет в пень - ну ты и пролетаешь.
как будто без него не пролетаешь. Но скорее всего - как раз удастся достать все, исключив битый сегмент.
> и таки для линя есть парсеры pst аутглюка и mdbtools...
конечно, их-то гораздо чаще воруют чем целиком эксченжи, там все же надо суметь упереть такой объем.
Вот есть у меня пара любимых pst (пароли, правда, позабывал небось давно наглухо) - ну и зачем тут линух? Очевидно что аутглюком и будут открываться, если вдруг. Что еще-то мне с ними делать?
> скопировал виртуалку или диски, и пошел, называетсо, нашел.Так там тогда и Exchange будет, он может почту отдать, хоть тупо imap'ом - "апи".
> ты местный уровень что, не видишь? Поставит, "снесет штатными средствами fax&scan" (где
> он его отдельный нашел в десятой отдельный вопрос), оно загружаться перестанет.Я в состоянии такую виртуалку поставить. Хоть и свалил с винды лет 10. А если не в состоянии - ты им подсказал как надо - вместе серваком! :)
> думаю, если она не краденая - это как-нибудь на месте будут решать,
> без использования ненужнолинухов.Как ты это, интересно, решать будешь, если неведомо апи на работу с блобиком говорит тебе "хренц"? В лучшем случае у тебя бэкап есть. Никода не видел упавший сервис ESE? Очень годное трололо - апи уходит курить бамбук, а креш в майковском сервисе ты, естественно, не починишь. Но можешь подождать полгодика без почты, пока индусик в сапорте завтраками покормит.
>> И если чудное апи тебя вообще совсем шлет в пень - ну ты и пролетаешь.
> как будто без него не пролетаешь. Но скорее всего - как раз
> удастся достать все, исключив битый сегмент.Если у тебя майковский сервис работы с базой малость крешится при попытке ее зацепить - ну, э, лол. Наверное в теории можно самому накодить что-то дергавшее апи, но так как ты даже не узнаешь на чем навернулся майковский сервис - любишь играть в поле с граблями в жмурки?
> конечно, их-то гораздо чаще воруют чем целиком эксченжи, там все же надо
> суметь упереть такой объем.Так в каком месте профит наступает? Если кто это может то и сам сервак может унести. В смысле софт типа exchange, конечно. ИМХО сильнее всего с этого выиграют data recovery и тому подобные, которые смогут попытаться колупать убитые базы, на которых оригинал сливался.
> Вот есть у меня пара любимых pst (пароли, правда, позабывал небось давно
> наглухо) - ну и зачем тут линух? Очевидно что аутглюком и
> будут открываться, если вдруг. Что еще-то мне с ними делать?Ну, мне как-то пригодилось при миграции win -> linux. Еще dbxtools, чтоли, это для обычного неофисного аутлукэкспресса уже.
> Я в состоянии такую виртуалку поставить. Хоть и свалил с винды лет 10. А если не в
> состоянии - ты им подсказал как надо - вместе серваком! :)И, иииии??? 99% опеннета получат сервак (который возможно сразу спалится, полезши в инет от своего честного имени не с того ip) - совершенно не предназначенный для того, чтобы порыться с него в чужой почте. Даже просто понять,где она лежит, местным специалистам по установке nano на hpux вряд ли удастся.
Оставшийся 1% найдет готовый ответ на serverfault, но что будет делать с результатом - воооопрос....
> Как ты это, интересно, решать будешь, если неведомо апи на работу с блобиком говорит тебе
> "хренц"? В лучшем случае у тебя бэкап есть.дергаешь записи по одной, пока не находишь ту на которой падает. Остальные копируешь. Я как-то так напрочь сдохший орацл восстанавливал, с ora006 на отдельных записях - и ничего, восстановил.
Чаще всего, правда, падает не на одной а на нескольких, поэтому процесс несколько затянется. Но, с другой стороны - чтоб до такого доиграться, надо немало потрудиться, поэтому владельцы вряд ли будут удивлены или расстроены.
> Так в каком месте профит наступает?
в почтовом ящике манагера по продажам много профита можно найти, если рядом есть манагер по таким же продажам конкурента.
> ИМХО сильнее всего с этого выиграют data recovery и тому подобные, которые смогут
> попытаться колупать убитые базы, на которых оригинал сливался.дык, они под вендой вендовые базы ковыряют. Ну хрен знает - если кто-то напишет какие интересные инструменты - может и выиграют что. Но опять же - у платежеспособного клиента нет такой надобности, а у того у которого есть - база либо крадена, либо он ее до нечитаемости довел без бэкапов и вообще админа рядом - откуда у такого деньгам-то взяться?
> Ну, мне как-то пригодилось при миграции win -> linux.
а зачем их мигрировать, если мертвое оно? Ну вот откроется оно у меня на линуксной системе - и? Что делать-то?
А если немертвое - ну подключись через имап коннектор, да и скачай (индекс) заново.
> И, иииии??? 99% опеннета получат сервакНу да. Сольют с него почту, хоть имапом - вот тебе и апи.
> не предназначенный для того, чтобы порыться с него в чужой почте.
Я, типа, должен расстроиться что ламеров и тупиц посадят, да еще и за дело?
> Даже просто понять,где она лежит, местным специалистам по установке nano на hpux вряд ли удастся.
Существование меня, способного своротить таск не смущает? Вроде, конкретный пруф твоей неправоты. Другое дело что я не буду помогать ламерам с этим, даже за бабки, была мне охота с ламо сидеть. Да и не в моем вкусе. "Но инструмент то имеется!"
> но что будет делать с результатом - воооопрос....
Судя по сливам <всего и вся> - наверное, присоединятся к банкету?
> дергаешь записи по одной, пока не находишь ту на которой падает.
Оно и базу иногда открыть не может, или падает при этом. Сюрприз!
> Остальные копируешь. Я как-то так напрочь сдохший орацл восстанавливал, с ora006 на
> отдельных записях - и ничего, восстановил.Не, ну понятно что если сильно припрет то что-то такое тоже вариант. Но см. выше.
>> Так в каком месте профит наступает?
> в почтовом ящике манагера по продажам много профита можно найти, если рядом
> есть манагер по таким же продажам конкурента.Блин, я не про это :)
> кто-то напишет какие интересные инструменты - может и выиграют что.
Ну вот кмк упомянутый ход повышает шансы на это. И я даже считаю что это не так уж плохо.
> Но опять же - у платежеспособного клиента нет такой надобности,
Ты, типа, в курсе надобностей всех клиентов того сегмента? Вот откуда бы?
> до нечитаемости довел без бэкапов и вообще админа рядом - откуда
> у такого деньгам-то взяться?Когда ж..а подгорает, деньги обычно почему-то находятся...
> а зачем их мигрировать, если мертвое оно? Ну вот откроется оно у
> меня на линуксной системе - и? Что делать-то?Ы. Я себе так мыло мигрировал из виндовой системы в линуха, законвертив dbx и pst в более прозаичные мылбоксы, где как-то accessibility моих данных получше оказывается, можно over 9000 тулсов на это напускать и юзать почтарь по вкусу а не Единственно Правильный от ein volk, ein os, ein program.
> А если немертвое - ну подключись через имап коннектор, да и скачай (индекс) заново.
Ну вот это уже довольно неудобное допущение.
>> И, иииии??? 99% опеннета получат сервак
> Ну да. Сольют с него почту, хоть имапом - вот тебе и апи.Э.... вот у тебя краденый чужой сервак. Возможно со слетевшей активацией, поскольку железо от него ты не спер, тяжелое и сторож больно дерется. AD в котором он все авторизовывал - остался где-то там.
Ломануть локальную учетку ты, пожалуй, сможешь, часто они нарочно несложные, а то и пароль написан на логонскрине.А дальше-то что, какой, нафиг, имап? Имап надо было там где он стоял пользовать.
> Существование меня, способного своротить таск не смущает?
А точно сможешь, а не побежишь срочно-гуглить? (Наверное, даже найдутся ответы, правда, небыстро и непростые)
А то пока больше похоже на второе.> Когда ж..а подгорает, деньги обычно почему-то находятся...
Не, не находятся, я в 2008м лично наблюдал.
Просто вешают замок на дверь и расходятся кто куда. А кредит банку не отдают.> Я себе так мыло мигрировал из виндовой системы в линуха, законвертив dbx и pst в более
> прозаичные мылбоксыну а я так и оставил в pst. Пока пароль от него еще помнил - разок даже что-то достал оттуда. Кажется, тоже пароли от чего-то еще, понадобились наследникам. Что там еще-то могло быть ценного, в таком формате, что понадобится не на такой же виндовой системе, не пойму?
Личную почту я в чужих эксченжах не храню.
> Э.... вот у тебя краденый чужой сервак.Быть халявной отчетностью прерогатива скрипткидизов и растишек.
> Возможно со слетевшей активацией, поскольку железо от него ты не спер,
> тяжелое и сторож больно дерется.В vm железки *виртуальные* обычно. Хотя-бы чтобы мигрировать на новый HW без приколов. Странно что энтерпрайзник не в курсе таких мелочей как миграция бакла^W виртуалок.
> AD в котором он все авторизовывал - остался где-то там.
Вот это может быть. Но 1) решаемо 2) кажись есть варианты и без этого.
> А дальше-то что, какой, нафиг, имап? Имап надо было там где он стоял пользовать.
Exchange сам умеет быть имапом. До кучи, он мыло так может наружу вывешивать.
> А точно сможешь, а не побежишь срочно-гуглить?
Сам погугли на тему миграции VM, энтерпрайзник.
> (Наверное, даже найдутся ответы, правда, небыстро и непростые)
Да у тебя и виртуалку мигрировать небось целая наука. Hyperv умеет прикалываться с этим конечно, но VM обычно все же выживает. Хоть между нами, это пример когда закладываться на проприетарный черный ящик без понимания что унутрях - хреново, да. С kvm'ными мне как-то проще в этом плане, я их с любого асфальта сам по быстрому отскребу, в отличие от. Потому что технология - у меня, прозрачно для меня.
> А то пока больше похоже на второе.
А таки я умею готовить этих кошек. То что я разлюбил жрать кошатину вопрос номер два.
> Не, не находятся, я в 2008м лично наблюдал.
Значит недостаточно подгорает.
> Просто вешают замок на дверь и расходятся кто куда. А кредит банку не отдают.
А банк коллекторов и т.п. не напрягает? Тогда и ты кредит там возьми!
> ну а я так и оставил в pst.
Чего мне с ним в линухе делать?
> в таком формате, что понадобится не на такой же виндовой системе, не пойму?
pst мог остаться со времен пользования аутлуком. DBX от аутлук экспресса аналогично. ВНЕЗАПНО, да?
> Личную почту я в чужих эксченжах не храню.
PST - формат баз аутлука, плевать, эксченж или нет, он все так. Даже локальные мессаги без серверов (фильтром допустим раскиданые, впрочем, ты небось и это не умеешь, "суперпро").
> В vm железки *виртуальные* обычно.хаха, специалиста по энтерпрайзным vm издалека видать. Не, не сохранишь ты даже и активацию, не умеешь. А верней всего и вовсе синий экран будет. Или розовый, как сейчас модно.
Кстати, энтерпрайзный, а не краденый васянами exchange крайне редко виртуален - смысла нет, а геморрой есть.
> Вот это может быть. Но 1) решаемо
дада, щаспогуглишь.
> Exchange сам умеет быть имапом.
он у тебя после кражи уже паламалася, и ты не нагуглишь ничего путного. Нет уже никакого имапа, до дисков добраться, скорее всего, можно - но что с ними делать - ты, вероятнее всего, снова не в курсе. Ну вот, ms о тебе позаботилась, теперь даже ты сможешь стырить ненужный тебе список контрагентов.
> С kvm'ными мне как-то проще в этом плане
ну высокий энтерпрайзный опыт сразу виден. Жаль что в том квм у тебя один линyпс.
Потому что это как раз анти-технология, "прозрачно" там потому, что нихрена там и нет.> А банк коллекторов и т.п. не напрягает?
Они привыкли. Как-никак в 90е бизнесы свои начинали. Ставят на телефон черные списки и дальше живут как жили. Не, я так не хочу. Там "и хрен вы меня найдете" не получится. В том числе потому что на кармане-то - голяк по итогам.
> Чего мне с ним в линухе делать?
нЕчего.
Поэтому и лежит в pst.> pst мог остаться со времен пользования аутлуком
во времена пользования аутлуком у тех кто пользовал - в нем было про ентерпрайз и, возможно, эксченжи. Ничего интересного для фанатиков шва6одки там нет и быть не могло, раз уж их заставили пользоваться аутлуком, как у всех. Поэтому и нет смысла читать из под линyпса.
Прон из под аутлукэкспресса - это да, это понятно. Но он у тебя должен быть какой-то сильно несвежий - сколько лет уже нет никакого шустрого выглядка.
Столько едких комментариев на пустом месте...ISAM - это дешевый высокопроизводительный метод для доступа к информации. В нем совершенно нет ничего плохого.
Стыдно читать комментарии, когда одни ESE (реализацию ISAM) сравнивают с Akonadi, а другие на полном серьёзе вдаются в сравнение тёплого с мягким, как бы забывая, что Akonadi сам работал с ISAM в том числе. Не с ESE реализацией, а с MyISAM что в принципе примерно одно и то же. Помнится мне, когда много лет назад Akonadi начал требовать MySQL в качестве зависимости вою было на весь OpenNet. Дескать, целый мускуль им в систему притащили, будто создание ISAM-базы в ОС это какая-то чудовищная нагрузка. А теперь Akonadi стал уже торт и несколько бекендов поддерживает, и лучше чем армяне, что явно на 40% лучше обычного порошка... ой всё.
ISAM это такая штука которая никогда не потеряет популярность. Представьте себе задачу, например такого типа:
1. Есть некий демон/приложение, который принимает локальные и сетевые запросы.
2. Демон/приложение должно быстро находить нужные данные, будь то полнотекстовый поиск или SQL запросы или что-то еще
3. Данные - это одна таблица размером в несколько от 200 MB до 200 GB.
4. Вам не надо ничего удалять или обновлять.Все эти чудесные шардированные NoSQL-базы для такой задачи совсем не то что нужно. ISAM по своей архитектуре подходит лучше всего, хоть это и старая технология. Опять же, если вам нужны более надёжные способы создать такой ISAM-образный массив данных мне сразу вспоминается не столько ESE, сколько Aria в MariaDB.
С обычными ISAM-движками нельзя работать как с настоящей базой данных. Цена DELETE/UPDATE запросов там бывает настолько высока что проще дописывать изменения в конец и вводить "пометки удаления" строки отдельным столбцом. Для сокращения размеров тогда придётся делать дефрагментации и "реструктуризации". Для всего этого нужен специфический клиент и сервер приложений. INSERT при больших размерах будет выполняться быстрее SELECT, но если вы можете партиционировать ISAM по какому-то принципу, то этой проблемы не будет, причем вы даже UPDATE сможете себе позволить.
Так-то реализация ESE понадежнее MyISAM с учетом поддержки транзакционности и восстановления после сбоя. Раз открыли, значит кому-то пригодится... они же его не в Apache хоронить пошли. А тем кому транзакционность не нужна, есть Aria.
P.S. Пользователи Linux, которые зачастую в венде не разбираются, эту штуку знают не как Extensible Storage Engine, а как ESENT. Те из них которые хоть раз заглядывали в стандартный Application Log должны были видеть это слово как источник событий.
Согласен, для своей ниши - отличное решение.
> Раз открыли, значит кому-то пригодится... они же его не в Apache хоронить пошли.Мертвое нельзя похоронить дважды
JET древний как говно мамонта
Очередное не надо. Мелкомягкие всё понять никак не могут: время шальных успехов уже прошло.
Сколько хейтеров то, а. Что же вы такие токсичные.
От Майкрософт нам ничего не нужно.
Форматирование кода в стиле: пишу в вижуал студии с широким монитором. Тьфу
> Форматирование кода в стиле: пишу в вижуал студии с широким монитором. ТьфуДа, никакой заботы об альтернативно одаренных, по сей день пишущих свои хеловроты в 80x24.
Поржал с новости, особенно с пунктов"механизм восстановления целостности данных в случае краха" и "ESE может эффективно применяться для хранилищ размером от нескольких мегабайт до 16 терабайт".
Кто админил ексчендж тот поймет уровень булшита :) И про эффективность и про возможность восстановления.
ну так восстанавливает же. Лет 15-20 назад была битая база эксчейнджа гигов на 700, сутки eseutil шуршал - но восстановил же.