ЦЕРН откроет доступ ко многим данным LHC
В последнее десятилетие в физике элементарных частиц всё более четко вырисовывается желание ученых не только получать новые данные по элементарным частицам, но и обеспечить их сохранность в будущем. Это может очень пригодиться, если физики когда-нибудь захотят перепроверить старые данные в свете каких-нибудь новых неожиданных фактов. А это, во-первых, означает что данные должны быть защищены от потери вследствие технических поломок, а во-вторых, нужно убедиться, что будущие поколения исследователей смогут в этих данных разобраться.
Оба требования можно удовлетворить, если объективные данные, полученные на LHC, будут выложены в открытый доступ. В идеале, все желающие, обладающие достаточной компетенцией, должны быть способны провести свой собственный анализ полученных на коллайдере данных. Конечно, прямо сейчас все поступающие данные выкладывать не стоит в силу ряда причин, но усиливается движение за то, чтобы постепенно их открывать в ближайшем будущем. Такой шаг будет очень полезен и с педагогический точки зрения. При наличии программ обработки и помощи экспертов, студенты и даже школьники смогли бы сами попробовать свои силы в обработке реальных данных и тем самым почувствовать, каково это — искать новые частицы и явления.
Тут следует пояснить, что существует четыре уровня данных LHC. Во-первых, это результаты, которые вошли в научные публикации экспериментальных групп. В соответствии с политикой ЦЕРНа, все такие статьи находятся в свободном доступе для всех желающих — и совершенно не важно, в каком журнале статья была опубликована.
Во-вторых, уже несколько лет ЦЕРН создает специальную подборку небольшого числа наиболее интересных событий, которые тоже уже находятся в открытом доступе. Эти события можно просматривать и анализировать онлайн прямо на сайте ЦЕРНа (см., например, подборку открытых данных с детектора CMS). Эти события уже давно используются в образовательных проектах для студентов и школьников во многих странах.
Далее, данные третьего уровня — это вся совокупность «распознанных данных», которые, собственно, и изучают ученые. Под «распознанными» подразумеваются данные, прошедшие предварительную низкоуровневую обработку и записанные в терминах физических объктов (например, вылетело три электрона, два мюона и 15 адронов с такими-то энергиями и под такими-то углами). Вот эти данные и начнут постепенно открывать в ближайшем будущем. На сайте CMS сообщается, что во второй половине 2014 года ожидается первый «релиз» — будут обнародованы данные, накопленные в 2010 году.
Наконец, существуют и данные четвертого уровня — сырые данные детекторов. Они состоят из записей вида «ячейка номер такой-то в такой-то момент времени почувствовала такое-то энерговыделение». В этих данных нет никакой физической информации, это чистый отклик «железа» на столкновения частиц, который, может быть, и связан с пролетом частицы, но может быть просто шумом или вызван сбоем ячейки. Эти данные открывать не собираются. Однако для честной обработки данных посторонними людьми, не посвященными в инструментальные тонкости самого детектора, они и не требуются; вся осмысленная информация, за которую сотрудники детектора «отвечают», находится в данных третьего уровня.
50
Показать комментарии (50)
Свернуть комментарии (50)
-
Так, насколько я понимаю, там проблема вовсе не в том, что ЦЕРНу жалко каких-то данных, а в том, что этих данных просто очень много, и если прямо сейчас открыть совсем уж свободный доступ к данным третьего уровня - то и церновские каналы, и сервера попросту могут лечь.
Вот если бы кто-нибудь из интернет-гигантов взялся хранить у себя и раздавать реплику этих данных - то тогда, скорее всего, ситуация сразу бы изменилась.-
Да нетолько.. объём данных + фермы для их обработки + знания особенностей своего детектора и опыт работы с ним + коррекция существующих артефактов + знание многих тонкостей ускорительной физики которые влияют на данные..
В общем, лучше чем у коллаборации обработать raw не выйдет ни у какого специалиста/неспециалиста. это всё глупости.
И, главное, зачем этим заниматься? Церн разжеванным всё выкладывает.
Что, думаете коллаборации подтасовуют данные при конвертации?-
Да, насколько я понимаю, главная цель — предотвратить «фонтанирование» псевдооткрытиями, которые люди начнут делать десятками в год при наличии всех данных в открытом доступе, но которые в подавляющем боьшинстве случаев будут следствием неграмотной статистической обработки или неучет каких-то инструментальных эффектов.
В астрофизике есть пример — насколько я понимаю, Fermi-LAT свои данные открывает. И вот полтора года назад группа людей, обработав эти данные, нашла указание на отдельную узкую линию в спектре жестких фотонов на 130 ГэВ. Поднялся ажиотаж, люди бросились интерпретировать эти результаты (более 200 цитирований за полтора года). А что сама Fermi-LAT? Они корректно молчали и аккуратно перепроверяли, а теперь заявляют, что после этого анализа сама коллаборация такого вывода не делает — слишком низкая статзначимость. Поэтому как-то не очень понятно, как к тому анализу относиться.
А на LHC обработка намного сложнее и подводных камней там огромное множество. Так зачем бессмысленный информационный шум вызывать? ЦЕРНу уж хватило бреда насчет черной дыры, которая должна образоватьс яна коллайдере и проглотить землю.-
Как-то это странно звучит. Альтернативщикам для "открытий" и данные ЦЕРНа не нужны - они и на коленках делают революционные открытия.
-
Ну, это не настоящие альтернативщики. Это нормальные физики-феноменологи, но со сбитой шкалой ценностей насчет достоверности результатов спотнанной кустарной обработки данных. Такое встречается сплошь и рядом. В конце концов, и так много людей публикает феноменологические статьи из серии «а вот в данных есть такой эффект, а предположим, что это результат такой интерпретации, тогда она подтверждается вот такую экзотическую гипотезу». Ну а тут у них будет еще больше «доказательной базы», она смогут говорить «мы обработали открытые данные LHC и доказали, что данные действительно поддерживают нашу гипотезу».
-
В одиночку и не имея доступа к вычислительным кластерам они не смогут провести анализ статистики.
Тем более для расчётов им нужно написать довольно обьёмное ПО под спецефическую архитектуру кластера(суперкомпьютер). А хранилище базы, пусть небольшой кусок.. Петабайты..
Не каждый институт может себе позволить иметь кластер и штат физиков программистов, и тем более разбазаривать время на нём для проверки теорий альтернативщиков.
-
-
-
-
Игорь, а нельзя ли описать более подробно, как проводится анализ данных, ближе к терминам железа и оборудования? Вот я так понимаю, что после первичного анализа, сразу же во время работы коллайдера, данные по самым интересным событиям пишутся в хранилище (как мне сказали выше - магнитную ленту), и это гигабитные потоки. И этих данных в сумме петабайты. А вот дальше допустим умненький дядя-ученый решил что надо проверить ковариацию одних адронных струй с чем-то другим в надежде что полученное число не сойдётся с предсказанием СМ. И что дальше? Надо же пройти по всей базе, и для каждого события что-то посчитать. Т.е. поднять все эти петабайты. А потом приходит ещё 1 дядя, и говорит что надо посчитать ещё что-то другое... и так снова, снова... Как это всё организуется процедурно чтобы кассеты до дыр не зачитывать и чтобы хватало ленточных стримеров?
-
Лучше, конечно, пусть расскажут те, кто непосредственно этим занимается. Я могу сказать только, как я сам думаю — и возможно, это неправильно.
Во-первых, я не знаю точно, куда пишутся данные в реальном времени, в процессе их набора — на ленты или на диски. Мне бы казалось разумным писать на диски, т.к. неизвестно, с какой скоростью будут поступать данные, так что зачем лишний раз дергать ленты. Записать 20-часовой набор данных на диски — не проблема. А уже потом, когда ускоритель перезаряжается пучками, они этот своп могут переписывать на ленты.
Второе, на лента хранится инфа, к которой обращаться требуется не слишком часто. Поэтому когда делается анализ, то вначале формируются минимальные критерии, а потом по ним делается запрос в ленточное хранилище, и оттуда уже переписываются на диски все данные, которые минимальным критериям удовлетворяют (и их заведомо много больше, че полезных данных).
Дальнейшая работа — это отбор событий уже по более специальным критериям, и он делается уже по данным на диске. Тут «прогонов» данных по разным критериям может быть много, но ленты тут не трогают. Если вдруг оказывается, что нужно существенно изменить первоначальный набор минимальных критериев, то это уже будет, скажем так, прокол человека, который минимальные критерии составляет (т.е. он вначале вообще не разобрался, что ему нужно искать).
Это то, что касается железа. А то, как люди друг с другом взаимодействуют, это отдельный вопрос. Вкратце, тут конечно нет никакой отсебятины. Обычно анализ — это группа из десятка-двух человек, которые читают литературу, обсуждают, спрашивают мнения теоретиков. Потом пишут программы отбора и долго и муторно проверяют их на сгенерированных псевдоданных. На это могут уйти месяцы. После того, как все понятно, они берут реальных данные и аккуратно пытаются разобраться с ними, см. например http://elementy.ru/LHC/news/431861 .
Но повторюсь, лучше пусть это расскажут люди, непосредственно там работающие.-
В общих чертах так все и есть. Могу подробнее рассказать про LHCb, думаю, что на Atlas и CMS дело обстоит похожим образом. Поток данных, который идет с детектора, даже предварительно отобранный "железным" триггером (электроникой, которая решает, представляет ли событие интерес в принципе или его можно сразу выкинуть) очень большой - такие события на LHCb идут с частотой 1 МГц, а размер события в среднем около 30 кб. Поэтому события фильтруются дальше компьютерной фермой, которая стоит прямо рядом с детектором. Эти компьютеры называются "триггер высокого уровня" (high-level trigger, HLT), который уже делает умные вещи - реконструирует треки частиц, выделяет какие-то резонансы и т.д. Причем все рассчитано так, что примерно 80% всех данных с детектора HLT может "переварить" сразу и отправляет в компьютерный центр ЦЕРНа на ленту, а остальные 20% копятся на локальных дисках фермы HLT (их объем примерно 1000 ТБ) и обрабатываются позднее, во время перезапуска и настройки следующего пучка (это занимает пару часов и глупо было бы ферме из 30000 CPU в это время простаивать). Так что в идеале с детектора на ленту идет постоянный поток данных, примерно 5000 событий в секунду.
Сырые данные держат на ленте в двух копиях. Одна в ЦЕРН, одна на каком-то из нескольких центров сети GRID (в Германии, Голландии, Англии и еще паре мест). Сырые данные трогают очень редко. Один или два раза в год проводится "перереконструкция" (reprocessing) - сырые данные (т.е. фактически отсчеты АЦП) преобразуют в треки, энерговыделение в калориметре и т.д., после чего самые интересные примерно 10% событий отбираются и записываются на диск. Эта доля событий определяется попросту объемом дисков, который есть в наличии в GRID. Только с этой выборкой и могут непосредственно работать физики. Это все равно достаточно большой объем, с учетом нескольких копий получается несколько петабайт, но их уже реально хранить на дисках. Эти данные существуют в нескольких копиях на разных сайтах GRID, разделенные на штук 10, как говорят, потоков (один поток объединяет группы событий со схожими свойствами, например, распады очарованных частиц, распады с мюонами, только адронные события и т.д.). Один поток вполне реально обработать в GRID за день-два. Ну а если физик обнаружил, что он хочет исследовать процесс, который не попадает в выжимку из 10% событий - ничего не поделаешь, придется ждать полгода-год до следующей реконструкции сырых данных.
"Перереконструкция" - веселое время для людей, за нее отвечающих. Они проводят опрос групп, выполняющих анализы, сбор критериев отбора для выжимки событий, проверку на небольшой части сырых данных. Часто приходится делать несколько итераций, так как всегда хочется сделать критерии отбора максимально более свободными, чтобы не потерять ничего интересного, но, с другой стороны, из-за жесткого лимита дискового пространства на GRID нужно все рассчитать так, чтобы во время реконструкции не "кончился диск". На эти настройки уходит месяц-два. Потом пару месяцев работает сама реконструкция. Время начала реконструкции рассчитывают так, чтобы успеть к каким-нибудь важным конференциям :). -
Блестящий, блестящий ответ на вопрос.
Тем не менее, я хотел бы уточнить один момент. HLT строит треки, т.е. решает задачу из класса "распознавание образов". Но на ленту результат распознавания не пишется. Пишется сама исходная "растровая" картинка снимка датчиков детектора, но только в том случае, если треки "интересные". А сам результат построения треков - отбрасывается. Верно?-
Именно так. HLT работает в условиях постоянного цейтнота, поэтому много чего там делается упрощенно, но зато быстро. Кроме того, детектор калибруется обычно на тех же записанных данных, а HLT в своей работе, естественно, вынужден использовать калибровки более старые и менее точные. Поэтому треки все равно лучше потом реконструировать заново в более спокойных условиях, с использованием более точных калибровок. Тем не менее, в файле сырых данных сохраняется информация, по каким именно критериям и с использованием каких именно "хитов" (т.е. стрипов вершинного детектора или трубочек трекера) HLT решил, что событие потенциально интересно.
Но это вы вообще правильно подметили, что информация теряется. Для некоторых задач было бы хорошо иметь реконструированные (пусть и несколько неоптимально) события сразу, а не ждать несколько месяцев. Такой вариант обсуждают для апгрейда.-
(на правах дилетантских хотелок) Дали б мне волю, я б ещё на HLT сортировал бы события по перспективности (а не только в плане "да" и "нет") и более перспективные писал бы на отдельную ленту. Тогда события этой серии кассет можно было бы точно реконструировать в первую очередь и за первую же неделю анализа можно было бы снять все "сливки".
Не удивлюсь если вы скажете что так и делается. Все мало-мальски правильные идеи как правило очевидны для специалистов.-
Тут такое дело. Для каждого отдельного анализа нет никакого выигрыша, если они получат какую-то часть событий раньше, чем все остальное. Скорее даже наоборот, обычно люди начинают работать с "неперспективными" событиями, чтобы оценить, какой фон будет для их сигнала, настроить критерии отбора не глядя на сигнал (слепой анализ). Ну и для каждого анализа эти перспективные и неперспективные события свои.
Но в принципе, как-то классифицировать события еще на раннем этапе может быть полезно. Например, если меня интересует процесс Bs->mu+mu-, то события с распадами B на адроны мне не нужны (и наоборот). Тогда можно обрабатывать только ту часть данных, в которых содержится пара мюонов и сэкономить время. Сейчас такая классификация делается при оффлайн-реконструкции. Возможно, после апгрейда этим будет заниматься HLT, есть такие планы.-
Скажите пожалуйста, а на каком этапе устраняется pile-up, то есть одно "макрособытие" делится на элементарные события с отдельными протонами? Правильно ли я понимаю, что ни на каком, так как он учитывается исследовательской группой при обработке данных?
-
В центральном трекере события с заряжеными частицами разделяются неплохо; вот например показательная картинка CMS с 78 восстановленными первичными вершинами: http://cms.web.cern.ch/news/reconstructing-multitude-particl
e-tracks-within-cms
Однако когда эти события накладываются друг на друга в калориметрах, уже не получится однозначно разделить их энерговыделение. Поэтому при обработке данных приходится либо использовать какие-то характеристики, которые к pile-up не слишком чувствительны, либо просто честно учитывать его при моделировании, т.е. при сравнении реальных данных со сгенерированными псевдоданными.
-
-
-
-
-
-
Из Вики
"Например, согласно расчётам 2008 года издания Clipper Notes[7], для поддержания в постоянном доступе архива размером 6,6 петабайт в течение 5 лет, стоимость дисковой системы (RAID-массивов, контроллеров, разветвителей, дисков, питания, охлаждения и пр.) составит 14,7 млн долларов."
Думаю идет рассматривание вариантов обеспечения сохранения данных, электронные общественные библиотеки например, это уже финансирование из других источников. ЦЕРН надо своими делами заниматься, а не думать как обеспечить сохранность результатов труда.
"Например, согласно расчётам 2008 года издания Clipper Notes[7], для поддержания в постоянном доступе архива размером 6,6 петабайт в течение 5 лет, стоимость дисковой системы (RAID-массивов, контроллеров, разветвителей, дисков, питания, охлаждения и пр.) составит 14,7 млн долларов."
Думаю идет рассматривание вариантов обеспечения сохранения данных, электронные общественные библиотеки например, это уже финансирование из других источников. ЦЕРН надо своими делами заниматься, а не думать как обеспечить сохранность результатов труда.
2 poluekt:
Перереконструкция дает нефильтрованные тригером высокого уровня данные? Если нет, то зачем ее делают? Ведь эти архивные данные уже были обработаны ранее?
Перереконструкция дает нефильтрованные тригером высокого уровня данные? Если нет, то зачем ее делают? Ведь эти архивные данные уже были обработаны ранее?
-
Нет, то, что не прошло через HLT, потеряно навсегда. Причин две - агоритмы реконструкции и калибровка детектора постоянно модернизируются, так что из одних и тех же сырых данных можно выудить чуть больше информации. Но основная причина - что данные для каких-нибудь новых анализов не содержатся в той выборке событий, которая доступна на дисках GRID, и нужно их заново отобрать.
Вопрос немного не по теме. Давно хотел спросить настоящего ученого - признает ли наука существование шаровых молний, и существуют ли работающие модели? Удалось ли воспроизвести явление в лабораторных условиях?
-
Да, конечно, это вполне себе природное явление. Моделей много, они вполне публикуются в нормальных журналах, есть даже большие обзорные статьи, проблема только в том, что непонятно, какая из них отвечает реальному природному явлению.
С воспроизведением есть напряги. С одной стороны, _что-то_ в лаборатории получить удается, и визуально это отчасти напоминает шаровые молнии. Вот я даже на Элементах как-то писал про эксперименты: http://elementy.ru/news/430102 . Но совершенно непонятно, является ли это тем же самым или нет. Видимо, пока что лабораторные условия в чем-то не ухватывают природные. Это, конечно, не является какой-то фундаментальной проблемой, просто масштабы и сложность в лабораторных условиях не та. В конце концов, грозовые облака никто в лабораторных условиях тоже не получал :) но это не значит, что в них надо сомневаться.-
То есть вы хотите сказать что существующие модели шаровой молнии требуют таких же громадных масштабов как и грозовое облако? А облака кстати насколько я знаю создавали в лабораториях.
А может быть ни одна из моделей не позволяет воссоздать явление потому что "новая физика"? Удивительно было бы найти "новую физику" не в коллайдере, а в самом что ни на есть банальном явлении, таком как шаровая смолния. Такое возможно в принципе?-
> То есть вы хотите сказать что существующие модели шаровой молнии требуют таких же громадных масштабов как и грозовое облако?
Я хочу сказать, что если какое-то природное явление еще не воспроизвели в лаборатории, это еще не повод не верить в его существование.
Новой физики — в том смысле, который в эти слова вкладывается в фундаментальной физике, — там не может быть. Точнее, вы конечно можете предположить, что есть какая-то вообще неведомая новая физика, но тогда вам на свалку придется выкинуть не только стандартные модели щаровой молнии, но и вообще всю физику. Это неконструктивно, ведь физика-то работает.
-
-
-
А существующие модели способны объяснить все свойства шаровой молнии? Я слышал что с этим есть проблемы.
-
-
Я Вас просто прошу понять меня, если вы разумный, честный человек. Меня просто удивляет, что мы можем создать миничерную дыру в коллайдере, строим модели нейтронных звезд, больших взрывов, струнных вселенных и прочих экзотических объектов, но при этом "не ухватываем" как "работает" шаровая молния.
Знаете, если вы не можете объяснить "более простое" явление, то как можно доверять более сложным теориям и моделям?-
Есть свидетельства некоторых людей, что линейную молнию сопровождает грохот колесницы Ильи-пророка. Поскольку в лабораторных молниях колесница не замечена, может мы и с обычной молнией не _все_ ухватываем?
При этом, недавно открытые эльфы, джеты и спрайты действительно являются новыми аспектами этого явления.-
Колесница Ильи-пророка: лабораторные молнии либо не похожи на реальные, либо рассеиваются практически мгновенно, хотя достоверно известно, что шаровая молния может жить как минимум несколько секунд.
))Вам не интересна главная цель науки - изучение природы. Мне с вами, извините, не о чем беседовать, ваш уровень - детский сад.
-
-
-
-
-
Видимо, нет, раз по этому поводу продолжаются споры. Но вообще-то ситуация, когда ни одна существующая модель не может объяснить ВСЕ наблюдаемые свойсва явления, совершенно стандартная и является естественным этапов развития облатси физики. В физике элементарных частиц это сплошь и рядом. Даже квантовая электродинамика не может объяснить ВСЕХ электродинамических эффектов, которые вроде как должны ею объясняться.
-
Я с вами согласен, но вам не кажется странным, что существует необъясненное явление на расстоянии вытянутой руки (не надо даже строить коллайдеры), которое может потенциально дать некие новые знания, возможно даже фундаментальные, и НИКТО этим не интересуется. Разве тот факт, что шаровую молнию не удалось создать в лаборатории не говорит о том, что мы имеем дело с чем-то интересным?
-
Да почему не интересуются? Вполне себе интересуются. Но это ж не значит, что пока не разобрались с шаровой молнией, никому нельзя изучать строение протона? Это была бы какая-то экстремистская точка зрения :)
Ну а выражать мое личное мнение, то этим плотно интересуются столь немногие просто потому, что подавляющее большинство физиков уверено, что это не есть что-то _фундаментально_ новое. Это не новые фундаментальные частицы, это не новые силы, не новые астрофизические эффекты. Это просто какой-то сложный физикохимический эффект из области атмосферного электричества. Им конечно было бы любопытно узнать истину, но свои умственные силы она хотят тратить на те вопросы, которые им лично кажутся гораздо более сложными и волнующими. Имеют право, не так ли?
-
-
Вопрос не ко не... но шаровую молнию я лично видел своими глазами. При этом рядом было ещё несколько человек, которые тоже видели парящий в воздухе шар. Ситуация: была страшной силы гроза, молния ударила так близко, что не было задержки перед громом (т.е. гром пришел одновременно со вспышкой, сотня метров). Т.е. персонально для меня вопрос решен однозначно. Детали не перескажу, т.к. наблюдали это в движении из окна машины в ливень. Даже в плане расстояния и размеров шара у нас нет общего мнения (мне шар показался втрое ближе и меньше, чем то же самое казалось всем остальным).
Доводилось слышать мнение, что шаровые молнии - явление чуть ли не более частое, чем обычные. Просто они тусклые, незаметные.
Доводилось слышать мнение, что шаровые молнии - явление чуть ли не более частое, чем обычные. Просто они тусклые, незаметные.
Шаровая молния - обычный плазмоид. Изучается и изучена в современной науке о плазмоидах. Но это явный оффтопик. При чем тут ЦЕРН. Такие вопросы сильно отвлекают от главной темы. Нельзя ли вести их в другом месте?
-
При чем тут ЦЕРН
Ну хотя бы при том, что обнаружение и изучение природных явлений тоже помогает физике. Нельзя сказать что все объяснено до конца, например до сих пор продолжается изучение атмосферных вихрей - смерчей, хотя вроде бы гораздо более изученная тема по сравнению с квантовой физикой.
Если это "обычный плазмоид", то почему не удалось даже близко создать аналог в лаборатории? Может быть не все так просто.-
Удавалось! Только не такие яркие экземпляры. Я точно Вам скажу, что сверхъестественного тут ничего нет. Это не продукт НЛО. Ионизированный воздух сильным разрядом молнии, только и всего! Лучше спросили бы это не у физиков с ЦЕРНа. Я бы на месте Игоря вообще закрыл бы эту ветку форума напрочь. Эта тема из разряда: профан спросил и озадачил мудреца!
-
Написать комментарий
Новости науки: физика
Новые измерения аномального магнитного момента мюона согласуются со Стандартной моделью
26.06 • Иван Логашенко
Тихий физик из Эдинбурга: памяти Питера Хиггса
15.04.2024 • Алексей Левин
Ядерный январь Эрнеста Резерфорда: как была раскрыта структура атома
29.01.2024 • Алексей Левин
Американский Комитет P5 определил приоритетные направления в физике элементарных частиц
22.12.2023 • Алексей Левин
Небольшая подборка результатов столкновений на LHC уже сейчас доступна всем желающим для просмотра и анализа. В ближайшем будущем ЦЕРН начнет постепенно открывать и остальные данные