Геномное сжатие и потоковая передача данных по международному стандарту ISO/IEC 23092 (MPEG-G)
Стандартизированная компрессия геномных данных MPEG-G (ISO/IEC 23092), уменьшающая размер NGS-файлов на 70% с поддержкой пофрагментного чтения.
1 · Что даёт
Международный стандарт ISO/IEC 23092 (MPEG-G) представляет собой первый глобальный открытый стандарт представления, сжатия, потоковой передачи и обработки геномных данных, решающий проблему колоссальных объемов хранения информации в прецизионной медицине. Секвенаторы нового поколения (NGS) и популяционные геномные проекты генерируют петабайты сырых несжатых файлов FASTQ, BAM и VCF ежегодно. Устаревшие форматы страдают от критических недостатков: гигантских размеров файлов, низкой скорости распаковки, отсутствия прямого индексированного доступа (для анализа одного гена приходится скачивать сотни гигабайт) и полного отсутствия встроенной криптографической защиты.
Разработанный экспертами MPEG и биотехнологическими лидерами (швейцарская компания GenomSys), стандарт MPEG-G использует энтропийное сжатие на основе генома сравнения, расслоение потоков данных и координатное индексирование. MPEG-G обеспечивает 10-кратное сжатие по сравнению с несжатыми файлами BAM и более чем 2-кратное превосходство над современным форматом CRAM без малейшей потери качества прочтений или координат выравнивания. Ключевое преимущество MPEG-G — встроенная поддержка потоковой передачи по протоколу HTTP/REST, позволяющая клиницистам мгновенно обращаться к отдельным экзонам за миллисекунды. Встроенное шифрование AES-256 обеспечивает соблюдение законов о защите персональных данных (152-ФЗ, GDPR).
Ключевыми направлениями данной технологии являются:
- Сжатие на основе референсного генома: Разделение геномных прочтений на изолированные потоки (координаты, различия, качество) со статистическим арифметическим кодированием (CABAC).
- Мгновенный произвольный доступ и стриминг: Встроенные таблицы индексирования, позволяющие считывать фрагменты хромосом без полной распаковки многогигабайтного файла.
- Криптографическая защита и избирательное шифрование: Ролевое шифрование блоков данных (например, сокрытие идентифицирующих фрагментов ДНК) с цифровыми водяными знаками.
- Совместимость с классическими форматами (FASTQ/BAM): Высокоскоростные многопоточные конвертеры для двустороннего перевода legacy-файлов в контейнеры MPEG-G.
Отраслевая цепочка создания стоимости#
[Сырые файлы секвенатора (FASTQ)] ──> [Компрессор на основе референса MPEG-G] ──> [Защищенный контейнер (.mpgg)]
│
(Выборочный облачный стриминг)
│
▼
[Клинический отчет о мутациях] <─── [Мгновенный запрос по координатам ДНК] <──────────────────┘
Уровни цепочки создания стоимости#
| Уровень | Описание | Ключевые входы/выходы |
|---|---|---|
| Прием данных секвенирования | Параллельная загрузка парноконцевых файлов FASTQ напрямую с секвенаторов Illumina, MGI или PacBio. | Вход: Сырые файлы FASTQ, метрики качества Phred. Выход: Структурированные блоки прочтений для картирования. |
| Референсное выравнивание | Скоростное картирование на референсный геном человека (GRCh38) с выделением координат и мутаций. | Вход: Блоки прочтений, референсный геном человека. Выход: Картированный поток данных, расслоенный по уровням. |
| Классификация и квантование потоков | Разделение на 6 логических потоков: позиции, спаренность, последовательность, сигары, шкалы качества и метаданные. | Вход: Картированные прочтения, правила квантования. Выход: Структурированные уровни геномных данных. |
| Арифметическое энтропийное кодирование | Сжатие каждого потока специализированными энтропийными кодерами, адаптированными к статистике ДНК. | Вход: Потоки данных, статистические таблицы энтропии. Выход: Высокосжатые бинарные элементарные потоки MPEG-G. |
| Сборка контейнера и индексирование | Упаковка сжатых потоков в контейнер ISO/IEC 23092 с созданием мастер-индекса и сертификатов шифрования. | Вход: Элементарные потоки, геномный индекс, ключи. Выход: Защищенный индексированный файл контейнера (.mpgg). |
| Выборочный стриминг в клинику | Передача отдельных геномных координат (например, локуса BRCA1) в клинические базы данных за миллисекунды по REST/HTTP. | Вход: Контейнер MPEG-G, запрос координат локуса. Выход: Точечный поток данных для врача-генетика. |
Сквозные технологии сектора:
- Контекстно-адаптивное бинарное арифметическое кодирование (CABAC): Высокоэффективное статистическое сжатие, достигающее теоретического предела энтропии шкал качества.
- Интероперабельность со стандартами HL7 FHIR и CDISC: Бесшовная передача геномных метаданных MPEG-G в медицинские информационные системы (МИС) и электронные карты.
- Аппаратное ускорение на GPU и AVX-512: Параллельные алгоритмы сжатия, обрабатывающие геномные данные со скоростью генерации данных секвенатором.
2 · Что заменяет 3 · подобрано по отрасли
| D2E– | Выпуск полезных насекомых дронами (трихограмма, Cotesia, хищные клещи) вместо обработок инсектицидами Заменяет: Обработки инсектицидами против гусениц и клещей и ручной пеший выпуск естественных врагов (узкое место по трудозатратам для … | MACRO |
| D3E2 | Геномная селекция в молочном скотоводстве вместо оценки быков по качеству потомства Заменяет: Оценка по потомству — отбор быков для искусственного осеменения только после получения данных о надоях дочерей (5–6 лет на быка и большие … | BREED |
| D3E– | Сельскохозяйственные дроны-опрыскиватели вместо ранцевого опрыскивания и пилотируемой авиахимической обработки Заменяет: Ручное ранцевое опрыскивание, тракторное опрыскивание на небольших или переувлажнённых полях и обработка с пилотируемых самолётов/вертолётов | EAC |
3 · Как внедрить 4 шагов
- 1Энтропийное и дифференциальное кодирование MPEG-GСжатие нуклеотидных последовательностей, оценок качества и координат выравнивания в синхронизированные контейнеры.
- 2Мгновенный произвольный доступ и потоковая передача участковВозможность выборочного чтения локуса гена размером в несколько пар оснований из облака без скачивания всего файла.
- 3Встроенное шифрование и цифровая подпись контейнеровАппаратная поддержка шифрования AES-256 и проверка целостности данных непосредственно на уровне формата.
- 4Бесшовный конвертер архивных данных (BAM/CRAM в MPEG-G)Пакетная трансформация накопленных петабайтных архивов секвенирования в формат MPEG-G без потери качества.
4 · Кто поставит
Подобранные поставщики (подобраны автоматически)
| Rev Genomics | США | Производитель | работает |
| Fumakilla Malaysia Berhad | Малайзия | Наука / R&D | работает |
| Genus | Великобритания | Дистрибьютор | работает |
| Perimeter Systems (ex-Ginkgo Biosecurity) | США | Услуги / консалтинг | работает |
| Farmship | Япония | Наука / R&D | работает |
| Biofuel Technology A/S | Дания | Производитель | работает |
| Archisen | Сингапур | Оборудование | работает |
| Texchem Sustainable Sdn. Bhd. (Formerly known as Texchem Polymers Sdn. Bhd.) | Малайзия | Наука / R&D | работает |
Ведущие компании и институты (из обзора)
| Компания / институт | Страна | Ключевые продукты / платформы | Технологические особенности | Статус 2026 |
|---|---|---|---|---|
| GenomSys | 🇨🇭 Швейцария | Пакет MPEG-G Suite | Швейцарский пионер и главный разработчик международного стандарта ISO/IEC 23092; сертификация CE-IVD | commercial |
| Illumina | 🇺🇸 США | Платформа DRAGEN™ | Мировой лидер в области секвенирования, внедряющий аппаратное ускорение сжатия геномных данных | commercial |
| BGI Group / MGI | 🇨🇳 Китай | Системы хранения геномных данных | Ведущий производитель секвенаторов, внедряющий стандартизированные форматы компрессии данных | commercial |
| Sophia Genetics | 🇨🇭 Швейцария / 🇺🇸 США | Платформа SOPHIA DDM™ | Облачная платформа прецизионной медицины, использующая компактные геномные форматы для онкологии | commercial |
| DNAstack | 🇨🇦 Канада | Облачные сети обмена биоданными | Разработчик распределенных геномных сетей и стандартизированных API для глобального поиска мутаций | commercial |
| Velsera (Seven Bridges) | 🇺🇸 США | Биоинформатическая платформа Seven Bridges | Масштабируемые облачные пайплайны обработки петабайтных массивов геномной информации | commercial |
| DNAnexus | 🇺🇸 США | Прецизионная платформа здоровья | Облачная платформа управления крупнейшими мировыми геномными хранилищами (UK Biobank) | commercial |
5 · Правила и путь на рынок
на каждую партию (ветеринарный и фитосанитарный контроль)
Информация, не юридическая консультация — уточните процедуру для вашего продукта. (2026-10-06)
США
Облачные платформы NIH, интеграция с Broad Institute и стандарты FDA#
- Интеграция с облаками NIH: Внедрение инструментов MPEG-G в национальные репозитории AnVIL и Terra, хранящие петабайты геномов человека.
- Стандарты биоинформатики: Совместные проекты Broad Institute и производителей секвенаторов по интеграции формата в пайплайны GATK.
- Защита генетической тайны по HIPAA: Применение избирательного шифрования коммерческими лабораториями для соблюдения приватности пациентов.
Евросоюз
Швейцарское лидерство (GenomSys), Horizon Europe и инициатива 1+ Million Genomes#
- Швейцарский пионер GenomSys: Компания из Лозанны возглавляет коммерциализацию стандарта с сертифицированным пакетом ПО CE-IVD.
- Инициатива ЕС «1+ миллион геномов»: Использование стандартов ISO/IEC 23092 для трансграничного обмена медицинскими геномными данными в ЕС.
- Соответствие регламенту GDPR: Встроенные механизмы шифрования и выборочного доступа, отвечающие жестким европейским нормам защиты данных.
Китай
14-я пятилетка больших данных, геномика BGI/MGI и национальные банки#
- Национальный генбанк Китая (CNGB): Внедрение формата MPEG-G в Шэньчжэне для хранения и обработки миллионов геномов населения и агрокультур.
- Аппаратная поддержка в секвенаторах MGI: Интеграция микросхем сжатия стандарта ISO/IEC 23092 напрямую в приборы DNBSEQ.
- Биоинформационный суверенитет: Создание отечественных китайских программных пакетов для суверенных популяционных генетических баз.
6 · Финансирование: тендеры и гранты
Сейчас нет подходящих открытых тендеров и грантов.
7 · Технологический стек
- Многопоточное расслоение данных ISO/IEC 23092:
- Разделение прочтений на 6 элементарных потоков: координаты, замены, шкалы качества, последовательности, флаги и метаданные.
- Специализированные вероятностные модели превосходят универсальные компрессоры gzip/bzip2 более чем на 500%.
- Синхронизационные маркеры обеспечивают параллельную обработку на 64+ процессорных ядрах без блокировок.
- Динамический произвольный доступ по координатам ДНК:
- Иерархические индексные таблицы связывают интервалы хромосомных координат напрямую с байтовыми смещениями в файле.
- Запрос к отдельному экзону (например, локусу chr7:140,453,136) выполняется менее чем за 10 миллисекунд по сети.
- Полностью устраняет необходимость линейной распаковки гигабайтных массивов, характерную для файлов BAM и CRAM.
- Избирательное криптографическое шифрование (Часть 3):
- Аутентифицированное шифрование AES-256-GCM, применяемое к отдельным слоям или блокам информации.
- Позволяет клиницисту исследовать соматические мутации в опухоли, криптографически маскируя идентифицирующие мутации пациента.
- Полное соответствие требованиям Федерального закона № 152-ФЗ и регламента GDPR в части работы с персональными биоданными.
Источники 1 · 0 независимых · 1 сайтов производителей
Сайты производителей 1
- www.swissbiotech.org производитель проверено 2026-11-22