Для любого сервера необходимо иметь возможность оперативно получить актуальное свежее программное обеспечение. Я расскажу, как настраивать список репозиториев в Debian - добавлять, удалять, редактировать разные repository в sources.list. Разберем внимательно эту тему, обратив внимание на различные нюансы, которые присутствуют, как и в любом другом деле.
На углубленном курсе "Архитектура современных компьютерных сетей" вы с нуля научитесь работать с Wireshark и «под микроскопом» изучите работу сетевых протоколов. На протяжении курса надо будет выполнить более пятидесяти лабораторных работ в Wireshark.
Данная статья является частью единого цикла статьей про сервер Debian.
Цели статьи
- Рассмотреть различные ветки официальных репозиториев.
- Подробно рассказать, как настраивать репозитории в debian.
- Показать на примере, как настроить локальный репозиторий.
- Составить список актуальных репозиториев для старых версий Debian.
Введение
В первую очередь расскажу, что такое репозиторий (repository) своими словами. В общем случае это место, где хранятся и поддерживаются какие-то данные. Применительно к операционным системам и конкретно к Debian, репозиторий - это файловый сервер, который хранит у себя пакеты для установки на операционную систему. Это могут быть как пакеты программ, так и обновлений для сервера в виде новых ядер, системных утилит и т.д.
Существуют repository не только для операционных систем, но и для программ. Там могут быть как уже скомпилированные и готовые к установке пакеты, так и исходные коды программных продуктов. Большинство репозиториев содержат готовые пакеты. Это относится и к стандартным репозиториям Debian.
Помимо официальных списков реп (транскрипция от сокращения repo), есть сторонние, которые поддерживают производители программ либо энтузиасты. Нужно внимательно относиться к сторонним репозиториям, не добавлять их бездумно. Там может располагаться любое ПО, в том числе не то, что заявлено изначально. Либо они могут быть взломаны для размещения вредоносных программ.
Управлением пакетами и работой с repository lists в Debian занимаются отдельные утилиты:
- apt
- apt-get
- synaptic
- aptitude и др.
В данной статье мы не будем рассматривать их отличия, так как это тема отдельного повествования. Все они работают со стандартным списком источников, который в общем случае располагается в /etc/apt/sources.list.
Если у вас еще не настроен сервер с Debian, рекомендую мои материалы на эту тему:
Список репозиториев в sources.list
Изначально, содержимое sources.list будет зависеть от того, какой источник для пакетов вы выбрали во время установки debian. К примеру, в моем случае для системы Debian 10 он выглядит следующим образом.
deb http://mirror.corbina.net/debian/ buster main deb-src http://mirror.corbina.net/debian/ buster main deb http://security.debian.org/debian-security buster/updates main deb-src http://security.debian.org/debian-security buster/updates main # buster-updates, previously known as 'volatile' deb http://mirror.corbina.net/debian/ buster-updates main deb-src http://mirror.corbina.net/debian/ buster-updates main
Для Debian 11 bullseye немного изменился формат записи для репозитория security. Теперь он выглядит так:
deb http://security.debian.org/ bullseye-security main
В общем случае файл sources.list имеет следующую структуру:
deb http://site.example.com/debian distribution component1 component2 component3 deb-src http://site.example.com/debian distribution component1 component2 component3
deb и deb-src | тип архива, бинарные пакеты (deb) или пакеты с исходным кодом (deb-src) |
http://site.example.com/debian | url репозитория |
distribution | псевдоним релиза (bullseye, buster, stretch и т.д.), либо класс релиза (stable, oldstable и т.д.) |
component | main, contrib или non-free набор пакетов |
Про псевдонимы релизов и наборы пакетов мы поговорим ниже более подробно в соответствующем разделе.
Помимо основного файла sources.list, репозитории могут располагаться в отдельных файлах в директории /etc/apt/sources.list.d. Формат файлов такой же, как и у основного. Обычно туда добавляют отдельно в каждый файл набор источников для какой-то определенной программы. Например, proxmox размещает в отдельном файле свой платный репозиторий.
# cat /etc/apt/sources.list.d/pve-enterprise.list deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise
Типы официальных репозиториев в Debian
Как я уже показал выше, в sources.list используются псевдонимы, либо классы релиза, а так же разные ветки наборов пакетов. С псевдонимами релизов все понятно. Они названы в честь персонажей мультфильма История игрушек (Toy story) - Wheezy, Jessie, Stretch, Buster, Bullseye и т.д. А вот насчет классов релизов поговорим отдельно. Существуют следующие официальные классы релизов Debian.
Stable
Стабильная ветка официального текущего релиза Debian. То есть это самая свежая и актуальная версия, которую рекомендуется использовать. Официальный репозиторий стабильной ветки содержит проверенный набор программ, зачастую не очень свежих версий. Это плата за надежность. В production рекомендуется использовать пакеты именно из репозитория stable.
В этом репозитории регулярно публикуются все актуальные обновления текущего релиза. Он формируется из ветки Testing, которая в момент релиза новой версии превращается в Stable.
Oldstable
Oldstable - кодовое имя предыдущего stable repository. Для этого репозитория выпускаются обновления безопасности. Ветка Oldstable формируется из Stable предыдущего релиза на момент публикации нового.
Testing
Testing содержит в себе текущее состояние разработки нового стабильного релиза. После его выхода, testing становится stable. Пакеты в testing попадают из репы unstable. В общем случае использовать репозиторий testing следует только для тестовых целей, чтобы посмотреть на новый релиз.
Для этого можно сделать чистую установку текущего релиза, затем изменить repo со stable на testing и обновиться. Вы получите свежую версию тестового релиза, который готовится к выпуску.
Unstable (sid)
Sid это repository с самым свежим программных обеспечением. Проблема только в том, что оно еще не протестировано достаточным образом для использования. Если вы точно уверены, что вам нужен новый софт и он не сломает вам систему, можете поставить его из unstable репозитория. Но в общем случае, делать это не рекомендуется.
Даже если софт из unstable не повредит работе системы, он может нарушить зависимости пакетов, так что потом может быть затруднительно вернуться на stable repo.
Experimental
Experimental repository содержит пакеты и утилиты, которые в данный момент только разрабатываются и находятся в состоянии alpha версии. Этот репозиторий предназначен только для разработчиков и тестировщиков. Если будете его использовать в рабочей системе, с большой долей вероятности, сломаете ее.
Backports
Backports repository выступает как некий компромисс между стабильностью основной ветки и свежим набором программ из ветки testing. Репозиторий backports содержит пакеты преимущественно из testing и немного из unstable (только для обновлений безопасности).
Пакеты из backports там, где это возможно, устанавливаются без новых библиотек, которых нет в стабильной версии. Это сделано, чтобы можно было с большей вероятностью опять вернутся на stable, в случае необходимости.
Если вам нужен софт из веток testing и unstable, лучше использовать backports. Репозиторий создан как раз для того, чтобы не прыгать между этими ветками.
Это все, что касается деления репозиториев по классам релизов. Есть еще небольшое разделение, которое явно нигде не описано и сразу не догадаешься, как оно работает и устроено.
Security updates
Существует отдельный репозиторий только для security updates. Добавить его можно следующим образом:
deb http://security.debian.org/debian-security bullseye-security main contrib non-free deb-src http://security.debian.org/debian-security bullseye-security main contrib non-free
Смысл этого repo в том, что сюда попадают только обновления безопасности и ничего другого. Вы можете настроить автоматическую установку пакетов из этого репозитория и не переживать о том, что что-то сломается. обновления сюда попадают максимально быстро после выпуска исправлений.
Stable-updates
Еще один отдельный репозиторий для установки пакетов через механизм stable-updates. Добавить его можно следующим образом.
deb http://deb.debian.org/debian bullseye-updates main deb-src http://deb.debian.org/debian bullseye-updates main
Через этот repository вы будете по мере выпуска получать обновления, которые готовятся к публикации в очередном обновлении релиза. Так называемые Point Releases - 10.1, 10.2 и т.д. Случаются они не часто, примерно раз в 2-3 месяца, но проверенные для них обновления можно получить ранее как раз с помощью stable-updates.
Ветки main, contrib, non-free
Каждый официальный репозиторий Debian имеет по 3 ветки:
- main состоит из DFSG-compliant пакетов, которым не требуется другое ПО из других источников. Эти пакеты считаются частью дистрибутива Debian. Они полностью свободны для любого использования.
- contrib пакеты так же содержат DFSG-compliant ПО, но их зависимости могут требовать дополнительное ПО, которое может быть в других источниках, например ветке non-free.
- non-free содержит все остальное ПО, которое не соответствует DFSG.
DFSG - Debian Free Software Guidelines, критерии Debian по определению свободного ПО. В любом случае, пакеты из всех трех веток main, contrib и non-free полностью протестированы и подготовлены для работы с дистрибутивом Debian.
Теперь, зная всю теорию по репозиториям в Debian, мы можем проанализировать файл sources.list, который мы получили после установки. В нем подключены 3 репозитория с ветками main.
deb http://deb.debian.org/debian bullseye main deb-src http://deb.debian.org/debian bullseye main
Это stable repo текущего релиза. Далее идет security repository для установки свежих обновлений безопасности.
deb http://deb.debian.org/debian-security/ bullseye-security main deb-src http://deb.debian.org/debian-security/ bullseye-security main
И в завершении stable-updates для получения стабильных обновлений до очередного Point Release текущего дистрибутива.
deb http://deb.debian.org/debian bullseye-updates main deb-src http://deb.debian.org/debian bullseye-updates main
Признаюсь честно, я много лет администрировал сервера с Debian, а до конца не понимал, что у меня записано в sources.list. Разобрался полностью только сейчас, когда писал статью. До этого просто копировал по привычке конфиги с репами. Догадывался о чем там речь, но точно не знал. Теперь восполнил пробел и поделился с вами информацией.
Добавить новый repository в debian
Теперь от теории перейдем к практике. Давайте вручную добавим новый репозиторий в Debian. К примеру, нам нужно установить на сервер стабильную версию MariaDB. Для этого добавим ее репозиторий. Это можно сделать либо в файле sources.list, но лучше создать отдельный в sources.list.d. Назовем его MariaDB.list.
deb [arch=amd64,arm64,ppc64el] http://mirror.mephi.ru/mariadb/repo/10.6/debian bullseye main deb-src http://mirror.mephi.ru/mariadb/repo/10.6/debian bullseye main
После подключения репозитория, надо добавить его gpg ключ.
# curl -LsSO https://mariadb.org/mariadb_release_signing_key.asc # chmod -c 644 mariadb_release_signing_key.asc # mv -vi mariadb_release_signing_key.asc /etc/apt/trusted.gpg.d/
Теперь обновим кэш пакетов. Это нужно делать каждый раз после подключения нового репозитория.
# apt update
Можно выполнить поиск пакета, чтобы убедиться, что новый репозиторий подключен.
# apt search mariadb-server
Как я уже говорил, для настройки нового репозитория, вы могли просто добавить эти же 2 строки с параметрами в sources.list напрямую. Разницы никакой нет.
Зеркало официального репозитория yandex mirror
В рунете популярен репозиторий Яндекса под названием Yandex.Mirror - https://mirror.yandex.ru. Это зеркало популярных дистрибутивов Linux, Freebsd и других проектов, в том числе и Debian. Работает по протоколам HTTP, FTP и rsync.
Зеркало Яндекс можно использовать как для обновления пакетов, так и загрузки iso образов. Образы последней стабильной версии Debian можно скачать отсюда - https://mirror.yandex.ru/debian-cd/current/amd64/. Для использования Yandex.Mirror в регулярных обновлениях Debian, приведите sources.list к следующему виду.
deb http://mirror.yandex.ru/debian bullseye main deb-src http://mirror.yandex.ru/debian bullseye main deb http://mirror.yandex.ru/debian bullseye-updates main deb-src http://mirror.yandex.ru/debian bullseye-updates main deb https://mirror.yandex.ru/debian-security bullseye-security main deb-src https://mirror.yandex.ru/debian-security bullseye-security main
Repository yandex mirror можно так же использовать для сетевой установки систем.
Sources List Generator (генератор списка репозиториев)
В интернете есть сервисы, которые автоматически формируют sources.list на основе ваших потребностей. Вы можете использовать как свой генератор, так и воспользоваться готовым.
Пример такого генератора, который вы можете установить себе и настроить для использования - debgen. Исходники раньше были на github, но потом пропали. А вот его готовая реализация с наполнением - https://debgen.simplylinux.ch/.
Я не знаю, кто ведет подобные List Generator и можно ли им доверять. Всегда проверяйте список репозиториев, который будет сгенерирован для вас. По сути, это обычный текстовый файл, который вы скопируете себе.
К примеру, я указал в List Generator, что мне надо подготовить список репозиториев со следующими параметрами:
- Репозиторий Stable
- Ветка main (просто отключил ветки contrib и non-free)
- Mirror - Russia
- Включить репозитории Security и Updates
- Добавить repo для софта - Docker, MariaDB, Nginx, NodeJS, Php, Webmin
В итоге получил вот такой sources.list
#------------------------------------------------------------------------------# # OFFICIAL DEBIAN REPOS #------------------------------------------------------------------------------# ###### Debian Main Repos deb http://ftp.ru.debian.org/debian/ stable main deb http://ftp.ru.debian.org/debian/ stable-updates main deb http://security.debian.org/ stable-security main #------------------------------------------------------------------------------# # UNOFFICIAL REPOS #------------------------------------------------------------------------------# ###### 3rd Party Binary Repos ###Docker CE deb [arch=amd64] https://download.docker.com/linux/debian bullseye stable ###MariaDB deb [arch=i386,amd64] http://mirror.23media.de/mariadb/repo/10.6/debian bullseye main deb-src [arch=i386,amd64] http://mirror.23media.de/mariadb/repo/10.6/debian bullseye main ###nginx deb [arch=amd64,i386] http://nginx.org/packages/debian/ bullseye nginx deb-src [arch=amd64,i386] http://nginx.org/packages/debian/ bullseye nginx ###NodeJs deb https://deb.nodesource.com/node_12.x bullseye main deb-src https://deb.nodesource.com/node_12.x bullseye main ###PHP deb https://packages.sury.org/php/ bullseye main ###Webmin deb http://download.webmin.com/download/repository sarge contrib
К нему еще список gpg ключей для импорта. В принципе, к списку у меня претензий нет. Все по делу. Нужно только проверить php и mariadb repository. Мне предложенные не знакомы.
В целом, я бы не рекомендовал использовать такие сервисы по генерации готовых списков. Я не вижу проблем, чтобы вручную все сделать и проконтролировать процесс.
Локальный репозиторий
Есть несколько способов создать локальный репозиторий Debian. Из того, что я пробовал, самым простым и удобным мне показался apt-mirror, но у него есть один баг, если его использовать как зеркало официальных репозиториев. Он не качает переводы в формате .gz и.xz, только .bz2. В итоге, когда будете использовать локальный репозиторий в качестве зеркала официального, получите ошибку:
File not found updates/main/i18n/Translation-en (2: No such file or directory)
Другой простой вариант - использовать reprepro. Я не буду подробно останавливаться на настройке локального репозитория для Debian, так как это отдельная тема. По хорошему, репозиторий надо подписать gpg ключом, опубликовать с помощью http или ftp, может еще как-то. Я только кратко покажу, как это делается, чтобы вы понимали, что это вообще такое. А если реально нужен будет локальный репозиторий, вы без проблем найдете его подробную настройку. Там нет ничего сложного.
Установим reprepro.
# apt install reprepro
Дальше создаем каталог для локального репозитория и конфиг.
# mkdir -p /mnt/repo/debian/conf # touch /mnt/repo/debian/conf/distributions
Конфиг делаем примерно следующего содержания.
Codename: bullseye Suite: stable Version: 11.x Origin: Debian Label: Debian 11.x Description: Debian Stable Updates Repository Architectures: amd64 source Components: main DebIndices: Packages Release . .gz .bz2 DscIndices: Sources Release . .gz .bz2 Contents: . .gz .bz2
Выполняем инициализацию репозитория.
# cd /mnt/repo/debian # reprepro export # reprepro createsymlinks
Теперь можно добавлять пакеты в локальный репозиторий следующей командой.
# reprepro -b /mnt/repo/debian --ask-passphrase includedeb bullseye /home/package.deb
Для того, чтобы подключить локально новый репозиторий, его нужно добавить в sources.list.
deb [trusted=yes] file:/mnt/repo/debian bullseye main
После этого выполняете обновление кэша пакетов и увидите в списке репозиториев свой локальный.
Архив репозиториев для старых версий
В официальном репозитории Debian располагаются пакеты для текущего релиза (stable), для прошлого релиза (oldstable) и для будущего релиза (testing). Для всех старых релизов репозитории отправляются в архив - http://archive.debian.org/debian/, который заморожен. Обновлений к релизам из архива больше нет. Но если вам по какой-то причине нужен репозиторий для старой версии Debian, вы можете им воспользоваться.
Ниже представляю готовые настройки репозиториев для прошлых версий.
Debian 9 stretch
Репозитории Debian 9 stretch пока еще находятся в основных репозиториях:
deb http://deb.debian.org/debian stretch main deb-src http://deb.debian.org/debian stretch main deb http://deb.debian.org/debian-security/ stretch/updates main deb-src http://deb.debian.org/debian-security/ stretch/updates main deb http://deb.debian.org/debian stretch/updates main deb-src http://deb.debian.org/debian stretch/updates main
В скором времени они тоже переедут в архив. Случится это в июне 2022 года, когда кончится период длительной поддержки. Тогда их можно будет подключить по следующим адресам:
deb http://archive.debian.org/debian/ stretch main non-free contrib deb-src http://archive.debian.org/debian/ stretch main non-free contrib deb http://archive.debian.org/debian-security/ stretch/updates main contrib deb-src http://archive.debian.org/debian-security/ stretch/updates main contrib
Debian 8 jessie
Репозитории Debian 8 jessie:
deb http://archive.debian.org/debian/ jessie main non-free contrib deb-src http://archive.debian.org/debian/ jessie main non-free contrib deb http://archive.debian.org/debian-security/ jessie/updates main contrib deb-src http://archive.debian.org/debian-security/ jessie/updates main contrib
Debian 7 wheezy
Репозитории Debian 7 wheezy:
deb http://archive.debian.org/debian/ wheezy main non-free contrib deb-src http://archive.debian.org/debian/ wheezy main non-free contrib deb http://archive.debian.org/debian-security/ wheezy/updates main contrib deb-src http://archive.debian.org/debian-security/ wheezy/updates main contrib
Debian 6 squeeze
Репозитории Debian 6 squeeze:
deb http://archive.debian.org/debian/ squeeze main non-free contrib deb-src http://archive.debian.org/debian/ squeeze main non-free contrib deb http://archive.debian.org/debian-security/ squeeze/updates main contrib deb-src http://archive.debian.org/debian-security/ squeeze/updates main contrib
Возможные ошибки
Рассмотрим наиболее популярные ошибки, которые возникают при добавлении и обновлении репозиториев.
Репозиторий не содержит файла Release
Текст ошибки, по идее, дает готовый ответ. В репозитории нет обязательного файла Release. Но суть в том, что он скорее всего есть. Дело тут чаще всего в том, что вы добавили к себе репозиторий, который не содержит указанной вами ветки. К примеру, вы добавили репозиторий в дистрибутив Buster, а в репозитории нет поддержки этого дистрибутива. Предыдущие есть, а этого нет.
Ровно эту же ошибку вы получите, если будете использовать старую, снятую с поддержки версию Debian. В какой-то момент стандартные репозитории перестанут поддерживать вашу версию дистрибутива и вы получите ошибку. Вам надо будет либо обновляться до более свежей версии, либо использовать архивные репозитории.
Заключение
Постарался собрать весь материал, который касается настройки репозиториев в Debian в одном месте. Если есть какие-то ошибки или неточности, а так же дополнения, прошу сообщить в комментариях. Писал все сам, нигде не переводил у других и не копировал. Постарался раскрыть тему своими словами максимально понятно.
Напоминаю, что данная статья является частью единого цикла статьей про сервер Debian.
Научиться настраивать MikroTik с нуля или систематизировать уже имеющиеся знания можно на углубленном онлайн-курcе по администрированию MikroTik. Автор курcа – сертифицированный тренер MikroTik Дмитрий Скоромнов. Более 40 лабораторных работ по которым дается обратная связь. В три раза больше информации, чем в MTCNA.
Столкнулся с проблемой.
Есть возможность для apt указать 2 одинаковых репозитория?
Задача - получить failover средствами ОС на случай, если репозитарий недоступен.
Если указать 2 одинаковых зеркала - apt сыплетошибками. yum умеет искаропке в такое, а с apt чота не могу инфу накопать.
Хорошая полезная многоохватывающая статья.
благодарю за материал
"Вы можете использовать HTTPS-загрузки. Вам просто нужно найти зеркало, которое поддерживает его, и поместить его URL в список источников. Вам нужно будет установить apt-transport-https пакет.
Debian не облегчает загрузку HTTPS, потому что это дает очень мало преимуществ. В дистрибутив Debian уже включен механизм проверки пакетов: все пакеты подписаны с помощью GPG . Если активный посредник перенаправит ваш трафик на сервер с поврежденными пакетами, повреждение будет обнаружено, поскольку подписи GPG не будут действительными. Преимущество использования GPG вместо HTTPS заключается в том, что он защищает от большего количества угроз: не только от активного посредника в соединении конечного пользователя, но также от мошеннического или зараженного зеркала или других проблем в любом месте цепочки распространения пакетов.
HTTPS обеспечивает небольшое преимущество конфиденциальности в том, что скрывает загруженные вами пакеты. Однако пассивный наблюдатель все еще может обнаружить трафик между вашим компьютером и сервером пакетов, поэтому он будет знать, что вы загружаете пакеты Debian. Они также могут получить хорошее представление о том, какие пакеты вы загружаете из файлов разного размера".
Источник: https://qastack.ru/unix/90227/why-there-is-no-https-transport-for-debian-apt-tool
Это может пригодится для защиты от утечки данных (в т.ч. метаданных), обход ограничений к свободному ПО, приватность и разное другое.
https://habr.com/ru/post/307208/
На официальном источнике также присутствует информация по настройке TOR + apt, CD-ROM + apt:
https://wiki.debian.org/ru/SourcesList
Возможно, что кому-то пригодится.
Спасибо за информацию. Впервые слышу о работе с репозиториями через tor. Не очень понимаю, в чём тут смысл и зачем это может быть нужно.
Спасибо
6 дебиан не видит это зеркало штож делать нужен самый минимальный дебиан но и этот походу не поддержиается ? а ?
Спасибо Владимир! можете подсказать как добавить репозиторий c ftp сервера.
с 10 версии debian как я понял ftp метод отключен по умолчанию и не понятно как включить.
Вообще, впервые слышу, что ftp отключен. Правда я и не использую ftp очень давно. Протокол явно уходит в небытие и есть много замен для него.
В списке реп на офф. сайте debian все ссылки на ftp - https://www.debian.org/mirror/list Я проверил, эти ftp работают. Мне кажется, вы что-то путаете. Не похоже, что ftp протокол отключили в репозиториях.
в локальной сети стоит debian 10, что бы устанавливать иногда пакеты на локальном компе подключаю диск со скаченым через apt-mirror содержимым и расшариваю через Filezilla.
в /etc/sources.list
deb ftp://user:123@ип/*** buster main
приходит ответ: метод "ftp" не поддерживается и по умолчанию отключен *** что бы снова включить установите параметр Dir::Bin::Methods::ftp
с 7 дебианом работало прекрасно.
Для поднятия своей репы ещё очень хорошо подходит aptly
Спасибо за инфу. Вообще, программ для этого очень много. Я сам несколько пробовал.
Спасибо Владимир! Очень познавательная информация, написано доступно даже новичку (коим я и являюсь) и хоть дебиан стоит дома на локалхосте и админом я не являюсь Ваши статьи помогают разбираться в мире Линукс
Зачастую, эту информацию не знают не только новички, но опытные администраторы. Она вроде как не очень важная, но для целостной картины настройки системы все равно нужна. Я пока не написал эту статью, не понял, что только для обновлений безопасности есть отдельный репозиторий. Это очень удобно.