1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - коммерческий форумный движок от бывших создателей vBulletin, написанный на PHP.

Заливка вложений в облачные хранилища

Тема в разделе "Основные вопросы по XenForo", создана пользователем Flanker, 23.08.2013.

Загрузка
?

Хотели бы Вы хранить вложения в Cloud Storage'ах?

  1. Да, это удобно

    73,1%
  2. Возможно

    15,4%
  3. Однозначно нет (напишу почему в комментариях)

    3,8%
  4. Другой ответ (напишу в комментариях)

    7,7%
  1. Flanker

    Flanker Местный

    Регистрация:
    19.05.11
    Сообщения:
    155
    Симпатии:
    27
    Версия XF:
    1.2.2
    Есть форум.

    На нём очень много файлов грузится во вложения. Файлы разные: фото, архивы, офисные документы и т.д. Заливка файлов на обменники или сторонние ресурсы не приветствуется, т.к. файлы удаляются, ссылки бьются.
    Таким образом, папка internal_data весит уже около 3ГБ, это создаёт дискомфорт при бекапе и переносе.

    Есть ли хаки, которые позволяют хранить вложения в Amazon S3, Selectel Storage, Clodo Storage, Google Cloud Storage, Google Drive, Яндекс.Диск и др.?

    Во-первых, это облегчит бекап форума.
    Во-вторых, при переездах будет легче.
    В-третьих, данные будет в бо́льшей сохранности.
     
  2. infis

    infis Местный

    Регистрация:
    27.06.11
    Сообщения:
    5 966
    Симпатии:
    3 548
    Версия XF:
    1.5.9
    Кстати, тоже интересовался этим вопросом. Ничего подходящего не нашел. Ни в качестве облачного хранилища, ни интеграции с ним.
    Тут есть одна проблема - необходимо учитывать непубличность вложений. Т.е. вложения ведь могут быть закрыты от гостей, а при размещении их в облачных хранилищах придется отказываться от такой закрытости. Обеспечить доступность вложений, хранящихся в облачных хранилищах, согласно правам пользователей является главным препятствием, ИМХО.
    Если речь будет идти не о вложениях, а о ссылках на картинки, то будет значительно проще. Можно даже будет написать свой плагин по аналогии с MetaMirror, только он будет не на сервер копировать файлы, а на свое облачное хранилище. В общем тогда появляются варианты :)
    --- добавлено : 23 авг 2013 в 02:28 ---
    Я вот свои фото храню на smugmug. Хороший сервис, но только на английском языке. У него, кстати, есть очень дешевый вариант хранения изображений на амазоне. Видимо, они как партнеры работают. Так вот если через smugmug покупать дополнительное место на амазоне, то там стоимость хранения получается - копейки, ну за трафик еще не много. Стоимость на порядок дешевле, чем покупать напрямую амазоновское хранилище. При этом при размещении фотографий они автоматом загружаются на амазон. В общем там все прозрачно для пользователя происходит.
    Теоретически можно использовать эту связку (smugmug+amazone) для дешевого хранилища. Там не очень удобная будет загрузка через php, но вполне реализуема.
     
    Последнее редактирование модератором: 30.08.2013
    Flanker нравится это.
  3. Flanker

    Flanker Местный

    Регистрация:
    19.05.11
    Сообщения:
    155
    Симпатии:
    27
    Версия XF:
    1.2.2
    Лично для меня эта непубличность вложений не особо важна.
    Но даже такого хака до сих пор не появилось.

    А с непубличностью всё равно можно что-то придумать. На вложении ведь можно сделать не прямую ссылку на скачку, а какую-нибудь внутреннюю ссылку, при клике на неё проверяются права пользователя на скачивание, хеш прикрутить в конце-концов.

    Но почему-то никто ещё не написал такого. А ведь это очень удобно, такой бы хак можно смело продавать за $.
    --- добавлено : 23 авг 2013 в 02:41 ---
    С изображениями ещё можно мягко обойти (по моему мнению). Делаем отдельный поддомен с img.sitename.com, ставим туда CMS-ку для загрузки изображений. В настройках форума запрещаем грузить во вложения изображения, в вылетающем алерте об запрещённых файлах или рядом с кнопочкой "Загрузить файл" вешаем ещё 1 кнопочку "Загрузить изображение" с ссылкой на наш img-хостинг.

    Как только img-хостинг набивается до приличного размера, то переносим его куда-нибудь в Storage и редиректим через CNAME. Получаем файлы в облачном хранилище и не битые ссылки. Делаем второй поддомен img2.sitename.com и всё по кругу снова.

    Но всё равно это некрасивый способ, хочется чтобы грузилось всё в одном месте, чтобы не надо было куда-то ходить. Плюс вложения...
     
    Последнее редактирование модератором: 30.08.2013
  4. Yoskaldyr

    Yoskaldyr Пользователь

    Регистрация:
    27.09.10
    Сообщения:
    1 921
    Симпатии:
    1 163
    Версия XF:
    1.0.4
    Был хак для 1.1 позволяющий организовать хранение вложений на облачных хранилищах - единственное что вообще не помню названия...
    Вообще-то инкрементальный бекап даже форума на 300гиг занимает не больше минуты. А переезд с сервера на сервер вообще-то редко бывает.
     
    Oleg-2012 нравится это.
  5. Oleg-2012

    Oleg-2012 Местный

    Регистрация:
    21.04.12
    Сообщения:
    700
    Симпатии:
    297
    Есть, но он платный: [bd] Attachment Store

    Некоторые возможности плагина [bd] Attachment Store:

    - Возможность хранения вложений в директории data Вашего форума;
    - Возможность хранения вложений на Amazon S3 (+CloudFront);
    - Возможность хранения вложений на удалённом FTP сервере;
    - Инструмент для переноса существующих вложений;
    - И другое.
     
    Mirovinger нравится это.
  6. Yoskaldyr

    Yoskaldyr Пользователь

    Регистрация:
    27.09.10
    Сообщения:
    1 921
    Симпатии:
    1 163
    Версия XF:
    1.0.4
  7. Flanker

    Flanker Местный

    Регистрация:
    19.05.11
    Сообщения:
    155
    Симпатии:
    27
    Версия XF:
    1.2.2
    Хм, а вот FTP уже интересно. У Selectel Storage есть возможность заливать через FTP. Кажется, это то что нужно. Ещё бы увидеть как работает конкретно в FTP варианте.
    P.S. Если кто желает совместно купить велкам в ЛС :)
     
    Последнее редактирование: 23.08.2013
  8. Oleg-2012

    Oleg-2012 Местный

    Регистрация:
    21.04.12
    Сообщения:
    700
    Симпатии:
    297
    А меня очень сильно заинтересовал инкрементальный бекап, как такое реализовать ?

    В ISPmanager можно сделать ?

    Или это нужно устанавливать какое-то ПО ?

    У меня хостер предоставил 15 гигов на ftp, папка internal_data что-то тоже разрослась, весит уже более четырёх гиг, я раз в две недели на ftp-сервер делаю бекап всех сайтов на VDS (Поставил в кроне ISPmanager) и сам бекап занимает уже более 6-ти гигов, так, что инкрементальный бекап,
    мне-бы не повредил...
     
  9. Yoskaldyr

    Yoskaldyr Пользователь

    Регистрация:
    27.09.10
    Сообщения:
    1 921
    Симпатии:
    1 163
    Версия XF:
    1.0.4
    rsync - хорошо умеет.
    Хорошая и удобная обертка для бекапа через rsync и многое другое - backupninja
     
    Oleg-2012 нравится это.
  10. Flanker

    Flanker Местный

    Регистрация:
    19.05.11
    Сообщения:
    155
    Симпатии:
    27
    Версия XF:
    1.2.2
    Другое дело, что на обычном шареде с ISPManager этим не воспользуешься. А у него, как я понял, именно это.
     
  11. Oleg-2012

    Oleg-2012 Местный

    Регистрация:
    21.04.12
    Сообщения:
    700
    Симпатии:
    297
    Нет у меня VPS, я для удобства взял уже предустановленную систему CentOS5+ISPmanager+базовый набор приложений, я новичок в этом, в начале было тяжело настраивать, но техподдержка хостера оказалась на высоте, в этоге более-менее получилось настроить...

    Yoskaldyr спасибо за советы, попробую настроить ! :)
     
  12. Flanker

    Flanker Местный

    Регистрация:
    19.05.11
    Сообщения:
    155
    Симпатии:
    27
    Версия XF:
    1.2.2
  13. stanlee

    stanlee Местный

    Регистрация:
    13.03.11
    Сообщения:
    12
    Симпатии:
    3
    Может кто нибудь поделиться свежей версией Attachment Store?
     
  14. adder

    adder Местный

    Регистрация:
    08.10.10
    Сообщения:
    1 164
    Симпатии:
    846
    Версия XF:
    1.3.4
    @stanlee читайте правила, у нас варез запрещён :)
     
  15. stanlee

    stanlee Местный

    Регистрация:
    13.03.11
    Сообщения:
    12
    Симпатии:
    3
    можно же и в личку наводку кинуть
     
  16. adder

    adder Местный

    Регистрация:
    08.10.10
    Сообщения:
    1 164
    Симпатии:
    846
    Версия XF:
    1.3.4
    @stanlee увы, но и за варез в ЛС мы накажем если узнаем :)
     
  17. vlady

    vlady Местный

    Регистрация:
    05.01.14
    Сообщения:
    61
    Симпатии:
    14
    Версия XF:
    1.4.3
    Конкретно с Селектелом прекрасно работает. Один форум запускал изначально с этим адд-оном, другой - около 150 тыс вложений, которые сейчас переношу.
    Если есть вопросы - задавайте, отвечу.

    P.S. @stanlee, если ваш форум не зарабатывает столько, чтобы вы могли купить этот хак, то значит, он вам не нужен.
     
  18. Exile

    Exile Местный

    Регистрация:
    27.06.11
    Сообщения:
    997
    Симпатии:
    545
    Версия XF:
    1.4.4
    vlady, в чем преимущества хранения на стороннем сервере вообще? Я понимаю поднять свой cdn, cloudflare сверху нацепить с большим временем кеша, но хранить аттачи на совсем стороннем сервере, да еще и отдавать их туда по устаревшему протоколу? Ну разве что у вас там фильмы прикреплены к сообщениям и трафика не хватает.

    Не то чтобы я совсем не понимал, у меня был ресурс (хостинг изображений) пару лет назад и вопросы организации cdn стояли действительно остро, в итоге все было решено через rsync на два сервера разноудаленных, но тогда еще не знал про тот же самый cloudflare, с помощью которого сейчас все эти вопросы решаются крайне просто, как по мне - в случае с картинками вам по сути всего 1 раз ее надо отдать кеширующим серверам облака и не более того.

    Но какова цель хранения форумных вложений на стороннем сервере? Их суммарный объем? Средний размер и тип одного файла? Просто как по мне - пальба из пушки по воробьям. В случае именно с вложениями, про картинки речи нет, но там сейчас и решается все куда как проще.
     
  19. vlady

    vlady Местный

    Регистрация:
    05.01.14
    Сообщения:
    61
    Симпатии:
    14
    Версия XF:
    1.4.3
    В первую очередь, в в стоимости хранения. Она существенно ниже, чем аренда дедика с таким же объемом дисков + его администрирование.

    Если много денег, можете и собственный ДЦ открыть - тогда он гарантированно не будет сторонним. ))

    Можно хранить хоть на Амазоне и лить туда по амазоновскому API - такую возможность этот хак дает. Что же касается загрузки на FTP - это делается без тормозов для пользователя. Сначала картинка хранится локально и затем по крону перемещается в хранилище. Не вижу в этом никаких сложностей.

    ...и однажды обнаружить, что IP вашего сайта заблокирован Россвязьнадзором, потому что Алексей Навальный тоже воспользовался этим чудесным ресурсом. Спасибо за совет, но я уже прочувствтвал заботу государства на себе и поэтому больше никаких cloudflare.

    У меня порядка 300 тысяч вложений, преимущественно картинок.
    VPS с SSD, способный потянуть такой объем хранения данных, у хорошего европейского провайдера стоит ~100 евро в месяц.
    Выделенный сервер в hetzner обойдется в 2 раза дешевле, но потребуются затраты на его администрирование и на организацию бекапов.
    Вынеся хранение на селектеловский cdn, я могу снизить затраты минимум в два, а то и в 3 раза, продолжая хоститься на VPS и не парясь по поводу сохранности данных.
     
  20. slowpoke

    slowpoke Местный

    Регистрация:
    07.10.10
    Сообщения:
    158
    Симпатии:
    81
    Версия XF:
    1.1.1
    Есть очень крутая штука, Gaufrette - https://github.com/KnpLabs/Gaufrette, можно будет обойтись написанием адаптером для него, а сам Gaufrette поддерживает уже всё, что можно :)
     

Поделиться этой страницей