1. Приветствуем Вас на неофициальном форуме технической поддержки XenForo на русском языке. XenForo - новый и перспективный форумный движок от бывших создателей vBulletin.

1.4.5 Время конвертации форума при переходе с VB

Тема в разделе "Переезд на XenForo c других движков", создана пользователем micron, 23 фев 2015.

Загрузка
  1. micron

    micron Местный

    Регистрация:
    26.02.12
    Сообщения:
    32
    Симпатии:
    2
    Сейчас прогоняю на тесте конвертацию данных с VB 3.8.

    Ну что могу сказать. Я думал все это будет значительно быстрее. Сервер выделенный, мощный. Во время импорта общая загрузка ядер не более 15%, учитывая еще то, что на этом же сервере живет и работает основной форум.

    Выложу скриншот сколько по времени шел процесс. Надеюсь, тем, у кого достаточно большие форумы будет полезно знать и прикидывать, сколько будет длиться конвертация данных, и сколько будет недоступен форум.

    • Темы: 239.831
    • Сообщения: 4.848.169
    Про аттачи напишу отдельно и выложу финальный скрин, когда пройдет процесс. Пока с утра лопатит, только 50%. Аттачей много, сколько в штуках не скажу, но по объему порядка 36Гб.

    Приваты тоже по времени прошли не кисло.
     

    Вложения:

    • IMG_0942.JPG
      IMG_0942.JPG
      Размер файла:
      188,3 КБ
      Просмотров:
      32
  2. infis

    infis Местный Команда форума

    Регистрация:
    27.06.11
    Сообщения:
    5.526
    Симпатии:
    3.322
    Версия XF:
    1.5.9
    Львиная доля времени при конвертации - это вложения. Все остальное по сравнению с остальным - мелочь. Тут ведь какой нюанс. Помимо того, что аттачи из базы вытаскиваются (если они в базе), меняется их идентификация, ну и в сообщении в результате также меняется идентификатор.
    Также, насколько я помню, меняются другие теги при необходимости.
    Ну да, дело не быстрое.
     
  3. micron

    micron Местный

    Регистрация:
    26.02.12
    Сообщения:
    32
    Симпатии:
    2
    Вот финальный скрин. Аттачи конечно дали прикурить. Прогресс-бар отваливался раза три четыре в процессе по тайм-ауту, т.к. еще работал основной форум, поэтому в MySQL операции выстраивались в приличную очередь. Да и еще тяжеловесные аттачи. Вроде бы все сконвертировалось, теперь буду разгребать глюки, проверять все.

    Кстати после конверта запустилось перестроение счетчиков, что тоже заняло достаточно длительное время.
     

    Вложения:

    • IMG_0956.JPG
      IMG_0956.JPG
      Размер файла:
      197,9 КБ
      Просмотров:
      16
    Smalesh нравится это.
  4. martini

    martini Местный

    Регистрация:
    10.10.10
    Сообщения:
    249
    Симпатии:
    28
    это тебе еще повезло, что все прошло с одного раза. Вот я последний форум конвертировал, так уперся на самой последней стадии (вложения) в ошибку и ппц, сначала ищешь что за ошибка, стараешься исправить, а потом вынужден запускать миграцию с нуля, поскольку не возможно начать с места, на котором поймал ошибку. И так я мигрировал четыре раза пока все не прошло :) Хорошо хоть форум не большой, процесс миграции порядка 2-3 часов занимал.

    А самый большой мой форум поменьше был раза в три от вашего. Так там я уперся в стадию импорта "лайков" (в булке это были "спасибо")

    Нажал кнопку вечером. Утром встал, смотрю - 19%. Посчитал математически, что все эти лайки придется ждать трое суток. Решил ну его нафик, остановил и запустил форум. Юзеры сначала побузили, конечно, но потом успокоились :)
     
  5. micron

    micron Местный

    Регистрация:
    26.02.12
    Сообщения:
    32
    Симпатии:
    2
    Да я ожидал подвох на аттачах :) Но вылился он тока в приличные тормоза и 14 часов работы.
     
  6. Smalesh

    Smalesh Пользователь

    Регистрация:
    02.02.15
    Сообщения:
    50
    Симпатии:
    13
    Версия XF:
    1.4.4
    А где хранились аттачи?
     
  7. infis

    infis Местный Команда форума

    Регистрация:
    27.06.11
    Сообщения:
    5.526
    Симпатии:
    3.322
    Версия XF:
    1.5.9
    А я делал бекапы между разными стадиями. Так проще было перезапускать конкретный шаг :)
     
  8. micron

    micron Местный

    Регистрация:
    26.02.12
    Сообщения:
    32
    Симпатии:
    2
    Smalesh, аттачи хранились на этом же серваке-фтп, в бакапной папке.
     
  9. martini

    martini Местный

    Регистрация:
    10.10.10
    Сообщения:
    249
    Симпатии:
    28
    кстати, а можно мигрировать с атачами в базе данных?
     
  10. micron

    micron Местный

    Регистрация:
    26.02.12
    Сообщения:
    32
    Симпатии:
    2
    Я бы точно не рискнул так делать. И зачем аттачи в базе нужны, это же какой объем базы будет, и все манипуляции с ней? Лучше сделать их выгрузку в файлы, а потом уже мигрировать.
     
  11. Smalesh

    Smalesh Пользователь

    Регистрация:
    02.02.15
    Сообщения:
    50
    Симпатии:
    13
    Версия XF:
    1.4.4
    И получить новый геморрой?
    --- добавлено : Feb 24, 2015 10:29 AM ---
    Не-не, все правильно, просто уточнил. 155к аттачей на 36 гиг в файловой системе.
     
    Последнее редактирование модератором: 4 мар 2015
  12. infis

    infis Местный Команда форума

    Регистрация:
    27.06.11
    Сообщения:
    5.526
    Симпатии:
    3.322
    Версия XF:
    1.5.9
    Можно. Я так и мигрировал. Правда, с 4.0.2, а не с 3.8.
     
  13. butik

    butik Местный

    Регистрация:
    30.05.12
    Сообщения:
    19
    Симпатии:
    0
    Версия XF:
    1.5.1
    Пробую конвертироваь с ипб 3.1.* и дошел до конвертирования пользователей (примерно 20.000) так на локальном сервере при увеличенном времени в php.ini через 5 минут сыпятся эроры.
     
  14. Exile

    Exile Местный

    Регистрация:
    27.06.11
    Сообщения:
    999
    Симпатии:
    546
    Версия XF:
    1.4.4
    Я бы попробовал тогда увеличить число одномоментно конвертируемых сообщений прямо в скрипте. Там по умолчанию число небольшое, если сервер позволяет можно увеличить в несколько раз. А то это как с перестроением индекса поиска - можно запустить по 20 сообщений в итерацию и убить пару часов, а можно по 1000 сообщений и потратить несколько минут. Да, нагрузка сразу вырастет в разы, но и времени займет куда как меньше.
     
    micron нравится это.
  15. micron

    micron Местный

    Регистрация:
    26.02.12
    Сообщения:
    32
    Симпатии:
    2
    Exile, спасибо за подсказку, так и сделаю, когда будет основная конвертация. Все равно на серваке только по сути один форум. Поэтому будет он нагружен или нет, значения не имеет.
     
  16. Yoskaldyr

    Yoskaldyr Пользователь

    Регистрация:
    27.09.10
    Сообщения:
    1.921
    Симпатии:
    1.160
    Версия XF:
    1.0.4
    На большом форуме основное время занимает перенос вложений - вот это реально долго, но это на большом форуме с большим количеством вложений, а таких в рунете не так уж и много
     

Поделиться этой страницей