Реализация трафик-шейпера (Traffic Shaper) на Mikrotik, скрипт для динамического и ровного деления скорости Опции

[Zhelezaka]

Много раз на форуме задавали ворос касательно динамического деления скорости между юзерами, но так никто и не написал скрипт способный реализовать это, но вот один хороший человек это сделал Inlarion ему говорим СПАСИБО!!!!!!

Постановка вороса:
Делить скорость поровну между всеми пользователями, причем так, чтобы скорость не выделялась на клиентов которые на данный момент не пользуются инетом а отдавалась всем остальным.....

Пример на трех PPTP пользователей.....
Адреса пользователей 192.168.70.10-192.168.70.12
Адрес сервера 192.168.70.1

Добавляем трех пользователей

Код

/ ppp secret add name="user1" service=pptp password="null" profile=default-encryption local-address=192.168.70.1 remote-address=192.168.70.10 disabled=no
/ ppp secret add name="user2" service=pptp password="null" profile=default-encryption local-address=192.168.70.1 remote-address=192.168.70.11 disabled=no
/ ppp secret add name="user3" service=pptp password="null" profile=default-encryption local-address=192.168.70.1 remote-address=192.168.70.12 disabled=no

Добавляем на каждого из пользователей по интерфесу, имена интерфейса и имя пользователя должны совпадать!!!!

Код

/ interface pptp-server add name="user1" user="user1" disabled=no
/ interface pptp-server add name="user2" user="user2" disabled=no
/ interface pptp-server add name="user3" user="user3" disabled=no

Mangle, не знаю почему, но во всех примерах спецы сначала маркируют соединение а потом метят в нем пакеты.... мож я чего то не догоняю, но не вижу в этом толка и помечаю пакеты сразу в общем потоке...... может кто нить мне обьяснит в чем разница?
Предупреждаю! значение new-packet-mark должно быть "имя пользователя/сервера"+"_down и _up соответственно"

Код

/ ip firewall mangle add chain=forward src-address=192.168.70.10 dst-address=0.0.0.0/0 action=mark-packet new-packet-mark=user1_up passthrough=no disabled=no
/ ip firewall mangle add chain=forward src-address=192.168.70.11 dst-address=0.0.0.0/0 action=mark-packet new-packet-mark=user2_up passthrough=no disabled=no
/ ip firewall mangle add chain=forward src-address=192.168.70.12 dst-address=0.0.0.0/0 action=mark-packet new-packet-mark=user3_up passthrough=no disabled=no  

/ ip firewall mangle add chain=forward src-address=0.0.0.0/0 dst-address=192.168.70.10 action=mark-packet new-packet-mark=user1_down passthrough=no disabled=no
/ ip firewall mangle add chain=forward src-address=0.0.0.0/0 dst-address=192.168.70.11 action=mark-packet new-packet-mark=user2_down passthrough=no disabled=no
/ ip firewall mangle add chain=forward src-address=0.0.0.0/0 dst-address=192.168.70.12 action=mark-packet new-packet-mark=user3_down passthrough=no disabled=no

Далее строим дерево, я думаю итак все будет понятно

Код

/ queue tree add name="Download" parent=global-out limit-at=0 queue=hotspot-default priority=8 max-limit=0 burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
/ queue tree add name="user1_down" parent=Download packet-mark=user1_down disabled=no
/ queue tree add name="user2_down" parent=Download packet-mark=user2_down disabled=no
/ queue tree add name="user3_down" parent=Download packet-mark=user3_down disabled=no

/ queue tree add name="Upload" parent=global-out limit-at=0 queue=hotspot-default priority=8 max-limit=0 burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
/ queue tree add name="user1_up" parent=Upload packet-mark=user1_up disabled=no
/ queue tree add name="user2_up" parent=Upload packet-mark=user2_up disabled=no
/ queue tree add name="user3_up" parent=Upload packet-mark=user3_up disabled=no

Ну а теперь сам скрипт, засунуть в планировщик на 5-15сек

Переменные в скрипте в самом начале

Код

MaxRateDownload -Ширина канала на всех пользователей (прием)
MaxRateUpload -Ширина канала на всех пользователей (отдача)
ActiveThresholddown -Порог при привышении которого пользователь будет считаться активным (прием)
ActiveThresholdup - Порог при привышении которого пользователь будет считаться активным (отдача)
ParentDownload -Родитель очереди (прием)
ParentUpload - Родитель очереди (отдача)

Принцип работы скрипта.
Скрипт замеряет с какой скоростью работает клиент и если она превышает ActiveThresholddown добавляет его как активного на прием.
так же, увеличивает счетчик если пользователь подключен к PPTP своей учетки.
Далее производит проверку ActiveThresholdup если пользователь превысил эту отметку то добавляет его как активного на отдачу.

Если количество активных клиентов равно нулю, изменяет его на еденицу, ибо впоследствии произвести математические расчеты.

Расчитывает:
MaxRateDownload делит на количество активных пользователей на прием, выводит скорость на юзера.
MaxRateUpload делит на количество активных пользователей на отдачу, выводит скорость на юзера.

Далее устанавливает лимит всем пользователям в Queue Tree согласно расчитанной выше.

Далее расчитывает значение в килобитах и выводит в лог статистику.

Код

######################
:local MaxRateDownload (2000000);
:local MaxRateUpload (2000000);
:local ActiveThresholddown (5000);
:local ActiveThresholdup (5000);
:local ParentDownload (Download);
:local ParentUpload (Upload);
######################

######################
:local z;
:local i;
:local ii;
:local userX;
:global onlineclientsdown (0);
:global onlineclientsup (0);
:global connected (0);
######################

######################
:foreach i in=[/ppp active find] do={ :set userX [/ppp active get $i name];
:global connected ($connected+1);
/interface monitor-traffic [/interface find name=$userX] once do {:if ($received-bits-per-second >=$ActiveThresholddown) do { :global onlineclientsdown ($onlineclientsdown+1);}} };

:foreach ii in=[/ppp active find] do={ :set userX [/ppp active get $ii name];
/interface monitor-traffic [/interface find name=$userX] once do {:if ($sent-bits-per-second >=$ActiveThresholdup) do { :global onlineclientsup ($onlineclientsup+1);}} };

:if ($onlineclientsdown = 0) do {:set onlineclientsdown (1)};
:if ($onlineclientsup= 0) do {:set onlineclientsup (1)};

:local ratelimitdown ($MaxRateDownload/$onlineclientsdown)
:local ratelimitup ($MaxRateUpload/$onlineclientsup)

:foreach z in=[/ppp active find] do={ :set userX [/ppp active get $z name];
/queue tree set [/queue tree find name=($userX . "_down")] parent=$ParentDownload packet-mark=($userX . "_down") queue=hotspot-default priority=8 max-limit=$ratelimitdown

/queue tree set [/queue tree find name=($userX . "_up")] parent=$ParentUpload packet-mark=($userX . "_up") queue=hotspot-default priority=8 max-limit=$ratelimitup};
######################

######################
:local kbsmaxdown ($MaxRateDownload/1000);
:local kbsmaxup ($MaxRateUpload /1000);
:local kbsthr ($ActiveThresholddown/1000);
:local kbsdown ($ratelimitdown/1000);
:local kbsup ($ratelimitup/1000);

:log warning ("Shaper:");
:log info ("MaxRate Download : " . $MaxRateDownload . " bps /" . $kbsmaxdown . " kbs /  Upload :  " . $MaxRateUpload . " bps /" . $kbsmaxup . " kbs");
:log info ("Threshold: Download : " . $ActiveThresholddown . " bps /" . $kbsthr . " kbs / Upload :  " . $ActiveThresholdup . " bps /" . $kbsthr . " kbs");
:log info ("Connected Users : " . $connected);
:log info ("Active Users : Download : " . $onlineclientsdown . " / Upload :  "  . $onlineclientsup);
:log info ("User Speed Download : " . $ratelimitdown . " bps /" . $kbsdown . " kbs / Upload :  " . $ratelimitup . " bps /" . $kbsup . " kbs");
######################

# (C) Inlarion icq 429-587 Copyright!

Что касается последних пожеланий
параметры скрипта

Код

:local MaxRateDownload (2000000);
:local MaxRateUpload (2000000);

Следует устанавливать чуть меньше чем ваш канал, дабы избежать тормозов при активности еще одного юзера, который до этого не потреблял инет.

Код

:local ActiveThresholddown (5000);
:local ActiveThresholdup (5000);

Это значение устанавливайте согласно своим потребностям но исходя из расчета: кол-во пользователей умноженное на Thresholddown =не дожно превышать MaxRateDownload иначе ваши пользователи будут в жопе! естественно users*ActiveThresholdup= не должно превышать MaxRateUpload

Ну вот сообсно и все, скрипт передается по принципу "Как есть" со всеми вытекающими последствиями
Юзайте его как хотите, копирайты не стирать плиз, при исользовании материалов ссылка на меня обязательна! Если кто то доработает этот скрипт, не жлобитесь и выложите здесь свою работу, не жмите так сказать опыт и знания!
Скрипт писал исключительно под свои нужды, оптимизацией кода так сказать не занимался, так что особо пытливым кодерам бубен в руки

[Inlarion]

Приветствую!
Предлагаю обновить топик, на pcrouter.ru скрипт обновлен и дополнен

[Zhelezaka]

Предлагаю обновить топик

Новая версия скрипта, исправленная, упрощенная и дополненная.

Пример на трех PPTP пользователей.....
Адреса пользователей 192.168.70.10-192.168.70.12
Адрес сервера 192.168.70.1

Добавляем трех пользователей

Код

/ ppp secret add name="user1" service=pptp password="null" profile=default-encryption local-address=192.168.70.1 remote-address=192.168.70.10 disabled=no
/ ppp secret add name="user2" service=pptp password="null" profile=default-encryption local-address=192.168.70.1 remote-address=192.168.70.11 disabled=no
/ ppp secret add name="user3" service=pptp password="null" profile=default-encryption local-address=192.168.70.1 remote-address=192.168.70.12 disabled=no

Добавляем корни дерева, Имена Download и Upload можете заменить на свои, но в этом случае их прийдется поменять в остальных скриптах

Код

/ queue tree add name="Download" parent=global-out limit-at=0 queue=hotspot-default priority=8 max-limit=0 burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
/ queue tree add name="Upload" parent=global-out limit-at=0 queue=hotspot-default priority=8 max-limit=0 burst-limit=0 burst-threshold=0 burst-time=0s disabled=no

Далее запихиваем данный скрипт в /system scripts и запускаем его один раз
Этот скрипт автоматически создаст PPTP сервера для каждого из пользователей, автоматом пропишет правила в Mangle, автоматом пропишет ветки в Queue tree, и в конце переподключит активных пользователей.
В настройках всего три пункта: MangleDstAddr -Указывает на диапазон адресов являющихся большой сетью, т.е. Инет или локалка прова или что у вас там.
ParentDownload и ParentUpload указывают на имя корней заданных в / queue tree

Код

#Settings
#########################
:local MangleDstAddr ("0.0.0.0/0");
:local ParentDownload ("Download");
:local ParentUpload ("Upload");
#########################

#Internal Var
################
:local z;
:local userX;
:local clientaddr;
:local qtr;
:local mgr;
:local pptpr;
:local disu;
:set qtr (0);
:set mgr (0);
:set pptpr (0);
################

#Loop
###########################
:foreach z in=[/ppp secret find] do={
###########################

#Get Name and IP
###########################
:set userX [/ppp secret get $z name];
:set clientaddr [/ppp secret get $z remote-address];
###########################

#Remove-Add PPTP Servers
###########################
:if ([/interface pptp-server find name=$userX] != "") do={/interface pptp-server remove [/interface pptp-server find name=$userX];}
/interface pptp-server add user=$userX name=$userX;
:set pptpr ($pptpr+1);
###########################

#Remove-Add Mangle Rules
###########################
:if ([/ip firewall mangle find src-address=$clientaddr] !="") do={/ip firewall mangle remove [/ip firewall mangle find src-address=$clientaddr]; }
:if ([/ip firewall mangle find dst-address=$clientaddr] !="") do={/ip firewall mangle remove [/ip firewall mangle find dst-address=$clientaddr]; }
/ ip firewall mangle add chain=forward src-address=$clientaddr dst-address=$MangleDstAddr action=mark-packet new-packet-mark=($userX . "_up") passthrough=no disabled=no comment=("Outing Traffic " . $userX);
:set mgr ($mgr+1);
/ ip firewall mangle add chain=forward src-address=$MangleDstAddr dst-address=$clientaddr action=mark-packet new-packet-mark=($userX . "_down") passthrough=no disabled=no comment=("Incoming Traffic " . $userX);
:set mgr ($mgr+1);
###########################

#Remove-Add Queue
###########################
:if ([/ queue tree find name=($userX . "_down")] !="") do={/ queue tree remove [/ queue tree find name=($userX . "_down")] };
/ queue tree add name=($userX . "_down") parent=$ParentDownload packet-mark=($userX . "_down") disabled=no
:set qtr ($qtr+1);
:if ([/ queue tree find name=($userX . "_up")] !="") do={/ queue tree remove [/ queue tree find name=($userX . "_up")] };
/ queue tree add name=($userX . "_up") parent=$ParentUpload packet-mark=($userX . "_up") disabled=no
:set qtr ($qtr+1);
###########################

#End of loop
###########################
}
###########################

#Disconnect Active PPTP Users
###########################
:foreach z in=[/ppp active find] do={
:set userX [/ppp active get $z name];
/ppp active remove [/ppp active find name=$userX];
}
###########################

#Logging
################################
:log warning ("Creater:")
:log info ("Queue tree records created: " . $qtr);
:log info ("Mangle records created: " . $mgr);
:log info ("PPTP Servers created: " . $pptpr);
################################

Следующий скрипт позволит удалить правила из Mangle, Queue, PPTP автоматом, достаточно удалить пользователя из /ppp secret, а потом запустить скрипт, скрипт настраивается аналогично первому.

#Settings
############################
:local MangleDstAddr ("0.0.0.0/0");
:local ParentDownload ("Download");
:local ParentUpload ("Upload");
############################

#Internal Var
################
:local z;
:local mark;
:local userX;
:local qtr;
:local mgr;
:local pptpr;
:set qtr (0);
:set mgr (0);
:set pptpr (0);
################


#Loop to search Queue tree records DOWN
###############################
:foreach z in=[/ queue tree find parent=$ParentDownload] do={
:set mark [/ queue tree get $z packet-mark];
:if ($mark !="") do={
:set mark ([:pick $mark 0 ([:len $mark]-5)]);
:if ([/ppp secret find name=$mark] = "") do={/ queue tree remove [/ queue tree find packet-mark=($mark . "_down")]; :set qtr ($qtr+1); }}}
###############################


#Loop to search Queue tree records UP
###############################
:foreach z in=[/ queue tree find parent=$ParentUpload] do={
:set mark [/ queue tree get $z packet-mark];
:if ($mark !="") do={
:set mark ([:pick $mark 0 ([:len $mark]-3)]);
:if ([/ppp secret find name=$mark] = "") do={/ queue tree remove [/ queue tree find packet-mark=($mark . "_up")]; :set qtr ($qtr+1); }}}
###############################



#Loop to search Mangle records UP
###############################
:foreach z in=[/ ip firewall mangle find dst-address=$MangleDstAddr action="mark-packet" chain="forward"] do={
:set mark [/ ip firewall mangle get $z new-packet-mark];
:if ($mark !="") do={
:set mark ([:pick $mark 0 ([:len $mark]-3)]);
:if ([/ppp secret find name=$mark] = "") do={
:if ([/ ip firewall mangle find comment=("Outing Traffic " . $mark)] != "") do={/ ip firewall mangle remove [/ ip firewall mangle find comment=("Outing Traffic " . $mark)]; :set mgr ($mgr+1); }}}}
###############################

#Loop to search Mangle records DOWN
###############################
:foreach z in=[/ ip firewall mangle find src-address=$MangleDstAddr action="mark-packet" chain="forward"] do={
:set mark [/ ip firewall mangle get $z new-packet-mark];
:if ($mark !="") do={
:set mark ([:pick $mark 0 ([:len $mark]-5)]);
:if ([/ppp secret find name=$mark] = "") do={
:if ([/ ip firewall mangle find comment=("Incoming Traffic " . $mark)] != "") do={/ ip firewall mangle remove [/ ip firewall mangle find comment=("Incoming Traffic " . $mark)]; :set mgr ($mgr+1); }}}}
################################

#Loop to search PPTP records
################################
:foreach z in=[/interface pptp-server find] do={
:set userX [/interface pptp-server get $z name];
:if ([/ppp secret find name=$userX] = "") do={/interface pptp-server remove [/interface pptp-server find name=$userX]; :set pptpr ($pptpr+1);}}
################################

#Logging
################################
:log warning ("Cleaner:")
:log info ("Queue tree records deleted: " . $qtr);
:log info ("Mangle records deleted: " . $mgr);
:log info ("PPTP Servers deleted: " . $pptpr);
################################

#########################
#© Inlarion icq 429587 Copyright #
#########################

И сам скрипт шейпера заталкиваем в планировщик на 5-15сек, как его настраивать можете прочитать в первом посте, в скрипте немного поправлен синтаксис, т.к. на тройках он не работал из за отсутствия кавычек в переменных

Код

######################
:local MaxRateDownload ("2000000");
:local MaxRateUpload ("2000000");
:local ActiveThresholddown ("5000");
:local ActiveThresholdup ("5000");
:local ParentDownload ("Download");
:local ParentUpload ("Upload");
######################

######################
:local z;
:local i;
:local ii;
:local userX;
:global onlineclientsdown (0);
:global onlineclientsup (0);
:global connected (0);
######################

######################
:foreach i in=[/ppp active find] do={ :set userX [/ppp active get $i name];
:global connected ($connected+1);
/interface monitor-traffic [/interface find name=$userX] once do {:if ($received-bits-per-second >=$ActiveThresholddown) do { :global onlineclientsdown ($onlineclientsdown+1);}} };

:foreach ii in=[/ppp active find] do={ :set userX [/ppp active get $ii name];
/interface monitor-traffic [/interface find name=$userX] once do {:if ($sent-bits-per-second >=$ActiveThresholdup) do { :global onlineclientsup ($onlineclientsup+1);}} };

:if ($onlineclientsdown = 0) do {:set onlineclientsdown (1)};
:if ($onlineclientsup= 0) do {:set onlineclientsup (1)};

:local ratelimitdown ($MaxRateDownload/$onlineclientsdown)
:local ratelimitup ($MaxRateUpload/$onlineclientsup)

:foreach z in=[/ppp active find] do={ :set userX [/ppp active get $z name];
/queue tree set [/queue tree find name=($userX . "_down")] parent=$ParentDownload packet-mark=($userX . "_down") queue=hotspot-default priority=8 max-limit=$ratelimitdown

/queue tree set [/queue tree find name=($userX . "_up")] parent=$ParentUpload packet-mark=($userX . "_up") queue=hotspot-default priority=8 max-limit=$ratelimitup};
######################

######################
:local kbsmaxdown ($MaxRateDownload/1000);
:local kbsmaxup ($MaxRateUpload /1000);
:local kbsthr ($ActiveThresholddown/1000);
:local kbsdown ($ratelimitdown/1000);
:local kbsup ($ratelimitup/1000);

:log warning ("Shaper:");
:log info ("MaxRate Download : " . $MaxRateDownload . " bps /" . $kbsmaxdown . " kbs /  Upload :  " . $MaxRateUpload . " bps /" . $kbsmaxup . " kbs");
:log info ("Threshold: Download : " . $ActiveThresholddown . " bps /" . $kbsthr . " kbs / Upload :  " . $ActiveThresholdup . " bps /" . $kbsthr . " kbs");
:log info ("Connected Users : " . $connected);
:log info ("Active Users : Download : " . $onlineclientsdown . " / Upload :  "  . $onlineclientsup);
:log info ("User Speed Download : " . $ratelimitdown . " bps /" . $kbsdown . " kbs / Upload :  " . $ratelimitup . " bps /" . $kbsup . " kbs");
######################

# (C) Inlarion icq 429-587 Copyright!

Принцип такой, добавил пользователя или несколько пользователей в /ppp secret запустил однократно первый скрипт.
Удалил пользователя или несколько пользователей из /ppp secret запустил однократно второй скрипт.
Третий скрипт крутится в планировщике.

Все скрипты проверены на версии 2.9.27 проблем не замечено, перед использованием настоятельно рекомендую сделать бекап конфигурации.....

[Гость_Гость_nmts_*_*]

Основной феномен заключен в неработоспособности скрипта...
У вас что в логах пишет??? Если ничего, меняйте в скрипте строки
$received-bits-per-second
$sent-bits-per-second

на

$"received-bits-per-second"
$"sent-bits-per-second"

Нужно исправить в коде шейпера.

[Гость_Гость_*]

Я прописал для 3.3 и 4.6 изменения по рекомендации, но не тестировал blog.wel.org.ua/?p=871

[Zhelezaka]

Я прописал для 3.3 и 4.6 изменения по рекомендации, но не тестировал blog.wel.org.ua/?p=871

+1

[tltroll]

нид схема типа этой только пользователи имеют доступ по мак+айпи т.е. без всяких пптп, пппое

[Inlarion]

Уже имеется более свежая копия этого скрипта на сайте разработчика:
http://mikrotik.axiom-pro.ru/scripts/shaperv1.php
Протестировано на версиях:
2.9.27, 2.9.51, 3.20, 3.22, 3.30, 4.13, 5.0rc3
Предлагаю обновить топик и копирайты, т.к темы на pcrouter более не прослеживаю.
Спасибо за внимание!

[Гость_Petrogrillash_*]

Просто хорошая страничка

[ilya721]

А как на счет всего этого , только через ВИНБОКС . Уже имеем сервер с подключениями по выделенным ай-пи . И не хочется калечить разными скриптами . если еще и не понимаешь их ! Думаю все это можно сделать через винбокс КАК ???? Подскажите пожалуста !!!

[ilya721]

Тестировал с настройками шейпера в лимит -ат гарантированная скорость 1м\64к и макс -лимит 3м\128 . Результат - средняя скорость постоянно. Если завысить макс -лимит - то же !!! Средняя скорость . Даже если 1 подключение ??? Почему ??? Как настроить чтобы было динамическое деление поровну между пользователями. Или определенной группы ?

[Zhelezaka]

ilya721, мало информации. Версию Микротика не назвал, что настраивал не написал, а также код свой. Мог где-то ошибиться запросто.