Hatred's Log Place

DON'T PANIC!

Nov 16, 2008 - 2 minute read - linux

Планировщик IO проблемы тормоза системы

С недавнего времени стал замечать что система очень сильно тормозит на дисковых операциях. Например, если нужно создать файл 1.5G (допустим, аллоцирование места под закачку торрента), то на выделении система чуть ли не раком становиться - работать становиться очень некомфортно: мышь почти не работает, отклик от клавиатуры очень долгий. Это при том, что памяти - вагон и маленькая тележка (из 1G оперативы 800 метров на кеши, используется меньше 200M).

Почеса репу, решил поглядеть на планировщики IO:

[root@gaz ~]# dmesg | grep scheduler
io scheduler noop registered
io scheduler anticipatory registered (default)
io scheduler deadline registered
io scheduler cfq registered

Начинаю копаться в памяти, ага, точно, на современных ядрах почти всегда планировщик IO по-умолчанию - cfq. Я, видать, уже эксперементировал, и в строке загрузки Grub:

elevator=as

Поменял на

elevator=cfq

(можно было бы и убрать)

Всё, теперь работа стала значительно более приятна.

Хочу отметить, что:

  • noop - обычный FIFO, подразумевается оптимизация ввода-вывода на уровне блочного устройства.
  • deadline - реализует механизм предельного срока для минимизации задержен IO. В один момент времени одно приложение имеет эксклюзивный доступ к диску. Для пользовательского ПК врядли подойдет, для сервера базы данных - вполне (да и серверов вообще, где с диском работа идет активно)
  • as - упреждающий доступ, говориться, что подходит для медленных и малых дисковых подсистем. Как оказалось у меня, на диске 750G не очень хорошо система себя чувствовала.
  • cfq - полностью справедливая очередь. Очередь ввода/вывода для каждого процесса, пытается разделить всю полосу пропускания между ними.

Если контроллер и диски поддерживают NCQ (SATA диски), стоит попробывать планировщик noop, теоретически производительность должна стать сравнима с cfq, при почти нулевой загрузки CPU. Ставить noop для IDE дисков смысла нет.

Да, планировщик можно поменять “на лету”, указав для каждого диска свой:

[root@gaz hda2]# cat /sys/block/sda/queue/scheduler
noop anticipatory deadline [cfq] 
[root@gaz hda2]# echo noop > /sys/block/sda/queue/scheduler
[root@gaz hda2]# cat /sys/block/sda/queue/scheduler
[noop] anticipatory deadline cfq 

Почитать про планировщики можно тут:

Nov 16, 2008 - 1 minute read - linux

Диски, файловые системы и данные

Ссылки на статьи по восстановлению данных, а так же технологии ATAoE

Nov 10, 2008 - 1 minute read - linux

Load average

В выводе uptime можно увидеть:

23:43:20 up 12 days, 1:44, 2 users, load average: 0.38, 0.82, 0.82

Собственно давно мучал вопрос - чиво это?

Если кратко, то давно знал: это средняя загрузка системы за 1/5/15 минут. Но как интерпретировать эти числа было непонятно, вот сегодня допекло, решил разобраться.

Итак, что это такое: число процессов ожидающих очереди на выполнение, процессы в состоянии Run, Wait for Run, Wait for I/O. Соответственно, чем выше - тем больше тормозит система. При значении больше N (где N - число процессоров или ядер в системе) начинается перегруз. Условно, значение можно умножить на 100 и вычесть 100 - получится процент перегруза системы.

Да, сразу несколько полезных утилит:

  • классический top из пакета procps, подвирает бывает, но годится для “пабыраму пасареть”
  • более продвинутый htop из одноименного пакета
  • iostat из пакета sysstat - состояние дисковой подсистемы
  • mpstat из пакета sysstat - загрузка CPU
  • pidstat из пакета sysstat - состояние процессов, в т.ч. на каком процессоре запущен процесс.
  • sar из пакета sysstat - показывает статистику по системной активности, статистика обновляется по крону (sar -A)
  • isag из пакета sysstat - графическое представление данных по системной активности. Для отрисовки нужен gnuplot

Более подробнее почитать тут:

Nov 6, 2008 - 15 minute read -

Дневник отпуска 2007 года

Да, долго я собирался я опубликовать дневник сего путешествия, где я впервые попробовал кататься автостопом, повидал родню в Питере и вообще узнал, что всякие там путевые тяготы на самом деле достаточно неплохо могут переноситься, итак…

2007.07.16 20:53

Первый день. Подготовка к отъезду. Суета суета и еще раз суета, нормально так. Свой рюкзак уже снарядил, пока еще собирается Таня. Основная мысль дня: “Отступали к поезду с жестокими боями” - отбивались сначала от моих родителей по вопросам хавки и приготовления экипировки, потом от Таниной мамы. Отступили без потерь :)

Фото дня

2007.07.17 11:14

Второй день вообще. Первый день в пути. На Угольной подсел парнишка, зовут Саня. Кипешной, ой кипешной. В Уссурийске в нашем закутке подсела девушка - Ольга, едет как и мы до Москвы (дальше до Брянска - домой). Все пока никаких интересностей больше не происходило. Вагон постепенно начинает заполняться пассажирами.

23:02 / 16:02

В Хабаровске поезд заполнился почти полностью. Теперь и наш закуток в полном комплекте - все 6 пассажиров. Кроме того началась жара, которая стоит до сих пор хотя и значительно спала с приездом в Облучье где мы стояли 15 минут под дождиком принимая его как живительный дар свыше, а попросту - душ. После отчаливания сидели гадали сканворды, немного почитал Танину книжку. Уже проехали несколько тоннелей разной длинны. Наблюдали интересную картину - вдоль дороги березы (в основной своей массе, редко когда какие другие деревья) согнуты в дугу. причем не поломаны. Наконец то собрался и переоделся - еду в шортах и отсвечиваю голым пузом. Хотел посмотреть на Бурею, да будет она в 17.54 по Москве или в 01.54 по Владивостоку. не судьба. в сортир и спать. сегодня спать буду хренова - жарко и душно.

2007.07.18 01:00 / 18:00

Сегодня день был довольно насыщенным. Началось с того что проспали почти до обеда немного перекусили и дальше спать. сам обед у нас состоялся где то в начале второго. Была большая остановка в Амозаре где мы купили молоко и Таню полюбила черная коза - фотографии получились милыми. там же поезд заправили водой. без боя сдали один туалет в вагоне - его судьба пока неизвестна. Пересекли один часовой пояс теперь у нас разница с Москвой 6 часов.

Практически весь день читал книжку “сто тысяч миль по морям и судьбам” - крайне интересное и познавательное чтиво, иногда прошибает даже слезу, хотя многие могут не понять отчего, да я и объяснять не стану. Вечер продолжился игрой в “дурака” выиграл т.е. не остался дураком только 1 раз - начинаю сомневаться в своих умственных способностях. дальше наш цикл разнообразила игра в шахматы сначала была партия с саньком - хоть мы оба и дилетанты играл он довольно и еще раз довольно, ему можно по идее развивать и далеко пойдет. потом была партия с Таней которую не закончили и решили продолжить завтра.

Еще одна новость дня у Анатолия - нашего соседа по закутку сегодня день рождения в честь чего выпили по стакану пива и подарил ему моток изоленты - больше все равно ничего не было но вещь и в хозяйстве пригодится и не подарить вообще ничего не мог. Он сам не русской национальности едет из Хабаровска где был на заработках в Питер к своему брату который упал на стройке и чудом остался жив. пожелали всего самого лучшего.

А совсем забыл. еще вчера долго беседовали с Таней о наших отношениях - правильный разговор получился и вообще такие разговоры правильные. Кроме того спал вопреки ожиданиям как убитый - у утру ацкая жара спала, за окном почти всю дорогу сегодня шел дождь в вагоне прохладно и приятно. некоторые соседи из закутков рядом поменялись наш пока в неизменном составе.

Фото дня

и

2007.07.20 02:48 / 19:48

Проснулись рано, была станция ничего путного не было. Где то в районе с 12:30 до 13:04 по московскому были в Улан-Уде - купили пакет пряников и пару банок сгущенного молока, долго искали какую нить рыбку типа нашего приморского желтого полосатика - еле нашли и тогда только я осознал КАК ДАЛЕКО МЫ ОТ МОРЯ! в районе 13:33 проезжали реку Селенга что впадает в оз. Байкал наделал снимков. красиво. в 15:20 доехали до Байкала - сделал много фотографий. опять красиво - особенно фото заката.

Ночевали хорошо, было прохладно - под утро даже залез в спальник. днем вяло читал книжку и спал. Опять накатила жара, сейчас вроде спала и можно опять жить питание сегодня было 2х разовым - на этот раз отведали пюре картофельное с говяжьей печенью, разнообразили так сказать наш рацион из лапши и консервов. Играли в карты в 6 человек, в дурака - сегодня мне больше повезло, остался только 1 раз. еще позже играли с армянами что едут в нашем вагоне в домино - интересно, особенно от того что не гнушаются учить как правильно играть. Так и не закончили партию с Таней.

Купили омуля холодного копчения - я на всяк пожарный решил не кушать, дабы что бы в нашей двойке был в случае чего хоть один в состоянии ходить. Ну и еще - фотографировал очень много в основном Байкал. Минут через 10 приедем в Иркутск. Середина России однака. Завтра (точнее уже сегодня, но пока живу по трем временам сразу - приморскому московскому и местному) пятница, вечерком наверное куплю пивка бутылочку может даже позвоню кому нить на суханку часов в 7 вечера по приморскому. Кстати пересекли еще один часовой пояс. теперь разница с Москвой 5 часов. с родным домом - 2 часа. Немного начинаю теряться во времени и днях недели. На фразу “у вас есть мыло” отреагировали - “есть жидкое”. а просили то e-mail. Как далеко от компа. в Улан-Уде сокрушался что пришвартовались не к тому пирсу. это диагноз - сто тысяч миль делают свое дело.

2007.07.20 11:12 / 04:12

Таки доехали до Иркутска, долго искали где сфотографироваться на фоне вокзала и надписи Иркутск. нашли. купил 2х1.5 литровые бутылки байкальской воды. Ночью в Иркутске было +12 градусов - прикольно - моя температура.

Устроили с Таней банно-прачечный день - помыли голову, мокрым полотенцем обтерся сам полностью, вроде легче стало. А утром опять началась жара по тихому умирал. Где то в районе 5:55 по Московскому проехали полустанок “4677 км” делаю вывод что именно столько осталось до Москвы.

в 15:40 по Москве проехали через Енисей, наделал фотографий. в 15:42 были уже в Красноярске, стоянку сократили до 15 минут, быстро сбегали до вокзала, сфотографировались. Хотел позвонить на суханку - проперся со временем, хотел купить пару бутылочек пива - не нашел. Еще жара. Вечером прилег отдохнуть и переждать жаркое время, жаркое время переждал вот только видать перегрелся вообще. было плохо, разболелась голова. Сходил в туалет опять обтерся мокрым полотенцем, достал бондану и напялил мокрую на голову. Значительно полегчало. Все дальше лег отсыпаться. Вот уже утро и мы подъезжаем к Новосибирску.

Преодолели еще один часовой пояс. Теперь разница с Москвой 4 часа с Владивостоком - 3 часа.

2007.07.21 19:09 / 12:09

Доехали до Новосибирска, где-то в 5:10 из него выехали и через несколько минут пересекли Обь. Проехали Омск, где-то в 13:37 пересекли Иртыш. Задержка в пути около 30 минут. После Омска стояли около двух часов на перегоне - по разным версиям: нет питания и оборвался питающий провод. Задержка около 2-2.5 часов. Поезд несется как бешеный, до этого подобную скорость развивали разве что на ночных перегонах. Вечером повздорили с Таней. Утром после обоюдных ворчаний помирились. Ночью проехали Тюмень, сошел Саня, этот засланец даже не разбудил.

Рано утром был Свердловск он же Екатеринбург он же просто Е-Бург. Ссадили Катю. В районе 11:23 была остановка в Перми, ссадили Наташу - мы теряем бойцов. За Пермью почти сразу пересекли р. Каму опять таки есть фотографии. К сожалению не фотографировали Тюмень и Ебург, а в Перми и фотографировать было особенно нечего. Перед Пермью (где-то через 4-5 часов после Ебурга) ссадили еще одного человека из нашего закутка - Алина (пожилая женщина, добрая и довольно интересная в смысле общения). В Ебурге сели ребята в камуфляже, судя по книжке одного из них (видать старшего) - “Учебник сержанта” какой-то военизированный летний лагерь. Разница с Москвой уже 2 часа с Родиной - 5 часов. Фотографируем жука который откуда то взялся на моей коленке.

2007.07.29 01:51 (07.30) / 18:51

Вот собственно нашлось время для записей, точнее как нашлось, а больше делать нечего, но об этом дальше.

Последний вечер поездки (07.22) ознаменовался новыми знакомствами, познакомился со всеми ребятами что сели в Е-Бурге, как оказалось это скаутский отряд едут на отдых в лагерь, обменялся с телефоном с Андрюхой - одним из старших. У них оказались гитара, две флейты и балалайка.

В последнем вагоне оказалась еще одна гитара вот и получилось вечером такой импровизированный концерт. Играли в две гитары. Юрка, ВДВшник, контрактник играл репертуар Голубых беретов да и не только, вечером он достал настойку на дубовой коре - забористая вещь, а главное голова не болит на утро, ночью с поезда сошел - добрался до дому.

Утром 23 доехали до Москвы, за ночь нагнали опоздание в 2.5 часа - это как же мы неслись. Первым делом сгоняли в Макдоналдс перекусили - потратили много, я не наелся - фуфло, но пирожки с вишней это крайней степени зачет! :)

Мы в Москве:

Потом сходили в интернет кафе, почитал почту ответ от Дениса по поводу условий работы в Жапан каре, буду устраиваться.

Бегали по городу без вещей - оставили в камере хранения. В первый день хотели купить билеты на самолет, оказался в наличии только 1 билет на 4е августа на боинг, стоимостью 36 тысяч. Сделали вывод что Российские железные дороги наиболее дружественная к пользователю система.

На следующий день сгоняли на Ярославский вокзал, купить билеты домой, оказалось что билетов на прямые рейсы отсутствуют, купили купейные билеты на поезд до Хабаровска и сразу пересадку на поезд с общими местами из Хабаровска до Владивостока. Правда до пересадки получается около 11 часов, но да ладно в Хабе есть тоже свои знакомые. Когда покупали билеты до Хабаровска, сказали что билет с дополнительными услугами, на вопрос что это за дополнительные услуги сказали, что это белье и кормить будут раз в день, наша реакция с Таней была: “Вааааууууу!”. Ну еще сформировал такую мысль: “иногда нам нужно экономить деньги, а иногда время”. Это к вопросу что на самолет билет стоит дороже, но добираемся значительно быстрее, на поезде же наоборот (точнее мысль была сформирована значительно позже, на обратной дороге из Питера, но сути это не меняет, почему она была сформирована тогда, опять таки ниже). На обратной дороге мы сэкономили 10 тыс.

24 числа, после покупки билетов часов в 6 вечера были уже у Паши (Танин друг в Москве, к которому после мы еще на свадьбу попали), собрали рюкзаки и в районе 9 вечера начали свое движение в сторону Питера, началось с того что Паша на машине довез нас до электрички, изначальная идея была ехать “на собаках”, т.е. на электричках с пересадками. Через два часа на электричке были в Твери, картина: 12 часов ночи, электричек больше нет, незнакомый город, перрон, осмотревшись видим паровоз, думаем: “пойдем хоть у паровоза сфотографируемся”, что и сделали.

Дальше выбрались с путей в город, куда идти, что делать - черт его знает, начинаю включать мозг, вспоминать карту из атласа дорого, вспоминаю что город старый, стоит на Волге, на карте был обозначен речной порт, относительно железной дороги он находится на севере, выбрали самую хорошо освещенную дорогу, посмотрели что она идет на север и двинулись туда, прикидывая что впринципе из речного порта могут выезжать фуры и на ней можно по крайней мере выехать из города. Еще нам известно что раньше город был транзитным на трассе Москва-Питер, в данный момент есть объездная дорога и выезд из города на Питер находится на западе, короче, когда дошло до большого перекрестка который двигался на запад решили что по нему можем выйти из города на гос-трассу. Уточнили у охранника какого-то ночного магазина - оказывается мы были правы, аллилуя :) Пока шли слушали музыку в плеерах, рядом притормозила газель, сначала подумали что по каким то своим делам, двигались не останавливаясь, он опять догнал и притормозил рядом с нами, я и говорю Тане, мол вроде он что-то хочет, остановились, водитель спросил куда путь держим и предложил подбросить до пит-стопа на выезде из Твери, сам он оказался бывшим дальнобойщиком, и просто понял что два человека с рюкзаками вдоль дороги никем другим кроме как стопщиками быть не могут. потому и подбросил. Зовут кстати так же как и меня, теска.

На выезде из Твери сфотографировались у знака и потопали стопить - шел очень плотный поток фур - просто рай какой-то.

Застопил первую в своей жизни фуру, водитель, Анатолий, на вопрос “в Питер?” просто махнул рукой, мол залазьте.

Так ехали и болтали всю ночь до самого Питера, в сам город он разгружаться ехал в первый раз, там мы ему помогли как штурмана работая с картами - этакий симбиоз, он нам тоже сказал: “ребята, если бы не вы, плюнул на все и спать бы лег”. А так прибыли на разгрузку, а там оказывается его вообще в этот день не ждали сказали что попробуют премию за скорость пробить, в общем зарекомендовал он себя. Кстати на всю дорогу до Питера ушло 9-10 часов с учетом электрички. а это быстрее чем на поезде, притом что скоростной режим мы не нарушали. В результате: приехали быстрее чем на поезде, потратили 0 рублей 0 коп на дорогу.

В самом Питере решили добраться с Анатолием до конца, заодно посмотреть весь цикл работы. так что еще часа 4 на это ушло, проехались по питерской кольцевой автодороге, этакая экскурсия получилась по пром-зоне, своеобразный подход, но не менее интересный.

Электростанция:

Новые мосты через Неву:

Сели на метро, доехали до Финляндского вокзала, там сходили в кафешку в которой было все дорого и был дрянной кофе на хорошей кофе-машине - экономят гады. Когда въезжали в город отправил СМС папе, поздравил с днем рождения - юбилей 50 лет. Это уже 25 число значит началось… В кафешке позвонил домой спросил как там, дошла ли смс, сообщил что уже в Питере.

После добрались на электричке до Грузино, пересели на 614 автобус и часов в 5 вечера были уже в Володи. Эх… последний раз там я был больше чем 10 лет назад. Впервые увидел своего двоюродного братика которого до этого видел в состоянии “в животе у мамы”, а уже в 4й класс пошел, Полинка поступает в универ, пожелал ей удачи. Юля нас накормила, решили поспать часика 3 пока Володя не вернется с работы, куда там, почти двое суток без сна, и проснулись мы только утром.

Немного перекроили планы, решили вторую ночь ночевать там же. Утром сходили в сад пофотографировались, сходили на карьер, пособирал чернику по методу “с куста в рот”.

Рай…

на 3 с копейками поехали в город, на все про все в Питере у нас было 2 часа ну да ладно, пофоторграфировали, до брались до Александро-невской лавры, сфотографировались около Невы, впринципе программу-минимум выполнили, отправились обратно, вечером посидели, поболтали, сфотографировал всех. Вот.

Полинка после окончания школы переехала жить к отцу, правильно, молодец.

Это было 26 числа. Утром 27го поехали в обратный путь с учетом что в Грузино.

хотел зайти к деду на могилку. Оставили Таню с рюкзаками на станции сами пошли с Юлей и Ильей до могилки, сделал там пару кадров, постоял помолчал.

Ну все, теперь в обратный путь. Добираться решили “на собаках”, как после выяснилось, зря потратили время, хотя и получили свои впечатления и побывали там где в обычных условиях врядли бы побывали. На электричке добрались до Девяткино где пересели на метро, добрались до Московского вокзала и сели на электричку до Чудово, за нами в 30 минутах шла электричка до Малой Вишеры, в Чудово её дождались и доехали до М.Вишеры.

там посмотрели на печальное время прибытия ближайшей электрички и решили взять билет на поезд и доехать до Бологое, так и сделали. А вот Бологое еще той дырой оказалось, посидели около одноименного озера и попали до выхода из города, а до трассы 15 км…

В общем постояли минут 30-40 и застопили газель, всего потребовалось около 1.5 часов что бы выбраться из Бологое. Добрались и за минут 30 застопили фуру, водитель Роман, которая ехали из Финляндии, ехали болтали, после Твери заехали в забегаловку где готовят вкусную запеканку, Роман угостил нас финским амаретто. когда приехали в Москву и двигались по МКАДу Рома провел такую мини-экскурсию, рассказывая про разные достопримечательности, по дороге увидел заправку на которой было написано - “Пропан”, оказывается что почти все газели-маршрутки ездят на газе, удивлен. Прибыв до станции выгрузки встали, она открывается в 9 прибыли туда в 5 утра. Роман опять угостил нас, на этот раз, финским пивом - вкусное с горчинкой.

Посидели сделали чай.

Кадр дня:

Таня прикорнула на спальном месте. в 7 утра разбудил её попросил что бы позвонила Паше, узнала что и куда - у него в этот день свадьба.

Это уже 28 число. Когда расставались с Ромой, он отлил нам где-то около полу-литра амаретто, сейчас везем с собой. Добрались до Паши, по дороге купив цветы, они уже выкупились и ждали машины, мы быстро переоделись и вышли к ним. Загрузились в лимузин, поехали в ЗАГС. забыли фотоаппарат.

Зарегистрировали их, покатались, познакомился с Карданом, оставил свой телефон. Напились шампанским как последние дегенераты, ну или панки :) попросили ключи и отправились домой собираться, там я отрубился не знаю на сколько, разбудила Таня, пошел помылся, голова болиииииит. Собрались, посмотрели что есть время, и решили поглядеть кино “Крепкий орешек 4”, ничего там кино, но явно слабее предыдущих, хотя есть зачетные моменты.

Добрались до вокзала. Там дождались поезда где-то в 23:40 его подали, сели. На верхних шконках было белье, сказал Тане что бы залазила туда спать, а то была вообще никакая. Началось движение, проводница проверила билеты и выдала белье. Тоже лег спать, итого у нас в купе 4 человека, из них постоянно только 3е: мы с Таней и женщина пожилых лет - Валентина. Впереди 6 дней до Хабаровска, пока восстанавливаю события прошедших дней. Сегодня вот проехали Киров, едем со смещением во времени, т.е. те города что проезжали ночью теперь проезжаем днем это очень хорошо. Все, на сегодня достаточно, итак засадил ноут почти на половину.

UPD 2008.11.06

По памяти попытаюсь восстановить оставшуюся картинку.

Дорога в купейном вагоне не сильно впечатлила, 30 июля проехали Киров.

31го проехали Омск и город со славным название Тайга.

1го августа, в первый день последнего месяца лета были в Иркутске, фото дня:

2го проезжали вдоль реки Шилка, да-да, той самой в честь которой была названа знаменитая ЗСУ “Шилка” ;). Фото дня:

3-4го ничем примечательным не ознаменовались, проехали Белогорск

Ну почти конец нашего путешествия… 5го числа прибыли в славный город Хабаровск. Уезжать из него мы должны вечером в общем вагоне, а теперь времени куча куча куча. Забросили рюкзаки к знакомой Тани и поехали гулять по городу, сразу удивило - нет сопок =-)

Сходили в кино, на набережную, полюбовались на грязно-коричневый амур, на набережной таблички - не купаться! Ну купаться, мы бы и сами туда не полезли…

День постепенно приблизился к концу, приблизилось и время посадки на поезд. Сели…

Да, теперь я точно знаю одно: Я БОЛЬШЕ НИКОГДА НЕ ПОЕДУ В ОБЩЕМ ВАГОНЕ! Народ сидит чуть ли не друг друга на головах, душно, кто-то бухает. Ну и тут появился плюс: в поезде ехали два поляка, познакомились, разговорились, узнали что они решили, как выйдут на пенсию, проехаться по трансибу, попутно посещая всякие разные города и достопримечательности. Рассказали бегло где стоит побывать во Владивостоке…

6го числа под утро я сошел с вагона на станции Угольная… Всё, конец, и как-то грустно.

Oct 28, 2008 - 1 minute read -

Кластер MySQL

Очередное что потребовалось по работе, настройка и обслуживание MySQL кластера (NDB).

Кластерное решение на базе MySQL является отказоустойчивым, избыточным и масштабируемым решением для баз данных, основанным на открытых исходных текстах. Использование такой схемы позволяет достигнуть надежности в 99.999 %. В этой статье мы опишем процесс установки, настройки и тестирования кластера MySQL, состоящего из трех узлов.

Статья: http://www.linuxcenter.ru/lib/articles/soft/mysql_cluster.phtml

Oct 27, 2008 - 1 minute read -

Solaris: SMF

В ОС Solaris 10 появилась новая подсистема управления сервисами - System Management Facility (SMF). Так как все сервисы, описываемые тут, идентичны с точки зрения SMF, то в этом документе рассмотрен пример реализации управления запуском одного сервиса на примере сервера MySQL и описан минимум команд для управления сервисом.

Статья тут: http://www.linuxcenter.ru/lib/articles/system/solaris_smf.phtml

От себя замечу, что система близка к daemontools, но, наверное, более навороченная. Ну а использование XML конечно да…

Oct 26, 2008 - 4 minute read - туризм

Поход на хр.Большой Воробей

Ну вот, сходили таки на пару деньков в горы. Довольный как черт :)

Ходили я, Серега и Женя (Бертолет).

Изначально маршрут планировался: высадиться на ст.74 км, дальше по дороге пройтись через деревню, некоторое время идти по ней, потом свернуть на хребтик, подняться по нему до Туманной, перейти на метеостанцию и двигаться дальше по хребту, выбрать место для ночлега, переночевать, подняться, спуститься в районе г.Суходол и выйти в Лукьяновку.

Но погода немного скорректировала планы… В итоге маршрут получился таким:

Oct 24, 2008 - 3 minute read - туризм maps

Картографические приложения, а так же визуализация

Вообще, на данный момент, краткий обзор одного и ссылки на тему.

QLandkarteGT

Программа для работы с GPS. Позволяет скачивать треки с навигаторов Garmin, скачивать и заливать путевые точки.

Сайт программы: www.qlandkarte.org

Ну что самое главное, и что мне в первую очередь оказалось необходимым - он может привязывать карты! Используется для этих целей библиотека GDAL, которая позволяет создавать, так называемые GeoTiff - TIFF файлы с параметрами привязки. Для преобразования систем координат используется PROJ.

В стандартных репозитариях ArchLinux программы нет. Но есть в AUR. В распоряжении два варианта:

какой выбрать - решать вам. Сборка svn версии у меня прошла без сучка и задоринки. Чего и вам желаю :)

Небольшое замечание по поводу привязок, нужно как минимум 3 точки привязки. Координаты вводятся в виде “N43 20.000 E132 30.000”, где N/S - северная/южная широта, E/W - восточная/западная долгота, 43 и 132 - градусы, 20.000 и 30.000 - минуты и тысячные минуты.

Ещё не забыть указать проекцию, для наших карт почти поголовно Пулково 1942. В строке Projection щелкнуть по кнопке с “волшебной палочкой” выбрать

  • Projection: Mercator
  • Datum: Pulkovo_1942

Если где неточности - подправьте.

После привязки карту можно сохранить в формате GeoTiff. Да… перед привязкой карту нужно перегнать в 8-bit цвет или оттенки серого. Форма PNG или TIFF. Я перегонял в серый цвет при помощи ImageMagick:

convert -colorspace Gray in.jpg out.tiff

На сайте программы стоит обратить на раздел MAPS, где объясняется, где брать карты. Если кратко:

“Для работы с программой вам нужны карты. В общем случае вы можете их купить. Свободные цифровые растровые карты редкость. Коммерческие же облагаются жесткими ограничениями и имею закрытые форматы…”

Итак, что предлагают разработчики:

  • отсканировать карту и привязать её - программа позволяет это сделать (уже выше писал)
  • для использования 3D объектов и видов нужны данные о высотах, и ссылка на коллекцию таких данных: http://www.viewfinderpanoramas.org/dem3.html
  • Ага, ещё один источник: карты для OziExplorer. Тут скрипт для их конвертации в GeoTiff: http://sourceforge.net/projects/ozi2geotiff PKGBUILD’а для ArchLinux нету, но у меня пока и потребности конвертировать так же нет :) Как я заметил, архивов для скачивания нет, скрипт есть только в SVN:svn co https://ozi2geotiff.svn.sourceforge.net/svnroot/ozi2geotiff ozi2geotiff
  • Одним из источником карт назван проект http://www.openstreetmap.org.

Ссылки по теме:

  • OpenEV - программа анализа и просмотра растровых и векторных геоданных (фотоснимки, спутниковые снимки и т.п.)
  • mapview - просмотр карт с terraserver
  • GRASS/Qt - интерфейс на Qt для GIS GRASS
  • XRMAP, альтернативный сайт - The Xrmap program provides a user-friendly X client for generating images of the Earth and manipulating the CIA World data bank II global vector information (a huge geodata set of about 45 MB).
  • CVLView - отображение данных, сохраненных в pfs-файлах. PFSTools может быть интегрирована с Octave и Mathlab.

Oct 21, 2008 - 2 minute read - linux

Автоподключение PPPoE. Переподключение при разрыве.

Запостил как ответ на форуме русского сообщества ArchLinux: http://archlinux.org.ru/forum/viewtopic.php?f=8&t=922&p=6580#p6580

Сохраню и для себя :)

Итак, стоят пакеты rp-pppoe и ppp. Дальше.

С переподключением при обрыве, имхо, только завести pppoe через daemontools:

http://aur.archlinux.org/packages.php?ID=16966

ну дальше читать документацию как добавлять сервисы. Если кратко, для ‘pppoe’, то так:

  • создаём директорию /etc/ppp-internet
  • создаём файл /etc/ppp-internet/run с следующим содержимым:
    #!/bin/bash
    
    # тут укажи сетевую которая у тебя подключена
    ifconfig eth0 up
    
    # nodetach - обязательно. за подробностями в документацию.
    exec pppd nodetach call dsl-provider
    
  • делаем его исполняемым: chmod +x /etc/ppp-internet/run

Потом создай этот самый dsl-provider, файл /etc/ppp/peers/dsl-provider с примерно следующим содержимым:

plugin rp-pppoe.so
# network interface
eth0
# login name
name "pppoe-login"
# use assigned DNS
usepeerdns
# add default route to connection
defaultroute
hide-password
noauth
# create interface with name ppp999 (in my case others users from LAN have access to Internet via VPN for accounting purposes)
unit 999

В конфиге никоим образом не должно быть опции “persist”. Логин/пароль должны быть прописаны в /etc/pap-secrets или /etc/chap-secrets

ну и последний пасс:

ln -s /etc/ppp-internet /service/

управлять процессами daemontools можно при помощи команды

svc

UPD:

Ссылки по теме:

Oct 18, 2008 - 1 minute read - linux

UFRaw 0.14

Недавно вышел сабж. Подробности перепечатывать смысла нет, посмотреть новость можно на LOR

Из вкусного:

  • экспериментальная поддержка автокоррекции вносимых оптикой дефектов (геометрические искажения, хроматические аберрации и пр.) при помощи LensFun
  • добавлено упрощённое и улучшенное создание ч/б версий (по яркости, светимости, значению и через микшер каналов)

ЗЫ если на ЛОР не читать комменты, то, можно сказать, даже приличный сайт :)

Oct 4, 2008 - 2 minute read -

Из присланного про жизнь тяжелую разных животных

Прислали мне на почту… ну понравилось очень :)

  1. Капля никотина убивает лошадь, а хомячка разрывает на куски.
  2. Капля каннабиноида пробивает лошадь на “хи-хи”, а хомячка снова разрывает на куски - но уже от хохота.
  3. Капля кокаина раскрывает творческие потенциалы лошади, а хомячка начинает переть от собственной невепенности.
  4. Капля героина повышает самооценку лошади, а хомячка начинает ещё больше плющить от собственной невепенности.
  5. Капля кетамина обеспечит лошади четыре часа здорового безмятежного сна, а хомячка расколбасит на пару суток.
  6. Капля амфетамина позволит лошади сосредоточиться, а хомячка доведёт до паранойи и окосения.
  7. Капля триптамина обеспечит лошади некоторое количество радужных глюков и лёгкий стрём на отходняке, а у хомячка из головы начнут расти рога, цветы и прочая разноцветная гадость. Часов на восемь.
  8. Капля мескалина сместит у лошади точку сборки, а хомячка превратит в Шай-Хулуда. Карликового.
  9. Капля лизергина откроет лошади путь в Матрицу, а для хомячка закроет двери в реальный мир.
  10. Капля водки никак не подействует на лошадь, а хомячок будет в мясо, с диким сушняком наутро. Видели, как хомячок выпивает море? Отож…
  11. Капля ацетона заставит лошадь потерять нюх, а хомячок начнёт видеть мир в синем цвете.
  12. Капля суперклея, капнутая на копыто лошади, будет ей пофигу, а хомячок сдохнет с голоду.
  13. Капля скипидара в попе лошади придаст ей сил для рывка на финишной прямой, а хомячок станет просто реактивным микрокиборгом - двадцать минут высшего пилотажа на одной заправке!
  14. Капля ртути лошади невкусно, но пофиг, а хомячку этого хватает, чтобы разглядеть Альфу Центавра и узнать, как же красив наш мир в Римановом пространстве.
  15. Капля серной кислоты разъест лошади челюсти, а хомячок станет лужей.
  16. Капля селитры прочистит лошади зубы, а хомячку - мозги.
  17. Капля Макрофлекса для лошади - жвачка, для хомячка - домик.
  18. Капля юмора лошади бы не повредила, а вот для хомячка это было бы чересчур.

Oct 2, 2008 - 2 minute read - linux

Ещё немного про организацию CA (центра сертификации)

Для начала использовал программу TinyCA умеет многое и почти всё что нужно, единственно что не умеет (или я не разобрался как) делать иерархию подписывания, т.е. сертификат cert1 подписан certca, а сертификат cert2 подписан сертификатом cert1… Плюс неожиданно обнаруженная бага, при которой при экспорте сертификата в pkcs#12 для импортирования его в Windows, последний не импортируется.

Написана прога на PyGTK.

Поиски навели на проект XCA. Написан на QT4, при компиляции потребовались небольшие шаманства с файлом lib/x509rev.cpp конкретно потребовалось сделать следующее (в формате diff):

--- x509rev.cpp.orig	2008-10-02 13:19:11.000000000 +1100
@@ -7,16 +7,21 @@
 
 #include "x509rev.h"
 
-#if OPENSSL_VERSION_NUMBER >= 0x00908000L
-#define X509_REVOKED_dup(x5r) <br/>
1. ASN1_dup_of (X509_REVOKED, i2d_X509_REVOKED, d2i_X509_REVOKED, x5r)
+//#if OPENSSL_VERSION_NUMBER >= 0x00908000L
+//#define X509_REVOKED_dup(x5r) <br/>
+//	ASN1_dup_of (X509_REVOKED, i2d_X509_REVOKED, d2i_X509_REVOKED, x5r)
+//
+//#else
+//#define X509_REVOKED_dup(x5r) (X509_REVOKED *)ASN1_dup( <br/>
+//	(int (*)(...))i2d_X509_REVOKED, <br/>
+//	(char *(*)(...))d2i_X509_REVOKED, <br/>
+//	(char *)x5r)
+//#endif
 
-#else
 #define X509_REVOKED_dup(x5r) (X509_REVOKED *)ASN1_dup( <br/>
1. (int (*)(...))i2d_X509_REVOKED, <br/>
2. (char *(*)(...))d2i_X509_REVOKED, <br/>
+	(i2d_of_void *)i2d_X509_REVOKED, <br/>
+	(d2i_of_void *)d2i_X509_REVOKED, <br/>
 	(char *)x5r)
-#endif
 
 x509rev::x509rev()
 {

У кого-то наверное запустится и без этого, ибо чует моё сердце здесь многое зависит от версии компилятора и/или библиотеки OpenSSL.

Ну краткий обзор… Да управление не такое удобное как у TinyCA, хотя, возможно, это дело привычки. Но, как показалось, более функциональное. И при этом умеет иерархию. Старый корневой сертификат и ключ заимпортировал, на основе их делаю подписи. Вся база хранится в зашифрованном виде в единственном файле (база данных, подозреваю, что возможны случаи поломки всего этого дела), но возможен дамп базы, и будут по каталогам разложены сертификаты, реквесты и т.д.

Пока юзаю и разбираюсь. Время покажет.

Oct 1, 2008 - 2 minute read - linux

umask: дефолтные права к новосозданным файлам

На заметку.

Можно заметить что когда вы создаёте новый файл, к примеру, из тела програмы, при помощи fopen/open (без задания прав доступа), или командой touch из командной оболочки, этот файл приобретает какие-то предустановленные права. Значение этих прав доступа определяются значение umask.

Посмотреть текущее значение umask можно соответствующей командой:

$ umask
0026

При таком значении, права новых файлов будут 0640 - чтение/запись для владельца, чтение для группы и запрет доступа для всех остальных. Специальные биты сброшены (первый 0)

Вычисляются значения umask следующим образом:

0666 - <нужная маска> = <значение umask>

В нашем примере:

0666 - 0640 = 0026

Обычно в Linux-системах, которые я видел в последнее время, значение umask - 0022 (путем несложных вычислений получаем права доступа - 0644). Мне кажется, что не во всех случаях целесообразно разрешать ВСЕМ доступ на чтение к файлу, тем более, что иногда на сервере дается chmod +x на домашний каталог пользователя, дабы web-сервер смог получить доступ к ~/public_html (как там подробнее настраивать, это уже личное дело каждого).

Зачастую значение umask задается в стартовых скриптах, либо, в скриптах входа в оболочку. Так, в случае Archlinux значение umask задается в файле /etc/profile. Локально значение umask можно изменить в файле ~/.profile или, к примеру, ~/.bash_profile

Ну и в заключение, не сколько от себя, так, вроде, всегда было в RedHat, в качестве группы пользователя рекоменду создавать индивидуальную группу, соответствующую имени пользователя, а уже когда надо - дораздавать права.