vermin.eu.org

Standardowy proces aktualizacji Debiana to wydanie polecenia aptitude update && aptitude upgrade. Od jakiegoś czasu jednak w dystrybucjach testing i unstable Debian wprowadził zmianę swojego systemu aktualizacji i zamiast ściągac duże pliki (jak np. main/Packages.gz )m ściąga się pliki różnicowe dla danej architektury. Daje to oczywiście oszczędność pasma - jeśli coś się zmieniło, to nie ściągamy całego pliku, ale tylko różnicówkę od ostatniej aktualizacji. Jest oczywiście pewien minus - więcej plików, to dłuższy czas ściągania, ponieważ jest więcej zapisów, kończenia i rozpoczyniana transakcji.

Przy okazji - można aktualizacje różnicowe wyłączyć ustawiając opcje

Acquire::PDiffs “false”;

w /etc/apt/apt.conf lub dodając parametr przy uruchomieniu apt-get update -o Acquire::Pdiffs=false.

Podczas rozmowy z Adrianem zastanawialiśmy się, czy dałoby się zmienić jakoś także sposób aktualizacji samych pakietów. Po co za każdym razem przesyłać całe archiwum z nowym pakietem, powielającym wiele plików, które nie musiały zostać zmienione? Gdyby tak stworzyć wersję podstawową, powiedzmy mój-pakiet_1.0.0_all.deb. Następnie, w miarę poprawek (w stable) lub rozwoju (w testing/unstable), można by tworzyć do niej wersje delta mój-pakiet_1.2.1_all.deb. W skład takiego pliku wchodziłyby skrypty pre- i post- instalacyjne, plik konwersji konfiguracji, (jeśli taka by miała mieć miejsce lub o dokonfigurowaniu nowych opcji jeśli są wymagane) oraz oczywiście pliki różnicowe. Wiadomo, że przy większych zmianach, wymienia się większość plików, ale z drugiej strony często, przy modułowej budowie aplikacji występują pliki, które nie wymagają zmian. Wiadomo - wtedy, kiedy następuje rebuild wszystkiego albo gdy naprawdę stworzenie pliku zmian byłoby dłuższe niż nowy pakiet to lepiej budować nowy pakiet - ale czy często tak jest? Sprawa nie dotyczy jednak tylko plików .deb, ale wszystkich linux distro, któe zasypują użytkowników listą wielomegabajtowych poprawek. W końcu i Microsoft w końcu zmniejszył rozmiary swoich pakietów z poprawkami starając się je minimalizować (typowy cost-reduction)…

“The definition of a consultant: When you hire a consultant and ask him what time it is, he borrows your watch, tells you the time and then keeps the watch.”
—Walter Weintz

W Windows wykorzystuje się wiele zmiennych systemowych - chociażby w ustawieniach profili, w podawaniu położenia plików. Większość z nich możemy zobaczyć wydając w cmd.exe polecenie set. Jest jednak kilka takich, które nie są tam widoczne, a potrafią się czasem przydać.

• %DATE% - podaje datę w formacie polecenia date
• %TIME% - podaje czas w formacie polecenia time
• %CD% - podaje ścieżkę do bieżącego katalogu
• %ERRORLEVEL% - podaje kod zwrócony przez ostatnie polecenie
• i to mnie powaliło - %RANDOM% - zwraca liczbę z przedziału 0 do 32767… chyba jakiemuś programiście się nudziło

Ostatnio (dopiero), musząc wykonać operacje na dużej ilości plików, odkryłem jak przydatne jest polecenie for w cmd.exe

1. Wykonaj jakąś operację na zestawie plików - w tym wypadku pobierz odpowiednie dane z plików XLS

wykonuje skrypt getData.vbs na wszystkich plikach Excela w bieżącym katalogu.
Wzięcie zmiennej %i w cudzysłów, pozwala na rozwiązanie problemu ze spacjami w nazwie pliku. Jak widać sama zmienna został tu zmodyfikowana - modyfikator ~f rozwija zmienną plikową do pliku z pełną ścieżką.

2. Wykonaj jakąś operację na plikach umieszczonych w podkatalogach

Ta wspaniała komenda przyda się, gdy zgraliśmy kilka stron z obrazkami i chcemy te obrazki właśnie przenieść szybko do katalogu z obrazami. For przejdzie przez wszystkie podkatalogi i dla zbiorów spełniających warunek wykona operację przeniesienia plików.

3. For potrafi przejść przez plik typu csv i wydobyć z niego odpowiednie informacje

Dzięki temu z pliku /etc/passwd (w którym znajdują się zazwyczaj takie informacje jak Name:Password: UserID:PrincipleGroup:Gecos: HomeDirectory:Shell) pod windowsem możemy wydobyć username (%i), id (%j), id grupy (%k). Pozostałe tokeny (*) znajdują się w zmiennej %l

4. Można też spingować hosty w zadanym zakresie - tutaj przejdziemy pojedyńczo przez całą podsieć 192.168.123.[1-254]

lub od końca

To tylko przykłady tego, co może to polecenie, a dzięki ogromnej ilości parametrów potrafi wiele - od niedawna to mój szwajcarski scyzoryk pod Windows.

W ramach walki ze spamem przeszliśmy już przez MUA oraz wstępnie zabezpieczyliśmy MTA. Wstępnie, ponieważ nadal ktoś może podszyć się pod domenę z whitelisty a także nie wszędzie możemy zastosować greylisting. W tej sytuacji wyposażymy naszego postfixa w kolejne narzędzia.

Dwoma chyba najpopularniejszymi pakietami do walki ze spamem oraz wirusami są spamassassin oraz clamav. Ponieważ są to pakiety zewnętrzne, do integracji ich z postfixem użyjemy pośrednika - amavisd-new. Po instalacji odpowiednich pakietów, czyli standardowym aptitude install amavisd-new spamassassin clamav clamav-daemon clamav-freshclam otrzymujemy działające środowisko. Teraz musimy tylko poinstruować amavisa i postfixa jak z niego korzystać.

Read more »

W poprzednim artykule tyczącym się walki ze spamem na stacji klienckiej wspomniałem o konieczności przerzucenia ciężaru filtrowania na serwer. Ten sposób filtrowania ma niestety, jak każdy dobry kij, conajmniej dwa końce. Po pierwsze - musimy zapewnić użytkownikowi możliwość dotarcia do przesyłki, która jednak może spamem nie być (false positives), po drugie wszystkie wiadomości i tak są wrzucane na serwer - czyli mamy zajęte pasmo oraz przestrzeń dyskową.

Metodą, która pozwala obejść te minusy jest graylisting. Działa on w sposób bardzo prosty, wykorzystując sposób działania serwerów SMTP oraz typowe zasady działania spamerów.
Serwery SMTP próbują przesłać wiadomość ‘do skutku’, to znaczy jeśli sesja SMTP nie powiedzie się przy pierwszej próbie, po chwili (równej zazwyczaj długości kolejki i interwałowi jej opróżniania - wiadomość na serwerze wysyłającym przesuwana jest na koniec kolejki przy niemożności dostarczenia), próbują ponownie. Spamerzy zazwyczaj nie wysyłają wiadomości ponownie i ignorują kody błędów. Oznacza to, że jeśli przy pierwszej próbie wysłania nowej wiadomości serwer specjalnie odpowie kodem błędu, to “za chwilę” ta wiadomość jednak do niego dotrze. Jak każda metoda, także ta ma pewne minusy - pierwszym i podstawowym jest zgoda zarządu na jej wprowadzenie - niektóre firmy nie chcą/nie mogą pozwolić sobie na opóźnienia w przyjmowaniu poczty. Ponadto ze względów organizacyjnych wprowadza się często adres publiczny, na który może przychodzić niezamówiona oferta handlowa. Drugim powodem, techcznicznym, jest dodanie kolejnego punktu, gdzie może pojawić się problem w sposobie działania serwera pocztowego. Trzecim, także technicznym problemem są sytuacje, gdy serwer po uzyskaniu kodu 450 zaprzestaje prób i raportuje problem z wysłaniem wiadomości - niestety takie rzeczy także się zdarzają.

Sposobem na zminiminalizowanie opóźnień w kontaktach z partnerami biznesowymi jest stworzenie listy ich domen pocztowych i dodanie ich do białej listy domen, które nie będą poddawane graylistingowi. Oczywiście, jeśli nie jest wprowadzony SPF pozwalający na jako-taką weryfikację adresu nadawcy, to każdy kto wstawi sobie adres domeny z białej listy będzie mógł przesłać spam na nasz serwer pocztowy… Implikuje to niestety także konieczność zastosowania także innych metod walki ze spamem.

To tyle tytułem przydługiego wstępu o samej metodzie, w końcu warto jednak dać odpowiedź na temat - czyli jak dodać graylisting do naszego postfixa? Za przykład posłuży oczywiście mój ulubiony debian i jego pakiet postgrey - o którym warto poczytać na stronie autora. Paczki postgrey są dostępne także dla gentoo, fBSD oraz Fedory.
Jego instalacja jest prosta - komenda aptitude install postgrey spowoduje zainstalowanie dwóch pakietów libberkeleydb-perl oraz postgrey. Automatycznie po instalacji wstaje demon postgrey umiejscawiający się na porcie tcp 60000. Port oraz interfejs (domyślnie localhost) możemy zmodyfikować w /etc/default/postgrey. Możemy tam także zmodyfikować komunikat pojawiający się wraz z błędem 450 - wystarczy do opcji dodać parametr –greylist-text. Najprostsza część instalacji za nami.
Teraz musimy w /etc/postfix/main.cf dodać do smtpd_recipient_restrictions część check_policy_service inet:127.0.0.1:60000. Warto zastanowić się po jakich regułach dodamy tą wartość. U mnie występuje ona po permit_mynetworks, permit_sasl_authenticated co pozwala ominąć greylisting dla wysyłających z moich sieci oraz dla użytkowników zautentykowanych.

Po restarcie postfixa mamy już działający greylisting - jak teraz jednak dopuścić pracę bez graylistingu dla konkretnych domen oraz adresów? Odpowiednie pliki znajdują się w /etc/postgrey - są to odpowiednio whitelist_clients (częściowo zapełniony) oraz whitelist_recipients.

Na koniec ciekawostka - ze względu na te pliki właśnie, postgrey znajduje się także w repozytorium volatile…

Strategii walki ze spamem jest kilka. Pierwsza z nich, to filtry antyspamowe użytkownika zawarte w samym MUA, takie jak filtr bayesowski w thunderbird, czy też aktualizowane co jakiś czas filtry w Oulooku. Plusem tego rozwiązania jest to, że możemy spokojnie przejrzeć wszystkie wiadomości - żadne false positives nie zaszkodzą ciągłości naszego biznesu. Niestety te metody zmuszają nas do ściągnięcia wszystkich wiadomości na stację lokalną, co powoduje czasem spore obciążenie łącza, konieczność składowania tego całego bałaganu gdzieś choćby na chwilę - no i zazwyczaj i tak przejdziemy przez zawartość Junk-mail, chociażby po to, żeby przejrzeć co tam sie znalazło.

Drugim, ciekawszym rozwiązaniem jest zainstalowanie na komputerze pośrednika, swego rodzaju MTA, który będzie filtrował wiadomości przychodzące na naszą pocztę wg zdefiniowanych reguł. Przykładem takiego rozwiązania jest chociażby spampal. Pozwala on na sprawdzenie poczty pod kątem występowania w niej odpowiednich wyrażeń regularnych, dodatkowo ma opcję filtru Bayesa oraz sprawdzenia poczty przychodzącej w bazach RBL.
Ogromnym plusem takiego rozwiązania jest możliwość jego dowolnej konfiguracji, stworzenia białych list poczty a na dodatek uniezależnienie się od mechanizmu antyspamowego samego klienta pocztowego, w szczególności, jeśli na raz używamy kilku (ot chociażby thunderbird, opera, outlook).
Minusów jest także kilka - dużo możliwości konfiguracji to zazwyczaj także pewien problem z poprawnym ustawieniem programu. Są jednak większe problemy - pierwszym z nich jest konieczność współpracy z oprogramowaniem antywirusowym, które ma czasem problem z takim pośredniczącym MTA, co wymusza specyficzną konfigurację oprogramowania klienckiego. Drugim, to problemy z używaniem szyfrowania poczty - w końcu takie MTA to typowy MITM. Nie wspominam już tutaj nawet o exchange czy protokołach innych niż POP3… Widać ewidentnie, że ciężar walki przerzucić trzeba na serwer.

Miesiąc temu pojawił się hotfix, który ma pomóc w sytuacji, kiedy system 2003 przestaje odpowiadać w momencie, gdy jest za dużo operacji dyskowych. Problem leży w sterowniku ntfs.sys, który czasem się przywiesza.
Fajnie, że pojawiła się poprawka, ale wciąż po głowie tłuką mi się pytania - dlaczego operacje dyskowe (szczególnie dyskietkowe) potrafią przyblokować system? I dlaczego jeśli błąd jest w sterowniku do NTFS to nie pojawił się chociażby hotfix także do XP? Strange…

Dziś przeniosłem swój blog z jednego, niestety nie posiadającego dobrego łącze serwera na drugi. Procedura jest bardzo prosta:

1. Skopiowałem wszystkie pliki, razem z .htaccess.
2. Zrobiłem backup bazy (wtyczka WP-DB-Backup jest tu bardzo pomocna)
3. Odtworzyłem bazę
4. Zmieniłem plik wp-config.php na zawierający właściwe dane połączenia z bazą
5. Wrzuciłem pliki na nowy serwer

Blog działa, feedburner działa, wszystkie wtyczki działają (bez ich uprzedniego wyłączenia).

[problem]
Problemem są niestety polskie znaki diakrytyczne, które baza danych na nowym serwerze serwuje mi w iso-8859-2 zamiast w UTF-8.
Baza ma zapisane kodowanie UTF8_general, dane w niej (zaimportowane) są także w UTF8. Wordpress ma ustawione kodowanie UTF-8. Wszystko teoretycznie w porządku, ale character_set dla serwera ustawiony jest na latin2. W związku z tym nowe wpisy (takie jak ten) są zapisywane w bazie w UTF8, tylko innym (jeśli przeglądam podgląd danych w phpmyadmin to po ustawieniu kodowania na utf8 nowe posty mają krzaki). O co chodzi?!
Na razie, żeby działało zmieniłem kodowanie na ISO-8859-2, ale to nie jest dobre rozwiązanie

Wczoraj wieczorem dostałem SMSa od przyjaciela. Z jego komórki +44 784 xxxxxxx na moją +358 44 xxxxxxx. Abstrakcyjna sytuacja…
Pomimo numeru, ja jeszcze pracuję w Polsce, (choć już od pewnego czasu przebywam w zdecydowanie innym kraju). Przyjaciel już porzucił krajowe pielesze. Czuję jednak, że i mi niedługo przyjdzie czas szukać szczęścia gdzieś indziej, gdzie wody szersze i specjalizacja mimo wszystko węższa - nie trzeba być człowiekiem dosłownie od wszystkiego (swoiste przekleństwo bycia w miarę inteligentym, relatywnie obrotnym i dość komunikatywnym w ogólnie rozumianych językach).
Pozostaje jedynie pytanie - dokąd w Europie się udać? I na jak długo? A może jednak zostać w kraju i liczyć, że w końcu będzie normalnie?

W międzyczasie, niepostrzeżenie minął rok istnienia tego bloga. W ciągu tego ponad roku powstało 131 notek, na blogu znalazło się 99 komentarzy (z których około 12 to wewnętrzne trackbacki, a 31 to moje odpowiedzi), dodanych przez 36 komentujących (znów odejmując trackbacki i moje odpowiedzi).

Na blogu najczęściej piszę o Windows, o Debianie i o bezpieczeństwie. Oczywiście piszę także o sobie

Czego szukają internauci wg wskazań mojego bloga? Przede wszystkim artykułów o zmianie hasła roota w mysql. Ponadto zainteresowanie czyszczeniem dysku, używaniu dwóch monitorów, pamięci z technologią U3, oraz hasło do płatnika. Dodatkowo sporym zainteresowaniem cieszy się użycie postfixa i knockd.

Po drobnej analizie dat widzę, że piszę nieregularnie (szczególnie w ostatnim okresie, ale na ten temat będzie osobna notka), po analizie linków i feedburnera widzę, że cieszę się mikrym, ale jednak zainteresowaniem. Cóż - piszę głównie dla siebie, więc wypada się z tego cieszyć I ten ostatni punkt powoduje, że pisać będę dalej. I jak to jest z noworocznymi postanowieniami - częściej i ciekawiej.

I na koniec jedno, ale bardzo ważne pytanie - czego Wy, moi czytelnicy, oczekujecie od tego bloga? Co Wam się podoba a co nie? Czekam na wzrost ilości komentrzy…

Dobre programy zamieściły porównanie wersji nowego pakietu biurowego MS Office. Widać rozrost ilości aplikacji, widać rozrost ilości wersji. To czego mi cholernie brakuje, to możliwość komponowania swoich odmian.

Odmiana pierwsza. Zwykłemu użytkownikowi biurowemu wystarcza czasem sam Word. Jeśli ma potrzebę korzystania z outlooka, to zazwyczaj pewnie i tak dostanie go z Exchange’a (mało widziałem ludzi, którym ot tak sobie potrzebny jest duży outlook z jego możliwościami zarządzania kontaktami).

Odmiana druga. Do powyższej pozycji dodałbym Excela - pozwala już na tworzenie prostej bazy danych (wiele ludzi go do tego wykorzystuje) - jest taka odmiana i chwała im za to (chociaż znów - wielu ludziom nie jest potrzebny outlook).

Odmiana trzecia - dla menedżera, teoretycznie SBE. Przydatne jest rozszerzenie outlooka o kontakty biznesowe, chociaż znów, jeśli firma jest większa to i tak ma jakiś tam system CRM, więc ta wersja im odpada. Oczywiście można tu dywagować dlaczego mi to przeszkadza? Otóż wszystko jest w porządku, ale ten moduł jest także w wersji proffesional, której raczej small business nie kupi… Dlaczego nie można z tego dodatku zrobić stand-alone, albo właśnie opcji rozszerzenia?
I po co mi ten cholerny publisher?

Odmiana czwarta - power user. Excel, Word, Outlook (bez dodatków), Access (wiem czego chcę i po co mi to), InfoPath (bo będę tworzył pracę innym). Ale po co mi publisher? Po co mi cała reszta badziewia? Tak naprawdę powinna istnieć możliwość zakupienia tych dodatków on-line do wersji basic, jako add-on. Pozwoliłoby to firmom łatwiej rozwijać pakiety oprogramowania w miarę rozrostu pewnych stanowisk a także ułatwiłoby przenoszenie tego extra oprogramowania pomiędzy stacjami.

Kolejnym tematem jest oczywiście chora polityka licencjonowania pakietu Office. Weźmy pod rozwagę małą firmę. Zaczynamy od jednego, dwóch komputerów. Oczywiście ze względów oszczędnościowych kupujemy OEM. Po jakimś czasie kupujemy kolejne dwa komputery (biznes jak widać ‘wypalił’). Znów OEM. Idąc tą ścieżką po jakimś czasie mam ileś tam OEMów, w różnych wersjach. Problemy z tym podejściem są dwa:

1. Nie mogę skonwertować OEMów na licencję grupową (nawet za partial pay), która pozwoliłaby mi łatwiej zarządzać licencjami w firmie
2. Nie mogę przenosić łatwo oprogramowania pomiędzy komputerami - a okazuje się, że pracownik, który wcześniej działał tylko na Excelu nagle jednak potrzebuje Accessa, przyda mu się Infopath (ot, rozwinął się).

Gdyby office składał się z kilku komponowalnych składników, mógłbym łatwo dodać do tego co mam nowe opcje - a tak muszę kupować nowy komputer… z OEM a stary dać nowemu pracownikowi albo wymyślić inne jego przeznaczenie.
Tak - wiem. Gdybym miał pakiet grupowy, to nie byłoby problemu, mógłbym spokojnie przenosić office. Ale znów - nie chcę przepłacać i płacić za aplikacje, których moi pracownicy nie będą wykorzystywać! I skąd mogłem wiedzieć, że tak rozwinie się sytuacja? Rozwój biznesu ewidentnie powoduje konieczność ponoszenia podwójnych wydatków na oprogramowanie MS (najpierw kupię OEM, a potem kupię nie dość, że jeszcze taz to za dużo aplikacji w MOLPie).
Gratuluję MS podejścia do Small Biznesu. Dopóki nie zmieni się pewne myślenie, to cały czas będzie to dobre oprogramowanie - ale dla enterprise/home user. Rozwijający się biznes, patrzący poważnie na koszty wybierze trzecią drogę - bo na szczęście jakaś jest.

Outlook potrafi czasem się zaciąć. Na tyle, że nie potrafi wysłać wiadomości, która jest w outbox. Ba, potrafi zgłaszać, że wiadomości są nie wysłane i mimo to nie wysłać wiadomości. Zdarzenie to ma miejsce, gdy przeczytamy wiadomość znajdującą się w skrzynce nadawczej.

Rozwiązanie jest banalne… i głupie. Wystarczy otworzyć wiadomość ponownie, przejść do innego folderu i dopiero wtedy nacisnąć wyślij. W rezultacie outlook przypomina sobie co to miał zrobić i zaczyna wysyłać wiadomość. Piękno i naturalna prostota, nieprawdaż?

Nie jestem wyborcą PiS. Nie podoba mi się ich styl prowadzenia Polski ku wspólnej Europie. Nie jestem też (już) wyborcą PO ani tym bardziej innej polskiej partii. Właściwie jestem daleki od polityki - chyba najbliżej mi aktualnie (geograficznie) do szwedzkich partii, które rozpoczęły działania zgodne z moimi zainteresowaniami (znaczy bezpieczeństwo, nie hacking ;-)).

Niemniej z przyjemnością oglądam wojnę o rząd dusz, która toczy się w polskiej telewizji. O ile sporna reklamówka PO była dla mnie bez wyrazu, to mocne akcenty reklamy PiS są przepiękne. Przepraszam, ale przy takich copywriterach to PO może się schować. I większa, łatwiejsza w zrozumieniu dosadność, jak i trafniej dobrane argumenty. Szkoda tylko, że za tym niestety nie idzie rzeczywista poprawa warunków życia w Polsce, za zarobione w Polsce, a nie zagranicą pieniądze…

Powstał następujący problem - chciałem sobie włączyć film pod linuxem. Rzadko to robię, bo jednak jak jestem pod linuxem to pracuję, a relax mam pod Windowsem. Okazało się jednak, że totem, który jest domyślnie zainstalowany jako odtwarzacz filmów wywraca się przy starcie pisząc coś o katalogu mcop (can’t create mcop directory).
To było proste - wystarczyło stworzyć katalog o nazwie maszyny, a dokładniej wydać polecenie:

Niby pomogło, ale totem nadal wywracał się po starcie, sugerując zbyt mało pamięci (BadAlloc (insufficient resources for operation) BadRequest (invalid request code or no such operation)). Okazało się, że ładuje grafikę PNG (splashscreen), która po dekompresji coś mu się nie zgadzała i powodowała wyjątek. Super program swoją drogą, że niemożność załadowania splashscreena to krytyczny wyjątek…
Znowuż trzeba było odwołać się do operacji na plikach - tym razem wystarczyło zmienić rozmiar pliku totem_logo.png w /usr/share/totem na 800×600… lub go skasować. To nie powoduje problemów.

Haha! Teoretycznie już wszystko powinno działać! Niestety, tu na przeszkodzie stanęły dla odmiany sterowniki do chipsetu. Z niewiadomych przyczyn po starcie aplikacji film odtwarza się w miarę ok. Niemniej już drugie włączenie powoduje ostre zniekształcenia kontrastu i jasności - jakby jakieś wartości ustawiały się od razu w położeniach maksymalnych. Tego problemu na razie nie udało mi się zwalczyć