• Возня с файлами (2)

    Это продолжение прошлого поста на тему синхронизации файлов. Небольшое дополнение и руководство как все настроить.

    Одно время я бекапил файлы в S3 при помощи aws cli — утилиты на питоне. Она работает просто: указываешь источник и приемник, и файлы переливаются из первого во второе. Источником и приемником могут быть локальная папка или бакет S3. В случае с S3 клиент посылает HEAD-запросы, чтобы сберечь трафик.

    Схема хороша тем, что протокол S3 поддерживает масса сторонних сервисов, например Яндекс.Облако, Digital Ocean, Exoscale (где автор имел честь работать) и другие. Если что-то пойдет не так, переезд сводится к изменению урла в настройках.

    Для айфона нашлось приложение S3 Manager, написанное на коленке одним добрым человеком. Показывает файлы из облака, умеет сохранять локально. Спартанское, немного топорное, но в этом и прелесть. Работает с Яндексом, проверял лично.

    Недостаток aws cli в том, что это односторонняя синхронизация. Сюда же относятся утилиты вроде rsync и аналоги. Их объединяет то, что одна из сторон считается верной, а другая подстраивается под первую. Например, если синхронизировать папки A и B, то файлы из А окажутся в В. Однако если в B были новые файлы, то в лучшем случае они игнорируются, а в худшем удаляются. Двойной синк по принципу сначала из А в В, а потом наоборот, эту проблему не решает.

    Забегая вперед, скажу, что в итоге поставил Syncthing, который пробовал еще год назад. Однако в процессе экспериментов узнал о замечательной программе Unison, и теперь коротко ее опишу.

    Это консольная утилита, написанная на OCaml. Работает на каждом утюге, включая Солярис. Синхронизирует два пути с учетом слияния файлов. Для этого программа ведет свой реестр и по нему сверяеся, что делать с файлами.

    Путь может быть удаленным (на другом машине). В этом случае операции с файлами протекают по SSH. У программы два режима: интерактивный (ручной) и автоматический. В первом случае, если встретится конфликт, программа запрашивает действие. Понравился богатый выбор, в том числе разрешение конфликтов при помощи сторонних утилит (kdiff, meld), что очень удобно.

    В автоматическом режиме (для скриптов и crontab) интерактивного ввода нет, все разруливается флагами.

    Unison оставил прятное впечатление. Видно, что программе много лет: огромное число функций, подробная докуметация. Но смутило, что Unison не работает в режиме демона и нуждается в регулярном запуске по крону. Плюс не очень подходит к Винде из-за SSH — как там его настроить даже не представляю.

    Закончил эсперименты тем, что поставил на удаленной машине Syncthing и работаю через него. Полагаю, о Syncthing знают все, поэтому нет смысла расписывать его возможности. Ниже — инструкция о том, как сделать все максимально быстро.

    Итак, понадобится VPS с большим диском. Путем гугления я вышел на AlphaVPS, где за три евро в месяц можно взять машину с диском на 256 гигабайт (а за три с половиной — на 512). Диски, ясное дело, не SSD, но в моем случае это не важно.

    Заказываем машину с Ubuntu 22, заходим под рутом. Создаем пользователя:

    useradd -s /bin/bash -d /home/ivan/ -m -G sudo ivan
    passwd ivan
    

    Перекидываем SSH-ключ:

    ssh-copy-id -i ~/.ssh/ivan.pub ivan@123.123.123.123
    

    В ~/.ssh/config прописываем алиас

    Host alpha
        HostName 123.123.123.123
        IdentityFile ~/.ssh/ivan
        User ivan
    

    Далее заходим по ssh alpha и вводим команды:

    echo "deb https://apt.syncthing.net/ syncthing stable" | sudo tee /etc/apt/sources.list.d/syncthing.list
    curl -s https://syncthing.net/release-key.txt | sudo apt-key add -
    sudo apt update
    sudo apt install syncthing
    

    Чтобы Syncthing запускался в автозагрузке, добавим его в systemctl:

    sudo systemctl enable syncthing@ivan.service
    

    Остается включить:

    sudo systemctl start syncthing@ivan.service
    

    Syncthing настраивается через веб-интерфейс, однако он доступен только с локального хоста. Поднимаем SSH-тоннель:

    ssh -N -L 18384:localhost:8384 alpha
    

    Теперь откройте браузер на странице localhost:18384 — появится интерфейс Syncthing на удаленной машине. Ну а дальше вы сами знаете: создаете папки, связываете машины друг с другом и так далее.

    На текущий момент у меня VPS за три евро и три компа: два мака и винда. Вроде бы работает, файлы подхватываются. К сожалению, Syncthing не так гибок в плане текстовых файлов, как Unison: умеет только брать файл А или В, а про слияние сторонней тулзой ничего не знает. Однако для текстовых файлов есть git.

    В общем, ничего нового в плане синхронизации файлов я не открыл. Это скорее инструкция для тех, кто не хочет париться с терминалом, гуглением команд и прочей болью.

  • Обновления

    Современный софт огорчает просьбами обновиться. С какой-то поры этой заразы стало так много, что не знаешь, куда деваться. Открыл Siblime Text, а он предлагает обновиться:

    Открыл Dash, программу офлайн-документации, а она предлагает обновиться:

    Открыл Wireshark для просмотра трафика, а она предлагает обновиться:

    Firefox в конец обнаглел: теперь обновления нельзя отключить. Ставить обязательно: либо с подтверждением, либо без него. Справа постоянно висит нотификация.

    Туда же скатился Телеграм: появляется блямба “обновить”, которая молозит глаза. Конечно, никто не принуждает, дело добровольное. Просто попробуй посиди с ней — долго не протянешь.

    Все это приводит к тому, что, запуская программу, я уже не жду, что она работает с первой секунды. Обязательно выскочит диалог с предложением обновиться или прокликать новые разделы меню. Это какое-то свинство: сел работать, а в лицо несут пургу.

    Почему-то ни один диалог не отвечает на вопрос: какая польза мне в обновлении. Программа работает, покрывает все нужды, жалоб нет. С какой стати тратить время на обновление? Если найдется баг, я выберу “О программе” → “Проверить обновления” и тогда обновлюсь.

    Причина в том, что разработчики забывают об этике. Некрасиво, когда программа делает то, о чем ее не просили. Это понимали еще пятьдесят лет назад во времена Unix. А сегодня понятия цифровой этики не существует. Так быть не должно.

    Вспомнился частный случай с Гуглом — организации, которую трудно заподозрить в желании сделать кому-то удобно. Когда браузер Хром вошел в фазу взрывного роста, он обновлялся даже не каждый день, а несколько раз в день. В результате обновления сделали полностью скрытыми от пользователя. Это потребовало усилий, но они того стоили. Уж если корпорация решила за меня, что и как обновлять, то и спрашивать согласия не нужно. Иначе зачем?

    Ужасно, но подход с обновлением переходит в консольные утилиты, например pip и npm. Когда работал с Питоном, жутко бесило сообщение pip: воу-воу, у тебя версия, 2.5.1, а последняя — 2.5.3, поставь немедленно! Перед каждой командой pip ломился в сеть с GET-запросом, ожидая ответа. Это такая тупость, что даже руки опускаются. Ясное дело, что обновления отключаются какими-то переменными среды, которые вечно гуглишь на StackOverflow.

    В свое время я ставил программы для работы с текстом, например Optima. Минимальный интерфейс, интеграция с Главредом, красиво. Но уже на второй день он распахнул диалог с предложением обновиться. У меня в таких случаях одна мысль — пошел на х..й. Грубовато, но это первое, что приходит в голову. Вздумал прервать меня за работой? Отправляйся в ведро: “приложения” → Optima → “удалить”.

    Идеально в этом плане ведет себя Emacs. Каждый раз я ставлю его с опозданием на две-три мажорных версии, а он хоть бы слово сказал. Поставил 25.1, хотя доступен 28.2 — значит, так надо: версия 25.1 просто работает. Сложно что ли сделать так в других программах?

    Бесконечное стремление вперед просто вымораживает. Если бы от него был толк! Сколько я вижу бажного кода, написанного в последних версиях JetBrains! Сколько уродской верстки, сделанной в свежем In Design! Сколько вырвиглазного текста, набранного в последнем Ворде!

    Обновившись по самые помидоры, программист по-прежнему не пишет тесты к своему коду. Подставляет параметры в SQL функцией format. Посылает тысячу запросов к базе в цикле. Что, IDE не подсвечивает? Подожди обновлений — может, со следующим релизом подсветит.

    В общем, разработчики: успокойтесь с обновлениями. Вашими усилиями почти не осталось софта, который работает молча. Дайте уже спокойно поработать.

  • Как я провел 2022 год

    Появилось время написать что-нибудь в блог. Ниже — коротко о том, чем занимался раньше и что делаю сейчас.

    После увольнения из Exoscale я устроился стартап Clashapp (ныне Huddles). Это мобильное приложение с короткими видео и встроенной валютой. Вместе с коллегами пилили бекенд на Кложе. В техническом плане проект был очень продвинут, многие вещи взял на заметку. Тимлидом у нас был Eric Dvorsak, и работать с ним было одно удовольствие.

    К сожалению, стратап не потянул финансовую часть. К концу года руководство сообщило, что “не будет возражать, если сотрудники найдут другую работу”. Первый раз в жизни услышал такую формулировку.

    Должен признать, что с поиском удаленной работы из России сейчас беда. Все требуют релокации, иностранные счета особо не помогают. К счастью, нашлись добрые люди, которые помогли устроиться в автралийский стартап.

    Работа в Австралии отличается графиком. Разница с офисом семь часов, пересекаюсь с руководителем буквально один час в день. Это первый случай в моей практике, когда разница столь велика. Есть и плюсы, и минусы. С одной стороны, приучает работать автономно, задавать вопросы, проверять задачи на точность. Полезно иметь пул задач, чтобы в случае затыка с одной переключиться на другую.

    С другой стороны, пересечение всего лишь час в день — неописуемое благо. Отбрехался с утра — и свободен: никаких ретро, синков, тренингов, медитаций, эстимейтов, постмортемов и что там еще. Никто не потревожит, никто не вломится в зум. Все асинхронно, красота!

    Однако сломался привычный режим работы. Дело в том, что уже несколько лет я провожу дни одинаково: когда прихожу на работу, сперва трачу час на книгу, блог или библиотеки. Затем перекус и тупняк в интернет. Затем утренний созвон и работа на оставшийся день. Если я потратил час на себя, на остальное мне уже плевать: упал прод или нет, закрыли спринт или нет. Самое главное уже случилось, а остальное рутина. И когда этого часа не было, начинаю злиться.

    Так вот, из-за разницы во времени с Автралией каждое утро теперь начинается со звонка. Час на личные дела либо уходит во вторую половину дня, либо выпадает. Пытаюсь перестроить режим так, чтобы этого не было.

    Последние месяцы мало пишу в блог, потому что занимаюсь второй книгой. Много времени потратил на редактирование глав. Перед праздниками создал репозиторий, желающие могут посмотреть. Книга уже собирается в Докере, то есть прошла стадию глубокого черновика.

    Немало нервов мне стоил один европейский банк (да, на Кложе). Прошел собеседование без проблем, а дальше мне отказали из-за нежелания украинских и польских членов команды работать со мной. По прошествии полугода подался туда снова, и на этот раз сначала да, потом нет. Потом опять были торги и условия, связанные с релокацией и политической обстановкой. Насколько я понял, можно было покривить душой и пролезть, но после раздумий я отказался. Размышляя над всем этим, представил себя осликом, которого манят морковкой в нужном кому-то направлении. Нет, работа никуда не убежит, я сам решу, когда придет время.

    Все это, конечно, чепуха по сравнению с тем, что выпало на долю украинских коллег. С некоторыми я поддерживаю связь и знаю о происходящем из первых уст. Увольнения и трудности с поиском работы не сравнятся с услышанным.

    Помогаю выпускнице, с которой делали диплом, найти работу Питон-джуниором. Ох непросто стало сейчас.

    В планах на 2023 год — выпустить книжку.

    Поздравляю всех с наступившим Новым годом. Желаю больше стойкости к стрессу и информационному шуму. Меньше пропускать через себя, чтобы не сойти с ума. Оставаться людьми. Это, пожалуй, самое важное.

  • Clojure Coding Guide

    TL;DR: this is a detailed description of how to write good Clojure code. It’s based on my 8 years of experience with Clojure for both commercial purposes and side projects as well. Some parts of this document repeat the well-known guide by Bojidar. Other parts instead break the conventional rules in Clojure development. For such cases, I give an explanation of why they are what they are. Everything written below has come from practice, and I hope you’ll find it useful.

    Table of Contents

    Parentheses

    Let’s start with something obvious yet worthy of repeating. When writing Lisp code, don’t balance parentheses as you did before in Python or JavaScript. Not like this:

    (time
     (doseq [a [1 2 3]]
       (let [b (* a a)]
         (println b)
         )
       )
     )
    

    But this:

    (time
     (doseq [a [1 2 3]]
       (let [b (* a a)]
         (println b))))
    

    The same rule applies to collections. The following code fragments look weird in Clojure:

    (def mapping {
       :name "Ivan"
       :email "test@test.com"
    })
    
    (def numbers [
      1,
      2,
      3
    ])
    

    It is a strong rule for every Lisp dialect and you’ve got to get on with it. The sooner you get an editor powered with a plugin to manage parenthesis the better it is for you as a programmer. Emacs + Paredit is a good choice but it’s a matter of preference.

    Read more →

  • Кто виноват

    Наверное, вы слышали: чтобы получить правильный ответ, задавайте правильный вопрос. И наоборот: неправильный вопрос займет массу времени и сил, но ответа не даст. Удивительно, что многие вопросы, что мы задаем, поставлены неверно. Один из них звучит как в заголовке — кто виноват?

    Стоит чуть-чуть подумать, как станет ясно, что это неправильный вопрос. Так ли важно, кто именно виноват? Что это дает? Как виновность поможет исправить ситуацию и предотвратить ошибку в будущем?

    Если взять историю любой катастрофы — Титаник, Чернобыль — везде окажется, что виноваты не люди на местах. Это очень желанно руководству, особенно если исполнитель умер. Непрофессиональные операторы взорвали реактор. Беспечная команда нашла на айсберг, и делу конец.

    Да что катастрофы, вспомним истории с падением прода. Всегда оказывается, что программист Вася запустил опасный скрипт с кредами от прода, которых у него быть не должно. Креды дал ему под честное слово админ во время попойки в баре. Креды выдаются по заявке, нужно собрать пять подписей, но гендиректору некогда, его зам на больничном и так далее.

    Когда сотрудник Гитлаба удалил базу с прода, выяснилось много вещей. Бекапы не работали, оповещения об ошибке бекапов тоже не работали. Пока петух не клюнул, никто не волновался.

    Какой-то чел из системы очистки воды оставил штат без питья на неделю. Оказалось, он подключался из дома к рабочей машине по TeamViewer, чтобы не ездить по ночам. Десять раз писал начальству с просьбой сделать доступ по впн, но просьбы даже не рассмотрели.

    Представим теперь, что условного Васю взяли за шкирку и объявили: ты виноват. Кому от этого легче? Даже если Васю уволят, ситуация повторится в будущем.

    Верный признак, что вопрос вины неверно поставлен — он дает большой выхлоп. Вася виноват, но… и дальше экраны текста, что на самом деле чего-то там. Так быть не должно.

    Вместо “кто виноват” нужно спрашивать “кто несет ответственность”. Это все меняет: оказывается, вина и ответственность — разные вещи, которые делятся между людьми. Виноват один, отвечает другой. Как они разрулят между собой — не наше дело.

    Вася уронил прод и он виноват. Но отвечает техдиректор, потому что у Васи в принципе не должно быть доступа к проду.

    Оператор взорвал реактор и он виноват. Отвечают те, кто проектировал, вводил в эксплуатацию и тестировал.

    Капитан навел корабль на айсберг и он виноват. За нехватку шлюпок, за неумение команды спасти пассажиров отвечает перевозчик.

    Пьяный устроил дебош в клубе. Он виноват, но отвечает охрана, которая его пропустила.

    Сотрудник слил базу клиентов. Он виноват, но отвечает фирма — юрлицо. Будьте любезны штраф в десять тысяч за каждую строку. Сливы сразу прекратятся.

    Водитель в Воронеже сбил насмерть коляску с грудным ребенком. Оказалось, у него десятки неоплаченных штрафов за последние полгода. Он виноват. Но пусть начальник ГИБДД объяснит, почему водителю не аннулировали права.

    Правило: когда случилось что-то из ряда вон, ищите ответственного, а не виновного. Когда найден первый, второй появится автоматически. Но не наоборот: чаще имеем виновного Васю, с которого нечего взять, а ответственных нет.

    Бывает, что ответственный известен, но сыскать с него ничего нельзя. Это значит, игра заведомо проиграна. В следующий раз не ведитесь.

    Сказанное имеет прямое отношение к сегодняшней ситуации. В России часто ищут виновных и находят их в лице американских президентов, англосаксов, оппозиции, инагентов и бог знает кого еще. Каждый раз, когда это слышу, в голове вопрос: ладно, пусть виноваты англосаксы, но кто несет ответственность? Если никто, что толку мне знать?

  • Интернет и геополитика

    На заре интернета было забавное по текущим временам мнение. Якобы он станет средой, которая объединит людей, отбросив границы и политические взгляды. Что противоречия физического мира отпадут, и все найдут согласие. Что коллективный разум возобладает над политиками и превзойдет их.

    Забавно видеть, что все из этого не только не сбылось, но и наоборот — интернет все больше становится геополитизированным. Увы, в нашу жизнь пришла геополитика — смесь двух терминов, каждый из которых тащит худшее прошлого века: политику и территории. Что из этого вышло, мы наблюдаем сегодня.

    Современный интернет геополитизирован, потому что регулируется двумя принципами: политикой и географией. Крупные сервисы блокируют людей по их положению на планете. Страны блокируют сервисы по политическим причинам. Большая часть запрещенного контента — это то, что запрещено режимом, причем не только в России.

    Тезис о едином пространстве разваливается на глазах. Все меньше остается сервисов, куда можно попасть, не испытывая ограничений. Твиттер(1) и Инстаграм(2) заблокированы Россией. На Госуслуги и Налог.ру нельзя зайти, если ты не в России. Если уехал, ставь московский ВПН, что до недавнего времени звучало анекдотом.

    Порнхаб в одной стране разрешен, в другой запрещен, в третьей — только с авторизацией через местную соцсеть. Grammarly не работает с российскими IP, нужен ВПН. Украинские сайты показывают россиянам плашку с расчлененкой.

    Надоели сайты, защищенные Cloudflare. При каждом заходе видишь уродский экран с задержкой в 5-10 секунд. Иногда Cloudflare требует капчу с гидрантами и велосипедами. Двадцать минут — и сессия рвется, проверка начинается снова.

    Гугл и Ютуб боятся ВПН как огня. С ним Ютуб показывает капчу — не дай бог ты пройдешь мимо Большого Брата. Фейсбук, Твиттер и аналоги блокируют Тор. Им лучше знать, что безопасно, а что нет.

    Про Китай писать нет смысла.

    Сервисы все больше ведут себя как государства. Пользователь, чей IP вызывает малейшее подозрение, приравнивается к нелегалу, незаконно переходящему границу. Его надо схватить и подвергнуть деанону.

    Фейсбук и Твиттер открыто занимают позиции в социальных конфликтах США: выборы, BLM и так далее. Получить бан за поддержку Трампа теперь в порядке вещей. Не лучше ситуация и у нас, когда ВК и Мейл.ру сливают данные о тех, кто состоит в группах “оппозиции”.

    В той или иной мере огораживается каждый второй сайт. Со включенным ВПН нельзя передать показания в энергослужбу или заказать б/у книгу. Знакомый справедливо заметил, что сегодня проще иметь два ноута — настроенный под иностранный сайты и для внутренних нужд.

    Выделять какую-то страну в том плане, что они блокирую больше, чем остальные, нет смысла — это тренд. Интернет — это общение и информация, и государство всегда болезненно реагирует, когда то или другое выходит из под контроля. И неважно, какой политический строй: демократия, автократия или тоталитаризм. Благородный предлог найдется всегда: терроризм, антиваксы, тридевятая колонна. В каждой стране свои пугалки про черную руку и простыню.

    Очевидно, никакого свободного интернета нет, более того — не интернет двигает обществом, а двигают им. Современная дурь оседает в интернете и приводит к ограничениям по IP, странам, действиям режима и остальному.

    Получится ли сделать что-нибудь другое? Возможно, но это будет принципиально иной вид связи. Он должен быть максимально простым для пользователя и невозможным для блокировок. Примерно как блокчейн, хоть я и не люблю аналогии с криптой. К сожалению, лично мне этот новый вид связи трудно представить хотя бы приблизительно.

    1, 2 – считаются экстремистскими организациями или вроде того.

  • Мобильная деградация

    Последнее время я делю экран пополам: слева браузер, справа Емакс. Такой сетап нужен для определенной работы, связанной с редактированием текста.

    Заметил, что с браузером происходят странные вещи. Стоит только поджать окно на жалкие пиксели, включается мобильный режим. Лучше всего это наблюдать на Гитхабе. Нормальный режим:

    Но стоит уменьшить окно на пиксель, как вдруг:

    Кто-нибудь в курсе, зачем это? Код — самое главное на этой странице — пропал под выпадашку, хотя места достаточно. Появилась адская разреженность, кнопки сплющились, как будто по ним проехали катком. Кто вообще просил? Остается выругаться и расширить окно обратно.

    Досадно от того, что кто-то сидел над этой хитрожопой версткой, трекал часы в Джире, презентовал менеджерам. А пользователь мечтает развидеть и вернуть все взад.

  • Автодополнение

    В хромо-подобных браузерах есть полезная функция — сохранение форм. Дико выручает, когда в сотый раз вводишь имя, фамилию и почту на сайте. Буквально сегодня я заполнял форму на сайте налоговой шестнадцать(!) раз. Если бы не автокомплит, я бы, наверное, стер пальцы. Тем более умники-разработчики повы..бывались с некоторыми полями, и в них не работает вставка. Какой-то скрипт блокирует событие, я начал было смотреть в консоли, но в итоге плюнул на это.

    Удивляет, однако, то, что автокомплит нельзя редактировать. В очередной раз я вставил не то значение, и оно осталось в выпадашке навсегда. Теперь каждый раз, выбирая из нее пункт, надо быть осторожнее, чтобы не тыкнуть не туда.

    Не понимаю, почему автокомплит нельзя редактировать? Хватило бы удаления: напротив каждого элемента сделать крестик, который удаляет его из выпадашки. Просто и дешево.

    Между прочим, такая функция есть в Телеграме. Предположим, вы искали сообщество LaTeX, а нашли латекс и доминирование:

    Если тыкнуть в любой канал (ну, просто так), он останется в истории поиска. Будет неприятно, если это всплывет на созвоне при шаринге экрана. Крестик справа удаляет элемент из истории поиска, и с ним я спокоен: никакого доминирования мой собеседник не увидит.

    В общем смысле это ведет к правилу: собираешь данные — позволь клиенту их удалить. Удаление стоит усилий, порой огромных (привет GDPR), но тогда незачем и начинать.

  • Win-win

    Читаю книгу Егора “Наш код”. Хорошая книга, местами спорная, но ничего — просто держите в голове, что это Егор. Есть, однако, момент, мимо которого я не мог пройти молча — это эпизод с переговорами между двумя группами.

    Я хотел привести оригинальный текст, однако электронной версии, откуда можно скопировать и вставить, в интернете нет. Поэтому расскажу завязку своими словами.

    Есть группа разработчиков, которые пилят REST API, и есть группа потребителей. Понадобилась доработка сервиса, и потребители выдвигают условие: чтобы новые данные можно было забрать одним запросом. Разработчикам сервиса это неудобно: они сделали несколько новых методов, полагая, что потребители пошлют несколько запросов. Группы не сошлись во мнении, и начинается совещание.

    Read more →

  • Программа Preview

    Если я когда-нибудь пересяду с Мака на что-либо другое, больше всего мне будет не хватать… программы Preview. Да, встроенной программы просмотра изображений. Все потому, что Preview — невероятно мощный софт. Просмотр картинок и PDF лишь малая часть ее возможностей. Ниже я расскажу, что именно она умеет.

    (1) Банально, но все-таки — Preview открывает картинки и PDF. Не нужно ставить сторонний софт, который пропишет себя в автозагрузку и службы. С тяжелым сердцем вспоминаю Adobe Reader, который разросся до размера офисного пакета.

    Поставив Windows 10 на игровой комп, был удивлен, что в ней нечем открыть PDF (браузер Edge не в счет). По клику на PDF открывается магазин Microsoft – как это возможно в 2022 году, не понимаю. А на Маке сел — и читаешь PDF.

    Read more →

Страница 25 из 84