Ivan Grishaev

Ivan Grishaev's blog

Writing on programming, education, books and negotiations.

Home About Bookshelf RSS
Clojure Emacs Python Programming Interview Video
Книга «Clojure на производстве»
Книга «Clojure на производстве», второй том

  • Регистрация в Микрософте

    ,

    screenshot

    Вот такая скатерть ожидает всякого, кто желает получить регистрационный ключ для Вижуал Студии Экспресс. Несколько пустяковых вопросов:

    • Если продукт бесплатный, зачем трясти с меня какие-то ключи? Вот когда куплю — тогда и буду регистрироваться.
    • «Имя и фамилия» — читаем заблуждения программистов об именах.
    • Зачем дата рождения? Зачем выпадающий список на 31 день? Быстрее вписать руками (я родился 31 декабря и поэтому во всех списках последний). Почему выбор года начинается с 2013? На сайте могут регистрироваться новорожденные? Если нет — зачем засорять список, если да — кому нужна эта дата?
    • Зачем спрашивать пол? Если позарез нужно знать, почему бы не поставить мужской по умолчанию? Политкорректность?
    • Проверка пароля на вхождение зубодробительных элементов. Очень плохой принцип. Хочу 123, значит, пусть будет 123. Все равно учетка на 1 раз.
    • Адская капча в 8 символов. Нормальные люди давно поняли, что боты и китайцы ломают любые капчи, вред от них только пользователю.
    • Спам-галка воткнута по умолчанию.

    И все это — для того, чтобы получить несчастный ключ. Воистину, Микрософт не дружит с разработчиками.

  • Драйверы торгового оборудования

    Есть такая штука — философия Unix. Это свод принципов проектирования систем и программ. Когда вы их придерживаетесь (в т.ч. при разработке под другие системы), то все работает хорошо, а когда отклоняетесь — начинаюстя фейлы.

    Один из принципов состоит в том, что программа делает что-то одно, но очень хорошо. Например, отлично обрабатывает какие-то файлы. Еще один принцип — программа должна быть управляемой другими программами. Например, все данные, вводимые с клавиатуры, можно передать в параметрах командной строки.

    Как следствие из этого — интерфейс программы для связи с внешним миром тоже является отдельной задачей и выносится в дополнительную абстракцию. Так, типичная *nix-программа представляет из себя библиотеку, которая просто делает что-то хорошо. Ее можно подключить в проект и пользоваться зашитыми функциями. Это один из возможных уровней абстракции. Второй — когда пишется команданая утилита. Это просто обертка, которая парсит аргумены командной строки, вызывает функцию библиотеки и выводит результат в stdout. Третий — ГУЙ для конкретной оболочки/среды. Опять обертка, которая пользуется командной утилитой/библиотекой. Четвертый — COM-сервер для Винды. Очередная обертка, сердце программы — библиотека — остается неизменным. Пятый — CGI-скрипт для веб-сервера. Аналогично вышесказанному.

    И так далее. Суть этого подхода в том, что любой желающий сможет прикрутить чужой код к своей системе.

    Но есть уроды-программисты, которые распространяют код в качестве COM-компонент, крутящихся только под Виндой. И плевать, что основная часть кода кроссплатформенна — нет, покупай Винду, ставь антивирус, потому что программер Вася не выучил Си/Плюсы, а сел быдлокодить в Вижуал Бейсике. И все это — в промышленных масштабах.

    Я имею в виду конкретно разработчиков драйверов для торгового оборудования Атол и Штрих-М. Их драйвера — апофеоз идиотизма. Школьнику известно, что устройства, втыкаемые в COM-порт, могут работать в любой операционке, потому что взаимодействие с ними сводится к трем шагам — отправил байты в порт, подождал, прочитал ответ. Все!

    Нормальный программист написал бы библиотеку, отдельно — командную утилиту, потом ГУЙ и т.д. Потом бы подтянулись 1С-ники со своими компонентами, COM-объектами и прочей чушью. И все бы это работало в любой системе.

    Но нет же — качайте их драйвера с COM-объектом. И операционные системы, которые могли бы сделать процесс торговли надежней и безопасней, в пролете. Но мир не без добрых людей — находятся энтузиасты, которые пишут кроссплатформенные драйвера на том же Питоне, например. И работают они хоть на FreeBSD. Спасибо вам за это, ребята.

    Короче, бородатые мужики, заложившие основы IT-систем, знали как надо делать программы. Нужно чаще впоминать их принципы. А если ваша программа работает только в Винде или тупит в ожидании нажатия кнопки — идите в жопу.

  • Привязка пользователей к телефону

    Интернет-гиганты вроде Вконтакта, Одноклассников, Киви и др. давно смекнули, что привязывать учетку лучше не к емейлу, а сотовому. Это правильно. Если ваш сервис хоть немного связан с приватными данными и финансами, требуйте от пользователя сотовый, потому что ему же лучше будет — заполучить физически чужой телефон гораздо труднее, чем взломать виртуальную почту. Плюс телефон есть у всех, в т.ч. у бабушек и детей.

    Специальный абзац для параноиков, уверенных в том, что светить номер — значит, нарываться на спам и лохотронщиков. Во-первых, опсосы и так сливают базы номеров тем, кто хорошо за это платит — помните лотерею на миллион от Биллайна? Во-вторых, спамить через смс дороже и сложнее, значит, отсекаются крупная часть спамеров. В-третьих, в любом нормальном телефоне можно поставить блок на нежелательные номера. В-четвертых, опсосов в последнее время шугают за спам, так что даже устное обращение в колл-центр возымеет действие.

  • 1С и JSON: сериализация ссылок

    ,

    Обновил функцию json(): http://pastebin.com/HFaEaETX

    Теперь ссылки справочников и документов преобразуются не в строки вида "Счет №123 от 31.12.2012", а в строку-уникальный идентификатор, например, "f96fbf5f-3ade-11e1-b823-003048643e2d". Зачем это нужно?

    Затем, что разрабатывают конфигурации для 1С в основном криворукие уроды, которые не знают о том, что в каждой таблице должен быть уникальный id, по которому можно однозначно найти элемент таблицы. Это приводит к тому, что коды делают не уникальными или уникальными в пределах владельца. В итоге никакой пользы от кода нет - на кой он нужен, если не уникален? Что делать, если код известен, а владелец нет?

    Специально для борьбы с уродами-разработчиками моя функция любезно вернет вам гуид ссылки, который самый что ни на есть уникальный. А текстовое представление ссылки справочника или документа можно получить в запросе функцией “представлениессылки()”.

    Кстати, разработчики 1С тоже уроды, потому что гуид - это и есть ссылка и ее по идее можно получить в запросе. Почему это до сих пор не реализовано - тайна.

    Комментарии из старого блога

    07/10/14 Yan: Кстати, разработчики 1С тоже уроды, потому что гуид — это и есть ссылка и ее по идее можно получить в запросе. Почему это до сих пор не реализовано — тайна.

    +100

    07/10/14 Иван Гришаев: Согласен, частенько гуида недоставало.

  • Исходники queryfeed

    ,

    Некоторое время назад я написал сервис для генерации РСС-лент из поисковых запросов в Твиттере, Фейсбуке и Гуглоплюсе. И даже осветил это событие на Хабре.

    Кратенькую статистику (популярные и недавние запросы) можно посмотреть на главной.

    Сегодня залил исходники (Питон, App Engine) на Гитхаб. Ничего особенного, Flask + Jinja2, но начинающим питонщикам пригодится.

  • Яндекс-Бары

    rats

    В моем мозгу устоялась следующая ассоциация: всевозможные бары от Яндекса, Мейл.ру и иже с ними — чума, а программы, их распространяющие — крысы, разносчики заразы. Поэтому я веду борьбу и с заразой, вычищая бары из браузеров, и с крысами — удаляю дистрибутивы этих программ.

    Я в курсе, что установку бара можно отключить, но эти галки всегда отмечены и порой даже спрятаны. Неверный клик — и все браузеры окажутся заражены. У меня, как у веб-разработчика, в системе 4 браузера. Мне проще отказаться от установки, чем напряженно проверять, куда на этот раз запрятана галка отключения бара.

    Дорогой разработчик, я понимаю, что тебе нужно есть, но будь добр, придумай другой способ заработка, поскольку распространение программы с вирусом на борту не делает тебе чести.

    Кто сказал, что бар — не вирус? Он проникает на компьютер обманным путем (пользователь не понимает, откуда взялся бар), устанавливает службу для самовосстановления (Мейл.ру, горите в аду), уведомляет центральный сервер обо всех ваших действиях (шпионит), занимает лишние ресурсы, не приносит никакой пользы — курсы валют есть на любом портале, виджет погоды у всех на рабочем столе, поле поиска есть во всех браузерах.

    Именно поэтому новость «Яндекс» закрывает «Бар» вызывает дикий, неистовый восторг, хотя на практике оказывается, что вместо старого трояна будут выпускать новый.

    Кстати, при установке в Фаерфокс бар изменяет параметры, не доступные для редактирования в интерфейсе. Исправить их можно только в about:config, а это значит, что рядовой пользователь фактически обречен жить с баром до следующей переустановки Винды.

    Удаляйте Аимпы, Панто-свитчеры и прочую хрень с барами.

  • Прием смс

    , ,

    Рассылать смс сегодня нетрудно — регистрируемся в одном из многочисленных сервисах рассылок, вносим сумму и вперед. А как принимать смс от граждан в автоматическом режиме?

    Короткие номера не подходит, ибо они навек закрепили за собой репутацию лохотрона. К тому же нужно вводить префикс, а минимальная стоимость 4 рубля. Принимать только на короткие номера — верх свинства по отношению к абонентам.

    А ведь все можно сделать своими руками! Берем простой 3Г-модем, втыкаем в него местную симку (я взял Мегафон), подключаем к компьютеру, ставим драйвера. Проверяем, появился ли в системе модем.

    Качаем замечательную утилиту Гамму, а конкретно — виндовые бинарники (не Minimal, а обычные). Распаковываем.

    Утилита gammu может рулить модемом программно, например, читать и отправлять смс, совершать звонки, делать бекапы содержимого телефона и массу других полезных штук. В комплекте идет gammu-smsd — демон для чтения смс в фоновом режиме. Он постоянно проверяет наличие смс, складывает их в базу данных и вызывает заданную команду в момент прихода новой смски.

    Теперь о том, как все настроить. В папке bin создаем файл smsdrc следующего содержания:

    [gammu]
device = COM6:
connection = at

[smsd]
Service = sql
Driver = native_mysql
User = user
Password = password
PC = xxx.xxx.xxx.xxx
Database = smsd
PIN = 8730
LogFile = smsd.log
RunOnReceive = smsd_callback.bat

    Стартуем демона:

    gammu-smsd --config smsdrc

    Секция [gammu] в конфигурации отвечает за параметры соединения с устройством. device — номер КОМ-порта, узнать его можно в свойствах модема, connection — тип соединения, для 3Г-модема обычно at.

    Раздел [smsd] содержит параметры демона. Как видно, в качестве базы я использую Мускуль. Опция PIN задает пин-код симки (если защита ПИН не отключена). LogFile — текстовый файл логов.

    Самое интересное — RunOnReceive, это имя команды, скрипта или батника, который будет вызываться при получении смс. Параметры сообщения передаются в переменных окружения SMS_1_NUMBER, SMS_1_TEXT и др.

    В батнике у меня прописан вызов питоньего скрипта:

    start pythonw path\to\smsd_callback.py

    Почему бы сразу не вызвать скрипт? Потому, что вызов осуществляется в том же потоке, что и чтение смс, поэтому пока не завершится процесс команды, чтение будет приостановлено. А в данном случае батник вызывает скрипт и сразу закрывается.

    Фрагмент кода на питоне:

    number = os.environ["SMS_1_NUMBER"]
message = os.environ["SMS_1_TEXT"]

msg_pattern = r"\d+"
account, value = re.findall(msg_pattern, message)[:2]

statement = Statement(account=account, value=value)
statement.save()

answer = u"Принято. Абонент %s, показание %s" % (account, value)

send_sms(answer, number)

    Получаем номер и сообщение, находим в нем пару чисел — лицевой счет и показание прибора. Сохраняем в базу и отвечаем абоненту, что все в порядке.

    Комментарии из старого блога

    11/04/13 Сергей: Статья интерсная, много нового узнал, пытаясь запустить. Но нет ничего про структуру базы. Мануалов гаммы на русском нет. Вот и как бы статья по прямому предназначению “Прием смс” (профи и без статьи организует) пока не очень полезна.

    11/05/13 Иван Гришаев: Структуру базы можно посмотреть в .sql-файле, который лежит где-то в папке с программой.

    11/07/13 Сергей: Спасибо. Теперь вот такая картина в логфайле (тут я баран)) поможете??? подключаю 3g модем - железка от алкател.

    Thu 2013/11/07 15:09:29 gammu-smsd[2452]: Connected to Database: smsd on localhost
Thu 2013/11/07 15:09:29 gammu-smsd[2452]: Connected to Database native_mysql: smsd on localhost
Thu 2013/11/07 15:09:29 gammu-smsd[2452]: Created Windows RW shared memory at 003A0000
Thu 2013/11/07 15:09:29 gammu-smsd[2452]: Starting phone communication...
Thu 2013/11/07 15:09:40 gammu-smsd[2452]: Error at init connection: No response in specified timeout. Probably phone not connected. (TIMEOUT[14])
Thu 2013/11/07 15:09:40 gammu-smsd[2452]: Already hit 250 errors
Thu 2013/11/07 15:09:40 gammu-smsd[2452]: Terminating communication: No response in specified timeout. Probably phone not connected. (TIMEOUT[14])
Thu 2013/11/07 15:09:40 gammu-smsd[2452]: Starting phone communication...
Thu 2013/11/07 15:09:50 gammu-smsd[2452]: Error at init connection: No response in specified timeout. Probably phone not connected. (TIMEOUT[14])
Thu 2013/11/07 15:09:50 gammu-smsd[2452]: Already hit 250 errors
Thu 2013/11/07 15:09:50 gammu-smsd[2452]: Terminating communication: No response in specified timeout. Probably phone not connected. (TIMEOUT[14])
Thu 2013/11/07 15:09:50 gammu-smsd[2452]: Starting phone communication...

    11/07/13 Иван Гришаев: Пишет, что нет соединения с телефоном. Сначала нужно указать проге, какой порт слушать. Создайте файл Gammu\bin\gammurc (без расширения), в нем пишете:

    [gammu]
device = COM6:
connection = at

    только вместо COM6 - ваш порт. Двоеточие на конце нужно.

    11/07/13 Сергей: Я так и делал, модем откликается (в терминале) на сом3,4,5 в диспетчере оборудования модем=сом5.

    [gammu]
device = COM

    пробовал все результат почти один, 3 и 5 сукунд через 10 закрывается гамми, ком4 каждые 10-20 сек перепроверяет соединение с телефоном, пока сам не закрою.

    11/07/13 Иван Гришаев: Вспомнил - для смс-демона нужен отдельный конфиг! Gammu\bin\smsdrc

    У меня он такой:

    [gammu]
device = COM5:
connection = at

[smsd]
Service = sql
Driver = native_mysql
User = username
Password = passowrd
PC = 172.27.86.8
Database = smsd

LogFile = smsd.log
RunOnReceive = some_bat_file.bat
CheckSecurity = 0
CheckBattery = 0

    11/07/13 Сергей: Не помогло добавление Check ов. Нарыл гдето другой терминал, вот он АТ командами смски вытягивает. А можно както на питоне опросить АТ командами com порт? Думаю так проще будет.

    11/07/13 Иван Гришаев: Конечно можно, есть либа для ком-порта: http://pyserial.sourceforge.net/

    Кстати, вы пробовали http://www.simplesms.ru/ ? Прога очень хорошая, разработчик - русский, есть документация и форум.

    11/07/13 Сергей: Хороший вы (я не против и на ты) человек. С библиотекой буду разбираться (инглиша не знаю), а платные вещи отпадают я имено хочу разобраться и сделать - типа хобби). Можно вообще не париться - 800р/мес и прикрутить их API к своему сервису, я так и делал, но как то не уютно))).

    11/07/13 Сергей: надо же скрипт php заработал, раньше порты были 14,15,16 и не работало. Попробую на php получалку сделать!

    $telnumb='904*****37';
$sms_text='poluchilos';
$format = "AT+CMGF=1\r\n";
        $tel = "at+cmgs=\"+7".$telnumb."\"\r\n ";
        $text = $sms_text.chr(26)."\r\n ";
        $fp = fopen ("COM3:", "w");
        flock($fp,LOCK_EX);
        if(!$fp){
                echo "COM-Port not opened";
        }
        else{
                fwrite($fp, $format);
                                sleep(1);
                fwrite($fp, $tel);
                                sleep(1);
                fwrite($fp, $text);
                                sleep(1);
                flock($fp,LOCK_UN);
                echo $format.$tel.$text;
        }
        $fp = fclose ($fp);

    11/07/13 Иван Гришаев: Сообщения с кириллицей нормально приходят? А сообщения из нескольких частей?

    11/07/13 Сергей: Нет под w1251 все усложняется, там меняется алгоритм сборки, но это решаемо. Мне прием нужен, его и ковыряю. На php отправить оказывается просто, а вот принять “одна темнота” пока, т.что гамми, питон не закрываю.

    11/07/13 Сергей: Так то все дожно быть просто. Всего то нужно в порт заслать "AT+CMGL=4\r\n" и получить все что он отдаст. А потом раскодить, распарсить. Ну нннникак.

    11/08/13 Иван Гришаев: Да, кириллица хранится в последовательностях UFT-16, кажется. Придется декодировать.

    11/07/13 Сергей: Еще об отправке, там без подтверждения получения смс абонентом и по той же причине - читать порт не получается.

    11/07/13 Сергей: simplesms пробовал скачать - антивирус заблокировал(((

    11/08/13 Иван Гришаев: А вы разблокируйте.

  • 1С и JSON в продакшене

    , , ,

    Еще раз обновил функцию перевода структур 1С в JSON: http://pastebin.com/3NwCDCTD

    Исправлены косяки:

    • нулевые числа форматируются корректно;
    • в строках корректно обрабатываются управляющие символы (\n, \t и др);
    • символы Юникода не переводятся в последовательности вида \uxxxx, потому что это долго (хотя позволяет избежать проблем с кодировкой).

    Уже использую функцию для взаимодействия с клиентской частью на Питоне, полет нормальный.

    Комментарии из старого блога

    12/25/12 Alex: На вскидку Вы забыли про разделитель триад в числах. И я советовал бы XMLЗначение (пишу по памяти) вместо Формат - и быстрее и меньше ошибок будет.

    12/25/12 Иван Гришаев: Разделитель убран:

    ИначеЕсли Тип = Тип("Число") Тогда
                Возврат Формат(Объект, "ЧРД=.; ЧН=0; ЧГ=0");

    ЧГ=0 убирает разделитель разрядов. Он же не нужен.

    Вы имели в виду XMLСтрока(). Можно и так, но, во-первых, исчезает ясность (что получается на выходе), а во-вторых, в некоторых случаях он не подходит, например, Неопределено преобразуется в пустую строку, а нужно в null. И не все типы данных поддерживаются.

  • Автоматическая выгрузка вложений

    Getmail — потрясающая утилитка, сэкономившая мне массу времени и нервов. Она сохраняет электронные письма на диск, попутно распаковывая вложения.

    Сказать, что это удобно, значит, ничего не сказать. Ведь, казалось бы, простую задачу — обеспечить автоматическую выгрузку вложений из писем — почтовые клиенты выполнить не в состоянии без установки плагинов и костылей. А с помощью getmail проблема решается несколькими строками в батнике:

    d:
cd \.attachments
getmail -u user@server.ru -pw "password" -s server.ru -xtract -delete
del MSG*.TXT
del Extract*.out

    Указываем, папку, выгружаем, чистим всякий мусор, далее работаем с аттачами.

  • 1С и JSON: работа над ошибками

    , ,

    UPD: новая версия

    Пилотная версия функции преобразования данных 1С в JSON оказалась вполне удачной. Делюсь новой версией: http://pastebin.com/y2K5V3Xt

    Исправления:

    • типы Неопределено и Null преобразуются в null;
    • добавлен тип СписокЗначений;
    • исправлен ISO-формат даты;
    • строки преобразовываются в последовательности вида \uxxxx.

    Напомню, что код состоит из одной функции и не зависит от сторонних модулей и компонент.

    Пример:

    с = новый СписокЗначений;
с.Добавить("Привет!");
с.Добавить(42);
с.Добавить(ТекущаяДата());
с.Добавить(Неопределено);
с.Добавить(Null);
с.Добавить("!№2№%Ё~{}");
с.Добавить(новый Структура("поле1, поле2", ВидДвиженияБухгалтерии.Дебет, новый Массив(3)));
Сообщить(json(с));

    Результат:

    [
  "\u041f\u0440\u0438\u0432\u0435\u0442!",
  42,
  "2012-11-13T10:17:55",
  null,
  null,
  "!\u21162\u2116%\u0401~{}",
  {
    "\u043f\u043e\u043b\u04352": [
      null,
      null,
      null
    ],
    "\u043f\u043e\u043b\u04351": "\u0414\u0435\u0431\u0435\u0442"
  }
]

    Комментарии из старого блога

    11/21/12 Артемий Зайцев: А зачем все символы заменять на подстановки \u0414 ? Вместо “N” (1 байт) получим замену в 6 байт при передаче по интернету. Вся прелесть JSON теряется. XML становится выгоднее.

    11/21/12 Иван Гришаев: Заменяются не все символы, а только те, что не входят в диапазон 0x20-0x7f (A-z, 0-9). Если у вас английский текст, то разницы не будет.

    \uxxxx - это код символа Unicode. Согласно стандарту JSON строки должны быть представлены Unicode-последовательностями. Это правило можно нарушать, но тогда никто не гарантирует корректный разбор JSON-документа со строками, скажем, на украинском.

    Преимущество JSON перед XML не в меньшем объеме данных, а в удобстве сериализации и парсинга. Одной функцией структура сворачивается в JSON, другой – обратно. Генерация и парсинг XML занимают больше времени и сил.

    11/21/12 Артемий Зайцев: Проверил с разными языками. В UTF всё работает. Еще у вас подстановок спецсимволов в строке. Если в тексте есть знаки / \ “, то JSON ломается.

    Сделал как-то так:

    Если Тип = Тип("Строка") Тогда
	Возврат """" + MyJSONМаскировать(Объект) + """";
....
Функция MyJSONМаскировать(Знач Стр)
	Стр=СтрЗаменить(Стр,"\","\\");
	Стр=СтрЗаменить(Стр,Символы.ПС,"\n");
	Стр=СтрЗаменить(Стр,Символы.ВК,"\r");
	Стр=СтрЗаменить(Стр,Символы.Таб,"\t");
	Стр=СтрЗаменить(Стр,"/","\/");
	Стр=СтрЗаменить(Стр,"""","\""");
	Возврат Стр
КонецФункции

    11/21/12 Иван Гришаев: Да, спасибо, только что сам обнаружил, что с кавычками косяк, нужно их экранировать заменой, как у вас. Завтра выложу новую версию функции.

    05/31/13 Кирилл: Спасибо автору!

    05/31/13 Зайцев Артемий Анатольевич: Кирилл, рано автора хвалить. Он только начинает учить 1С. Есть еще ошибки: (Формат(Объект, "ДФ=yyyy-MM-ddThh:mm:ss") - после буквы T ничего не пишет.

    05/31/13 Иван Гришаев: Вы комментируете старую версию функции. Вот новая. Там много чего исправлено. Эта крутится в продакшене уже больше года.

    05/31/13 Зайцев Артемий Анатольевич: Иван. В новой тот же косяк с датой:

    Возврат json(Формат(Объект, "ДФ=yyyy-MM-ddThh:mm:ss"));

    надо как-то:

    Возврат json(Формат(Объект, "ДФ=yyyy-MM-dd") + "T" + Формат(Объект, "ДФ=hh:mm:ss") );

    05/31/13 Иван Гришаев: Похоже, вы правы, спасибо. В моем проекте часы и минуты не нужны, не обратил внимания.

Страница 91 из 93