fc2ブログ

無精で短気で傲慢なプログラマ

UNIX や web やプログラムの技術的なことを中心に。

[祝] AWS 全サービス 116個紹介を書いた

http://x68000.q-e-d.net/~68user/cloud/allservice-aws.html
AWS 全サービス 116個の機能紹介を書きました。
ちまちま書き続けて 5ヶ月くらいでようやく完成。

http://x68000.q-e-d.net/~68user/cloud/bigcloud-mapping.html
カテゴリ分類はこちらから。

次は Azure と GCP だ。

スポンサーサイト



PageTop

mysqldiff がない環境での MySQL データベース差分チェック方法

mysqldiff を使って継続的に MySQL のデータベーススキーマの差分をチェックする を読んで。

mysqldiff は知らなかったんだけど、こういう方法もある。

mydevdb が開発用DB、mydb が本番用DBとして、

$ diff -F "^CREATE" -c -I "Dump completed on" \
<(mysqldump mydevdb -no-data | sed 's/\(AUTO_INCREMENT=\)[0-9][0-9]*/\1/') \
<(mysqldump mydb --no-data | sed 's/\(AUTO_INCREMENT=\)[0-9][0-9]*/\1/')


mysqldump --no-data で、スキーマ定義だけを出力し、
diff コマンドで差分を取っている。

単純な diff だと、例えば 20個カラムを持つテーブルの
真ん中あたりのカラムで差分が出た場合、どのテーブルの
差分なのかわかりづらい。-F "^CREATE" は、差分があった場合、
前の行にさかのぼって、マッチする行を表示してくれる。

例えば下記の例だと、"CREATE TABLE `hoge_table` (" とあるので、
hoge_table テーブルの add_column カラムに差異あり、というのがわかる
(-F を指定しないと、どのテーブルなのか表示されない)。

*************** CREATE TABLE `hoge_table` (
*** 71,76 ****
--- 71,77 ----
`last_checked_datetime` datetime DEFAULT NULL,
`last_notified_datetime` datetime DEFAULT NULL,
`notified_last_days` int(11) DEFAULT NULL,
+ `add_column` int(11) DEFAULT NULL,
`insert_datetime` datetime NOT NULL,
`update_datetime` datetime NOT NULL,
PRIMARY KEY (`uid`,`domain_id`)

-F オプションは、context diff や unified diff でないと
効かないので、この例では -c で contxt diff にしてある。
"^CREATE" だけのパターンで大丈夫かはわからないが、もし
漏れがあったとしても、差分自体が出ないわけではないので
大事故にはならないでしょう。なお、diff -F は 1989年あたりから
あるっぽいので、Linux でも *BSD でも使えるはず。

さらに、ダンプ末尾の
 -- Dump completed on 2017-04-03 13:44:47
というのも毎回差分が出るので、grep -I で無視している。

AUTO_INCREMENT も差分が出てしまうが、
) ENGINE=InnoDB AUTO_INCREMENT=310458 DEFAULT CHARSET=utf8;
などと他に重要な情報が出ているので、
) ENGINE=InnoDB AUTO_INCREMENT= DEFAULT CHARSET=utf8;
というふうに AUTO_INCREMENT 部分だけつぶすようにしている。

コマンド <(サブコマンド1) <(サブコマンド2)
という書き方は、bash 専用。
詳しくは リダイレクト を。

ちなみに、5環境分まとめてチェックしたかったり、開発テーブルではこのカラムAが
5番目にあるけど、本番テーブルでは末尾にあるが、これは無視したいとか、細かな
要望がいろいろ出てきて、結局は自前でスクリプト組むことになる気もする。

あと、http://x68000.q-e-d.net/~68user/unix/pickup?mysql
という、MySQL に関することをひととおり盛り込んだ解説をちまちまと書いているので、
よかったら読んでください。

PageTop

資金繰りに苦しんだ話

昨年、思うところがあって起業しました。
わたし一人の会社です。

事前に知人に相談したり、書籍やサイトで勉強していたのですが、
それでも想定外のことはあるものです。

今回は想定外だったことその1「資金繰りに苦しむ」です。

2016年8月末で退職しました。最後の給料は 2016年8月25日支給でした。

2016年9月1日より、あるお客様と業務委託契約を結び、SI 業務を行ったのですが、
月末請求で、支払サイトが1ヶ月半の契約でした。

つまり、2016年9月分のお金を9月30日に請求しても、その入金は 11月15日。

サラリーマンとしての給与振込が 8月25日。業務委託の入金が 11月15日。
これまでは1ヶ月待てば翌月の給与振込があったのに、
今回、2ヶ月と20日待たないとお金が入ってこない。

よく考えると当たり前なのですが、最初のうちは気づかなかった。

実際のところは、11月15日の入金は、設立した自分の会社への入金であるので、
私自身への役員報酬と直接リンクはしていません。11月15日より前に、
自分の会社から自分自身に役員報酬を支払ってしまえばいいのです。

しかしながら、会社の資本金を 50万円と少なめにしてしまい、
なおかつお手伝いをしてくれたエンジニアへ業務委託費を支払ったりして
お金を使ってしまったので、会社にお金が残っていない! 自分に役員報酬を払えない!

結果としては、自身への役員報酬の支払は少し遅らせて、その間、個人の外貨預金を
円に戻したりして、しのいだのでした。

以上、一人だけの会社なのに、設備投資もないのに、資金繰りで苦しむことがある、というお話でした。

本気で資金繰りに苦しんでいる人から見ると、誠にヌルい話ですみません。
PageTop

「外国為替レート変換タグ」を直してほしいです

外国為替レート変換タグ が Firefox 3.6.8 で動かない (作者様ページ)。
IE8 では OK。Firefox のコンソールには
  illegal character
  http://raku2fx.com/fxapi-getfx.php?e=ex1&f=USD&JPY&v=5
  (以下文字化け)
と表示されている。
 

http://raku2fx.com/fxapi.js をローカルに保存して、
 function exchange(e, f, t, v, cf){
  document.write('<script type="text/javascript" src="...">

  document.write('<script type="text/javascript" charset="utf-8" src="...">
とすれば動いたので、ぜひご修正いただければと。

Amebaアカウントを取らないと作者様ページにコメントつけられないようなので、
ブログで書いてみました。

…と思ったら、作者様のメインページにメールアドレスが記載されていた。
もう書いちゃったからまあいいか。

※追記
あと、使用方法として
  <script type="text/javascript" src="fxapi.min.js"></script>
とありますが、
  <script type="text/javascript" src="fxapi.min.js" charset="utf-8"></script>
とするか、fxapi.min.js の先頭行に
  @charset "utf-8";
を追加いただければと思います。

Windows のデスクトップ上で行っているからかもしれませんが、UTF-8 で
  <html>
  <head><meta http-equiv="content-type" content="text/html; charset=utf-8"></head>
  <body>
  <span id="ex1" class="fxapi" fcode="USD" tcode="JPY" value="5" format="${v1} は {f2} 円です ({date})。">$5</span>
  <script type="text/javascript" src="http://raku2fx.com/fxapi.min.js"></script>
  </body>
  </html>
というファイルを作成し、Firefox で表示した場合、上記 2点を修正しないと動きませんでした。
PageTop

技術者・SE・プログラマ面接時の技術的な質問事項

最近、技術者やプログラマの方と面接する機会が多いです。
毎回質問事項を考えるのにも飽きたので、再利用できるようにまとめておきます。

もしさわりの質問に対する反応が良かった場合は、さらに突っ込んだ質問
(インデントが深いもの) をします。経験がないようなら、さらっと流します。

当ページ管理人は、現在 EC サイト構築・運営を担当しているため、
そっち方面に偏っています。

最小限の質問でその人のスキルを見極めるのは難しいなぁ…。

-------
●追記
ホッテントリに載ったようなので、このチャンスに 人材募集 を再アピールしておきます。
興味のある方はぜひ。

念のため言っておきますが、全部できないとダメというつもりは全くありません
(当ページ管理人も、CSS・Eclipse・Struts・Spring・Hibernate・Ruby・アセンブラなど、
弱い部分が多々あります)。

「~はできますか?」「できます」というやりとりがよくあるのですが、「できます」の幅が
広すぎるので、そこを見極めるための材料です。

●追記2
> s-miyashita telnet で ftp って、データ送受は許してくれますよね?:)
passive でデータ送受信まで行えば文句なしです :-D

●追記3
「アルゴリズム」を追加しましたが、イマイチ。その他ちまちまと追加 (★部分)。
-------

・UNIX
 ・使用 OS は何か (FreeBSD/Linux/Solaris/UNIX)
 ・grep/tar/find を使ったことはあるか★
  ・cron 設定をしたことはあるか★
 ・パーミッション (chmod 777, chmod rwx など) の意味★
  ・ディレクトリに対する r/w/x はそれぞれどういう意味を持つか (ファイルに対する
   r/w/x との違いは何か)★
  ・1755・2755・4755 それぞれの意味は何か★
 ・パッケージ管理には何を使っているか
 ・configure からアプリケーションをコンパイルしたことがあるか
 ・共有ライブラリとは何か
 ・シェルの役割を示せ (sh や csh が以下の入力を得た後、何を行うか)★
  ・第一段階: コマンドラインにて ls とタイプしたとき
  ・第二段階: コマンドラインにて ls | sort とタイプしたとき
 ・fork/exec する簡単なシェルを書けるか
  ・子プロセスが親プロセスから引き継ぐもの、引き継がないものを、それぞれ数点あげよ★

・言語
 ・どの言語が好きか。使用している言語のバージョンは(言語共通)★
 ・Perl
  ・どのモジュールが好きか
  ・print と syswrite の違いは何か★
  ・Web フレームワークは何を使っているか
 ・Java
  ・Web フレームワークは何を使っているか
  ・「クラス変数/インスタンス変数/ローカル変数のうち、スレッド
    セーフなのはローカル変数だけである」とはどういう意味か
 ・PHP
  ・Web フレームワークには何を使っているか
  ・PEAR で利用しているパッケージは何か
  ・php.ini で定義できる以下のディレクティブの違いを述べよ。★
   ・default_charset
   ・mbstring.language
   ・mbstring.internal_encoding
   ・mbstring.http_input
   ・mbstring.http_output 
   ・mbstring.encoding_translation
   ・mbstring.detect_order
    → 当ページ管理人は全く覚えてません。
 ・Ruby
  ・Ruby に対する熱い思いのたけを述べよ
 ・C
  ・malloc(3)/realloc(3) にて、動的メモリ管理ができるか
   ・リンクリストを書けるか
   ・malloc したメモリは free すべきか★
  ・fputs(3) と write(2) の違いは何か
  ・可変長引数な関数を記述したことがあるか
  ・Makefile を書けるか
  ・コンパイル・アセンブル・リンクとは何か
  ・二乗を返すマクロ #define MY_POW(x) ((x)*(x)) の問題点は何か★

・コンピュータ基本素養
 ・エンコーディングとは。文字集合とは (ISO-2022-JP と JIS X 0208 を
  説明できるか)
 ・RFC を読んだことはあるか。
 ・テキスト領域とは何か。スタックとは何か。ヒープとは何か。
 ・ブラウザに URL を入力してから、ページが表示されるまで、ブラウザや
  OS が行うステップを示せ (5ステップ以上が望ましい)
 ・BNF (拡張BNF) とは何か。簡単な例をあげよ★

・アルゴリズム★
 ・クイックソートの概要を述べよ
 ・O(n) とはどういう意味か
 ・スパム判定に利用されているベイズの定理とは何か
 ・将棋やチェスなどの思考ルーチンで使用されるミニマックス法とは何か
 ・遺伝的アルゴリズムとは何か
 ・"2+4*(8-1)" などの計算式の答えを出すプログラムを書けるか (字句解析/構文解析)★
 ・有限の在庫と、それを買いたい有限のお客様がいる。お客様は、各在庫に
  ついて欲しい順に順位を付けている。
    お客様A: 1番欲しいのは商品x、2番目に欲しいのは商品y、3番目に…
    お客様B: 1番欲しいのは商品y
    お客様C: 1番欲しいのは商品x、2番目に欲しいのは商品z、3番目に…
  お客様に在庫を割り当てるとして、なるべく多くの在庫を割り当てつつ
  顧客満足を最大にする方法を示せ。ただし 1人のお客様には必ず 2個の
  在庫を引き当てる必要がある (1個は NG。3個以上も NG。0個はアリ)。

  なお、この割り当て作業は毎日実施する。在庫状況や、お客様が指定
  する順位は日々変動する。ある日は「お客様Bには割り当てできず」と
  いう状況もありうる (その場合お客様Bの顧客満足は低下する)。
  顧客満足の定義など不明点はおのおの考えること。
   → 「人材募集」に書いた新規サービスにおいて、こういうことをやります。

・データベース
 ・SQL経験
  ・WHERE 句と HAVING 句と GROUP BY 句の意味と、評価順位は★
  ・CASE・UNION・EXISTS の意味は★
 ・データベース利用経験 (Oracle/MySQL/PostgreSQL/その他)
  ・Oracle であれば、テーブルスペース (表領域) とは何か。エクステントとは何か。
  ・MySQL であれば、MyISAM と InnoDB の違い。
 ・ER図とは何か
 ・正規化とは何か
  ・第一正規形/第二正規形/第三正規形とは何か
 ・ACID 属性とは何か
  ・ヒントとして
   ・Atomicity(原子性)/Consistency(一貫性)/Isolation(独立性)/Durability(永続性)
 ・バックアップ/リストアはできるか
 ・レプリケーションはできるか
 ・トランザクションログとは何か (ロールフォワードとは何か)
 ・トリガ・ビュー・ファンクション・プロシージャ・NOT NULL 以外の制約・参照整合性
  制約(外部キー)とは何か★
  ・上記のものを使うべきか使わざるべきか (DB でやるかアプリでやるか)。また、それはなぜか。
 ・ORマッパとは何か。どのORマッパが好きか

・バッチ系
 ・CSV/固定長ファイルを取り込むことはできるか
 ・メール配信ができるか
 ・EDI連携 (受発注や在庫流通などのデータ連携) はできるか
 ・バッチにて途中でエラー終了した場合、
  ・DB を更新するバッチの場合、後始末として何をすべきか
  ・1000人にメールを送るバッチの場合、後始末として何をすべきか
  ・CSV ファイルを出力するバッチの場合、後始末として何をすべきか

・セキュリティ
 ・外部のセキュリティ診断を受けたことがあるか
 ・SQL インジェクションとは何か。その対策は
 ・XSS 脆弱性とは何か。その対策は
 ・CSRF (クロスサイト・リクエスト・フォージュリ) とは何か。その対策は
 ・暗号化知識
  ・ブロック暗号とは何か
  ・公開鍵暗号とは何か
  ・MD5・SHA とは何か。暗号化と一方向ハッシュの違いは何か
 ・日々のセキュリティ情報をどこから入手しているか★
 ・高木浩光を知っているか★

・HTML/Javascript/CSS
 ・HTML
  ・HTML を書けるか
   ・XML を書けるか
   ・XHTML を書けるか
    ・DTD とは何か
    ・DOCTYPE 宣言とは何か
  ・「HTML 4.0 Transitional では IE は quirk モードになる」の意味がわかるか
  ・実体参照とは何か
  ・META タグとは、「何の」META 情報か。
 ・Javascript を書けるか
  ・Ajax な Javascript を書けるか
  ・Ajax ライブラリを使ったことはあるか (jQuery/prototype.js/script.aculo.us)
  ・DOM (Document Object Model) とは何か
   ・getElementById を使ったことはあるか
   ・appendChild でまっさらな HTML から任意の HTML を動的に生成できるか
 ・CSS
  ・CSS を書けるか
  ・padding と margin の違いは何か
  ・CSS Sprite とは何か
 ・その他
  ・favicon とは何か
  ・URL エンコードとは何か
  ・BASE64 とは何か

・Web アプリケーション
 ・CSVファイルをアップロードし、DB に格納するアプリケーションを作成できるか★
  ・CSVファイルをダウンロードするアプリケーションを作成できるか★
  ・動的画像生成経験★
  ・PDF生成経験★
 ・セッション管理
 ・デザイナとの協業経験
 ・SEO を意識して Web サイトを作成したことがあるか
  ・具体的に何を行ったか、効果測定をしたか
 ・リスティング広告組み込み経験
 ・Google Sitemap
 ・全文検索エンジン利用経験 (Namazu/Hyper Estraier/Senna/Lucene など)
  ・n-gram と形態素解析の違いは何か
 ・負荷計測はできるか
  ・どのような負荷計測ツールを使ったか
  ・どのような考え方で負荷計測をしたか (何をもって合格とするか)
 ・クロスブラウザな Web を作成したことがあるか (IE 以外のブラウザ)

・モバイル
 ・モバイルサイト構築経験
 ・公式サイト構築経験
 ・(いわゆる) 携帯 UID とは
 ・画像表示に関する機種ごとの差異を述べよ
 ・HTML に関する機種ごとの差異を述べよ

・ネットワーク管理
 ・Windows または UNIX マシンを、LAN に接続できるか
 ・DHCP サーバがないとして、PC に何を設定すれば LAN 経由で
  インターネットに出られるか
 ・ルータ設定はできるか
 ・DNSサーバ管理はできるか
 ・DNS サーバの役割は
  ・DNS の正引きとは何か、逆引きとは何か
   ・A レコードとは何か、CNAME レコードとは何か、AAAA レコードとは何か
   ・SPF レコードとは何か
 ・FTP における active/passive とは何か
 ・telnet を起動し、HTTP/SMTP/POP3/FTP サーバとしゃべることができるか
 ・メールサーバ管理経験(sendmail/Postfix/qmail/その他)
  ・携帯宛のメール送信はできるか
   ・その場合の注意点は (PC 宛ではなく、携帯宛の場合で気をつけること)
  ・大量メール配信経験
  ・マルチパートメールを送信できるか
   ・(いわゆる)デコメールの仕組みを述べよ
  ・bounce メール処理はできるか
  ・foo.@exmaple.co.jp というメールアドレスが不正であることを説明せよ。
   ・(送信できない環境の場合) どうしてもこのメールアドレスにメールを
    送信したい場合の方法は。
 ・traceroute の動作原理は
  ・UNIX 系の traceroute と、Windows の tracert コマンドの大きな違いは何か
   (ヒント: ICMP)
 ・NAT (NAPT) とは何か

・プロジェクト管理/構成管理
 ・バージョン管理ツールの使用経験 (CVS/Subversion/Git など)
 ・過去のプロジェクトでは、システムは何環境あったか (開発/テスト/本番など)
 ・複数の環境で整合性を取るため、どのような工夫をしたか
 ・Wiki の利用経験

・インフラ管理
 ・Webサーバ(Apache)
  ・どのようなモジュールを使ったことがあるか
  ・バーチャルホストを設定できるか
  ・SSL
   ・SSL 対応ページを準備するまでの手順を示せ (ヒント: 秘密鍵・CSR)
  ・負荷分散の経験
 ・静的 Web ページを高速化する方法を示せ
  ・Apache における ETag とは何か
 ・Web サイトが重いため、定量的な分析を行ってボトルネックを調査したい。
  具体的にどのようにするか。
   ヒント: ネックになっているのは、DB/アプリケーション/帯域/CPU/HDD
       のいずれかとする。どのような分析をすることで原因を突き止め
       られるか。
PageTop