時系列+もう一つの何らかの属性で検索することがほとんどのデータは、S3に置いてs3 selectが有用

www.infoq.com この記事が話題になってて( なお元記事はここっぽい Moving from DynamoDB to tiered storage with MySQL+S3 | by Shane Hender | Zendesk Engineering )、かつて似たことやってAWS Summit Tokyoのミニステージで登壇したことがあったので忘れ…

Obsidianのvimのjump to linkで英単語だけでなく日本語でもジャンプしたい

最近Obsidianを使って個人の知識データベースを作っている。日々学んだこと・見た記事などをdaily noteにしつつ、ストックとなる記事を貯めていっている。 これまでもEvernote・Notionや個人ブログ等で似たことをやろうとしていたが、Obsidianはローカルで使…

超速で成果を出す アジャイル仕事術

超速で成果を出す アジャイル仕事術――プロフェッショナル2.0という働き方作者:坂田 幸樹ダイヤモンド社Amazon たまたま手にとったので読んだ。 著者の方はソフトウェア開発のマネジメント経験があって、タイトルの「アジャイル」もソフトウェア開発の「ア…

terraformでrandom_passwordで作ったパスワードを参照する

またあとで自分で調べそうなのでメモ。 terraformにはrandom_passwordという便利なリソースがあって、ランダムパスワードを生成してRDSの起動時などに使うことができる。 https://registry.terraform.io/providers/hashicorp/random/latest/docs/resources/p…

複数のGitHubアカウントでgit と ghコマンドをそれぞれ使い分ける

例えば ~/git/work/以下で仕事、~/git/personal以下で個人のGitHubアカウントで作業したいということがある。 gitコマンドにおいてGitHubアカウントを使い分ける情報自体はそこそこ豊富にある。その中でディレクトリベースで使い分ける方法を選んだ。 gitcon…

PostgreSQLでテーブルごとの行数(概算)を表示

MySQLでいうshow table statusのようなことがしたいときがよくあるのでメモ。 select c.relname, c.reltuples from pg_class c inner join pg_tables t on c.relname = t.tablename where t.schemaname = 'public' order by c.relname; 追加で t.tablename l…

AtCoder Beginner Selection

練習として一通りやってみた。 「ABC049C - 白昼夢」は3回Failしたけど結果的には解けた(ケースのバリエーションの考慮が足りずに実行時エラーになっていた) 最後の「ABC086C - Traveling」は解けなかったので答えを見た。パリティに関する問題で、これくら…

GitHub ActionsでAWS OIDC Providerを使ってAssumeRoleする設定のCDK版

詳しいことは下記の記事に書いてあってとても助かった。CDK版は探した感じ無かったので自分で書いたので共有。 GitHub Actions OIDCでconfigure-aws-credentialsでAssumeRoleする | DevelopersIO GitHub Actions が OpenId Connect に対応したので AWS OIDC …

個人的に気になったAWS update

AWS re:inventの季節で、大量のAWSのアップデートがあったが個人的に気になるもの、あとで実際に使ってみたい・置き換えたいと思っているものをメモ。 S3イベント通知がEventBridge経由でできる New – Use Amazon S3 Event Notifications with Amazon EventB…

文喫で読んだ本2019/10/01

僕は君たちに武器を配りたい作者: 瀧本哲史出版社/メーカー: 講談社発売日: 2011/09/22メディア: 単行本購入: 17人 クリック: 841回この商品を含むブログ (108件) を見る 先日亡くなられた瀧本哲史氏の著名な本。 2011年の本なので8年も前になる。これから社…

ディープテック 世界の未来を切り開く「眠れる技術」

ディープテック 世界の未来を切り拓く「眠れる技術」 | 丸 幸弘, 尾原和啓 |本 | 通販 | Amazon https://www.amazon.co.jp/%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%86%E3%83%83%E3%82%AF-%E4%B8%96%E7%95%8C%E3%81%AE%E6%9C%AA%E6%9D%A5%E3%82%92%E5%88…

CodeBuild & ECSで、ヘルスチェックでGitのコミットハッシュを返すように環境変数を渡す

>ヘルスチェックのレスポンスにコミットハッシュを返すようにするとバージョンがわかりやすいのでよい。これはいいかもなあ。Amazon EKSとECSの最新事例を聞いてきた( JAWS-UG コンテナ支部 #14 #jawsug_ct ) by @isaoshimizu https://t.co/Bl06HZsvoJ— Na…

SREcon19 Asia/Pacific参加メモ: 3日目 と総括

3日目(最終日)のメモです。各セッションを振り返ったあと、総括をします。 How We Used Kafka to Scale Database Infrastructure LinkedIn内部で使われているドキュメントデータベースであるEspressoについて、Kafkaを使ってデータのレプリケーションをど…

SREcon19 Asia/Pacific参加メモ: 2日目

昨日の記事の続き。2日目について書きます。 帰国してからきちんとまとめようと思ってもだらだら遅れる気がするので、昨日とは違って現時点でのメモをどばっと吐き出したいと思います。 Reliable by Design: Adding Value in the Design Review Process シス…

SREcon19 Asia/Pacific参加メモ: 1日目

2019/6/12~6/14にシンガポールで行われているSREcon19 Asia/Pacific(以下SREcon19AP)に参加しています。開催場所はシンガポール市内のSuntec Singapore International Convention & Exhibition Centreです。 SREconはSite Reliabilityの話題を中心に、DevOps…

VPCエンドポイントについて整理

あとで復習用にメモっておく devlog.arksystems.co.jp VPCのネットワークにはコンポーネントがいくつもあって、混乱しやすいので用語の整理。 VPCエンドポイント 「インタフェースタイプ」「ゲートウェイタイプ」の2種類がある。 インタフェースタイプ Priva…

ポートとプロセス・ユーザーの関係をss コマンドで把握

ss -ltunp でわかる。 オプションについて: -l Listenしているものを表示 -t TCP socketを表示 -u UDP socketを表示 -n サービスネームを表示 -p プロセスを表示 参考 【Linux】lsof、ss、nmapコマンドでポート確認! | 侍エンジニア塾ブログ(Samurai Blog…

Evernote, Trello, Google Keep, Scrapbox, Pocketのデータを全部Notionにひとまとめにした

いろいろ使ってたツールを統合してNotionに移行した。 www.notion.so (↑アフィリエイトリンクです。私のアカウントの無料期間が増える) Evernote(メモ, PDFなど)は組み込み機能でそのままインポート。 Trello(タスクリスト)は組み込み機能でそのままイ…

iDeCo, つみたてNISA

前から証券会社にアカウントは持っていたのだが、ちょっとだけ入金したまま放置になっていたので、GWを契機にテコ入れしてみようと思った。 iDeCoとかNISAとかなんとなく知ってはいたが、ちゃんと分かっていなかったので改めて調べてみた。 投資に時間使うつ…

アフターデジタル オフラインのない時代に生き残る

アフターデジタル オフラインのない時代に生き残る作者: 藤井保文,尾原和啓出版社/メーカー: 日経BP社発売日: 2019/03/23メディア: 単行本この商品を含むブログを見る 下記の記事で見たからというのが直接のきっかけ。 他にも読んだという投稿をSNSで見かけ…

docker-machineのenvをセットしたりリセットしたり

ᐅ docker-machine env myvm1 export DOCKER_TLS_VERIFY="1" export DOCKER_HOST="tcp://192.168.99.100:2376" export DOCKER_CERT_PATH="/Users/xxxxx/.docker/machine/machines/myvm1" export DOCKER_MACHINE_NAME="myvm1" # Run this command to configure…

NODE_ENV=productionにすると yarn installしたときにdevDependenciesはインストールされなくなる

薄い知識で適当にやってたらはまった。 NODE_ENVはnodejsの実行モードを切り替える環境変数でいろいろなところで使われているようだ。おそらくサーバーの実行モードも制御している。 yarn buildしたとき、NODE_ENVを設定しない状態ならビルドが通っていたの…

chefでreloadを呼びたいとき

chefでnotify :reload service[haproxy], :delayedって書いたのだけど、haproxyは意図通りreloadしてくれなかった。chef-clientのログは異常なしだったのだが... ちょっとよくわかってないが、support を足したら動いた。 こうする。 service "haproxy" do s…

docker for macでElasticsearchを実行するときはメモリ設定に注意

elasticsearch exited with code 137 でdockerコンテナが落ちるので調べていた。 デフォルトはいくつなんだろう? 私の場合2GBになっていたので、OOMで落ちていた。 ググったら下記にたどりついて、docker for mac自体のメモリLimitかと気づいた。 Container…

AWS Certified Developer Associate受かった。次の目標

Amazon - Badge Verification - CertMetrics Solutions Architect Associateの次に受けたAWS Certified Developer Associateも取得した。 スコアは791/1000。合格ラインが720なので、それほど余裕はなかった。 AWSを仕事でも使っているのと、特に勉強する時…

Amazon Linux2でyumでnginx入れようとしたらamazon-linux-extras使ってって出てきたが

ちょっとした雑事でEC2でnginx使おうと思って、Amazon Linux 2 を初めて使ってEC2インスタンスをたててみた。 これまでのAmazon Linuxだと普通にyumが使えたと思うのだけど、今回は違った $ sudo yum install nginx 読み込んだプラグイン:extras_suggestions…

FACTFULNESS(ファクトフルネス)

FACTFULNESS(ファクトフルネス) 10の思い込みを乗り越え、データを基に世界を正しく見る習慣作者: ハンス・ロスリング,オーラ・ロスリング,アンナ・ロスリング・ロンランド,上杉周作,関美和出版社/メーカー: 日経BP社発売日: 2019/01/11メディア: 単行本この…

AWS Certified Solutions Architect - Associate(再)取得した。次の目標

aws

受かった。 スコアは849点(1000点満点)。「セキュアなアプリケーションおよびアーキテクチャを規定する」のセクションだけ「再学習を要する」となっていて、あとは「十分な知識を有する」に分類されていた。 S3とか通信の暗号化周りの理解が浅かった感じ。…

OSQueryでOSの情報がSQLでとれる

osquery.io OSQuery知らなかった。Facebookは個人情報面ではEvilなところがあるけど、作るOSSは良いものがある。 macならbrewで入る。ただしboostやらいろいろな依存ライブラリを入れるので結構時間がかかる。 必要になったらもっと調べたいけどとりあえず >…

Operatorを作ってみる - SDKをベースにGoでControllerを書く

前回の続きで、今度はOperator SDKを使ってGoでControllerを書くかたちでOperatorを作ってみる。 下記を参照しながら作っていくが、例ではMemcachedのDeployment(レプリカ数:3)となっているが、これをmackerel-agentのDaemonSetとして作ってみる。 operator-…