ついうっかり油断してたら更新滞ってしまった。 明示的に曜日を決めて投稿するとかしたほうが良いのかもしれない。 ということで6日ぶりの更新です。
データ分析
データ分析全般
primeNumber社、最近色々展開が活発になってきてますよね...
データ基盤の運用に課題感があるお客様向けのソリューションサービス DataOps 支援をローンチしました。ぜひお問い合わせください。 https://t.co/KYQVSEbNDM
— Satoshi Hirose / 廣瀬 智史 🐘 (@satoshihirose) 2024年5月14日
どこかで何かあった時に活用したい。どこで何があるか分からんけど。
xtrend.nikkei.com国の統計データはめちゃくちゃ使える。これは間違いない
— 松本健太郎 (@matsuken0716) 2024年5月14日
無料マーケデータ100選 生活者意識・消費データの変化に商機あり https://t.co/fwOqOUSlaG
セマンティックレイヤー(Semantic Layer)
セマンティックレイヤー周りはまだまだ世の中に浸透していないカオスでもあるよねぇと思う、どこから始めるのが良いんでしょうね？と情報を調べてみたらOSSのものもあるようなのでまずはそういったところから実践、実体験を経て知見を広めていこうかなと思う。果たして今後(セマンティックレイヤーは)定着していくものなのかどうか。
Semantic Layer試したい→でも大体有償になっちゃうよね→無償で使えるやつってないのかな...と思って調べてみたらCube OSSってのがあるのね。(正確にはCube Core？) ここから試してみようかしら。
— しんや (@shinyaa31) 2024年5月14日
Building your data stack: Cube Cloud or OSS - Cube Blog https://t.co/1Yz4saZhpY
雑な整理として、セマンティックレイヤーを、
— ikki / stable代表 (@ikki_mz) 2024年5月14日
1. DWH（ex. Snowflake）
2. ELT（ex. dbt）
3. BI（ex. Looker）
のどこでも作れるとなったときに、どこで作るのが良いのかっていう話になっていくんですかね。
なんでもいいけど「セマンティックレイヤー」というものの知名度というか存在感が強まっていくことは世界平和に繋がるのでとても良いことだと思う
— tomoya | Looker PE (@tomoya_cs) 2024年5月14日
Snowflakeが独自のデータのセマンティックレイヤー開発してるっぽい。
— 前田健太郎@データエンジニアリング (@rakudeji) 2024年5月14日
上みたいなDDLから下のようなSemantic Layerの宣言を出力してくれるとのこと
今はセマンティックレイヤー導入考えてる企業は、ファーストパーティから出る可能性を考慮したほうが良さそうhttps://t.co/3JrGdMAX4M pic.twitter.com/rlZMww871u
複雑なデータを理解可能なビジネスの概念に変換するセマンティックレイヤー。
— zono@Data Engineer (@zono_data) 2024年5月15日
歴史を踏まえて、何故この層が必要なのかをメリットと合わせて解説している記事。
ここ最近のデータエンジニアリングでも注目されている領域になる。
セマンティックレイヤー / Headless BIとはhttps://t.co/hUTJF28rq7
モデリング
データモデリングの参考に。
note.comマスタとトランザクション、最新と履歴テーブルに必要なカラムの作り方を紹介。
— zono@Data Engineer (@zono_data) 2024年5月11日
Slowly Changing DimensionsのType1とType2が主に使用されることが多い。
分析基盤のためのテーブルとカラムhttps://t.co/M83ydiXJkS
データモデリングの参考に、その2．
medium.comこのネタ、いつも盛り上がるよね。https://t.co/GjdLv0sIqz
— ABE Masanori (@abe_masanori) 2024年5月12日
こちらの投稿で書籍『The Data Warehouse Toolkit, 3rd Edition』の存在を知った。
www.kimballgroup.com正解は、どちらでもなかった🫤
— たぬ (@tanuhack) 2024年5月16日
BI のレポートラベルの観点から、ロールプレイングディメンション（Location）に、それぞれ独立した SCD Type 1 のアウトリガーディメンションをロールプレイングディメンション（Warehouse）として紐づけるみたい
バイブル（DWH Toolkit, 3rd）の 5 章を参照 https://t.co/SuGTSdVsv7 pic.twitter.com/JRsX69w4Hp
dbt
やっぱこういうの使いたいよねぇ、直近検討しているやつではdbt Cloudベースで考えてたけどCoreとの併用で行きたい感...
zenn.devdbt-osmosisを使ったメタデータ入力の軽減｜kyami https://t.co/ixNEHAcAbK #zenn
— koreeda (@cs_dev_engineer) 2024年5月15日
先日開催されたウェビナーで新機能沢山来てましたが関連する公式ブログもちゃんと出てました。
dbtの新機能群、先日発表があった時点で公式ドキュメント(リリースノート)に言及が無かった部分も含めてまるっと紹介・解説されていますね。要チェックです。
— しんや (@shinyaa31) 2024年5月16日
Delivering Data That Works: the biggest new dbt Cloud features announced at our virtual event | dbt Labs https://t.co/ofHb0JzOR2
ちなみに私の方で投稿した関連会社ブログはこちらです。(投稿日順) dev.classmethod.jp
Elementary Data
Elementaryも触ってみたいプロダクトではあるんだが、いかんせん有償版しかねぇ...
techblog.cartaholdings.co.jp弊社のfluctのData Observability事例出た。
— pei (@pei0804) 2024年5月16日
まじでElementary便利！！！
dbt test + elementaryによってData Observabilityを高める - CARTA TECH BLOG https://t.co/2hhhDa2Yjh #SnowflakeDB #snowflake_advocate pic.twitter.com/f0ZQAasJuq
と思ってみたらOSS版もあるのね。触ってみよう。 docs.elementary-data.com
Looker Studio
Looker Studio、お値段的には1人9ドル/月なのね。アリかも。
support.google.comいつの間にか Looker Studio Pro に Alert 機能がついてた。Lookerと同じように簡易的なデータガバナンス（例：0件チェック）やxOps（例：条件を満たした顧客リストの通知）ができるっぽい。https://t.co/G1Q6RR2rGj pic.twitter.com/UK6jejqk4j
— ゆずたそ / Sho Yokoyama (風音屋) (@yuzutas0) 2024年5月12日
OpenMetadata
データカタログは(も？)dbtの諸機能で良いんじゃないかとは思っているけどOpenMetadataも(OSSの方を)活用してみるかなぁ。
「OSS版OpenMetadataでSnowflakeのメタデータ管理とデータ品質テストをしてみた」という記事を書きました。
— Haruka Takahashi (@harukan0000) 2024年5月10日
前回のBigQueryとの連携に内容は近いですが、Snowflakeでの注意すべき点や、初めて触る人へのわかりやすさをを意識して書きました！https://t.co/H9dNPHu6OX
Snowflake
これを見るとやはりSnowflakeは適宜情報をウォッチしていくべきだよなぁ
大事な事なので改めて。OpenAI社の主要DWHはSnowflakeです。https://t.co/RBJvFRehFm
— Shota Asano@Snowflake japan (@ShotaAsanoSnow1) 2024年5月14日
Snowflake、頻繁にこの手の『ベストプラクティス』エントリ出てくるよね。それだけ利用人口が多く、有用な情報が出てくるだけの使い勝手があるという事なんだろう。どこかで『そういうの』をまとめたいな...
medium.comSecuring Your Snowflake Instance: Best Practices and Advanced Techniques | by Robert B.P | May, 2024 | Medium #SnowflakeDBhttps://t.co/D1PnF9HYTq
— Mineaki Motohashi (@mmotohas) 2024年5月14日
その他
長文X投稿：この辺はまぁ色々思うところはあるよねぇ。
◆「超スピード退職の本当の論点」と「近年のキャリア論への違和感」について
— さかいふうた (@fuuuuuta21) 2024年5月11日
近年、プロティアンキャリアやバウンダリーレスキャリアなど、組織内でのキャリアではなく、個が主体性を持ってキャリアを開発していく「ニューキャリア論」が流行している。…
直近配信系の作業が急務で必要になってきそうであり、色々興味が湧いてきているお年頃な今日この頃。色々出来るようになりたいな。
qlab.app proav.roland.comそろそろちゃんとイベント配信系の仕事を副業として受けられるようにしたほうがいいか。
— Masao Maeda (@brtriver) 2024年5月15日
本番3日前にようやく具体的な話をききつつ、QLabで素材普通に組んで、カメラ、マイクの配線まわりを考えてVR120HDでひととおり準備し、何事もないように本番作業をこなすのは趣味レベルではない (笑
DevRelや技術広報といったロール(の記事)は最近良く目にすることがありますが具体的な違いみたいなのってあんまりピンと来て無かったんですよね。ってことでPerplexity Proに聞いてみました。こういう取っ掛かり、未知の事象についてガイド的に聞いてみるってのには生成AI便利な気がする。
発端はこちら941さんに関する記事から。Perplexity Proに聞いてみた。なるほどそういうことなのか...ってかGPT-4oの回答速度早ぇぇぇぇ！ pic.twitter.com/TQHTytWmoT
— しんや (@shinyaa31) 2024年5月16日
カケハシの技術広報チームに新しいメンバーが参加しました！DevRelの先駆者の1人として活躍する@941と共に、6月からは更に技術発信やコミュニティへの貢献を強めて行きます。https://t.co/55rtm9hDcr
— カケハシ技術広報 (@kakehashi_dev) 2024年5月15日
情報整理の参考として。
この表のまとめがいい！
— shinden (@t_shinden) 2024年5月16日
コミュニケーションのためのドキュメント書いておきたい pic.twitter.com/RXl4yPIfAR
