横断組織が向き合うVisual Regression Testing —Chromaticは使い続けるべきなのか—

概要：マネーフォワードのtoB領域では現在、20以上のプロダクトがChromaticというSaaSを使ったVisual Regression Testing（VRT）を導入しております。Chromaticはスナップショットごとの従量課金制で、我々は無為な使用を続けた結果、コストが想定以上に大幅に嵩み、予算の管理体制が整っていない状況に直面しています。私はこの課題の解決や、VRT自体の目的や戦略を標準化する取り組みの責任者です。この発表では、私が取り組んでいる内容や多様な現場でのテスト戦略立案の困難さ、Chromaticの利用コストを最適化するための工夫ポイントなどをお話しします。（現時点で絶賛取り組み中の活動のため、答えは出ていないタイプの発表です。）

目的：この発表は、上記の内容を事例として紹介し、これからVRTに取り組むエンジニアや、既に似たような課題に直面している同規模の横断活動を行うEMに、気づきを与えたり、コミュニティ全体のVRTに対する意識向上や議論の活性化に繋げることを目的としています。

発表構成案：

• 自己紹介
• VRTとは
• Chromaticとは
• VRTはTesting Trophyにおける何か？ → 解釈は様々で、どこにも当てはまらない。カテゴライズすること自体がナンセンスの可能性。
• VRTはいつ行うべきなのか（どの粒度？どの頻度？）
• Chromaticコスト節約術
  • TurboSnapを有効化しよう
  • スナップショットはデフォルトでdisableにして、明示的にenableしよう
  • 対象のStoryをなるべくまとめよう
  • ワークフローはラベル付けによって手動で実行しよう
• Chromaticは使い続けるべきなのか → 正直分からない。答えがない。代替手段はたくさんあるが、それぞれにメリット・デメリットがある。
• まとめ