毎回review appに変数を入れるのめんどくさいなーと思っていたので、設定しました
DBをコピーするときはapp.jsonを使っていたので、環境変数もそこに記載するのかな？と思っていましたが、調べたところherokuの管理画面から設定できるようです
まずはpipeline→review apps→configure→More settings
遷移した後の画面の真ん中あたりに環境変数を設定する箇所があるので、ここに入れることで毎回設定することなく利用することができます！
herokuのreview app全てに環境変数を適用する方法