どこかのサイトのdocker-compose.ymlを参考にして構築してあとに例えば、PHPだけ、バージョンを変えて再構築したい場合に便利な手順です。--no-cacheをつければいいんですが、忘れそうなので、メモ程度に記事にしました。
# コンテナを削除 となります。
docker-compose rm <コンテナ名やコンテナID>
# ちゃんと指定したコンテナがなくなっているか確認
docker-compose ps -a
# 個別のコンテナを作り直し
docker-compose build --no-cache <service_name>
# 動作確認
docker-compose up -d