{{사이트 성격}}에 맞는 robots.txt를 만들어줘. 학습용·검색용·사용자 요청용 봇을 나눠서 각각 열지 막을지 정하고, 그렇게 정한 이유도 함께 적어줘.