HW7: CEGIS synthesizer

[duncan020313]

안녕하세요.
HW7은 반례 기반 합성기(Counter-Example Guided Inductive Synthesizer, CEGIS)를 구현하는 프로그래밍 과제입니다.
아래 링크로 저장소를 생성한 후 과제를 시작해주시기 바랍니다.

• https://classroom.github.com/a/2evtMf8Z

다음은 과제 7의 세부 평가 기준입니다.

• 여러분이 구현한 합성기를 여러 번 제출할 수 있습니다. Gradescope는 총 40개의 테스트 케이스(레포지토리에 제공된 5개와 비공개 35개)를 이용해 합성기를 평가합니다.

• 기한 내 제출된 합성기들의 리더보드 점수를 기준으로 점수를 부여합니다.

• 늦은 제출은 지각 제출 정책에 따라 점수가 감점됩니다.

• 본과제는 이전 합성 과제들과 같이 최소 5개의 개인 테스트케이스를 직접 작성하여 템플릿 코드의 mytest 디렉토리에 추가해 주셔야 합니다.

  • mytest디렉토리에 추가된 테스트 케이스가 5개보다 적거나 테스트케이스의 문법에 문제가 있다면 기존 커버리지의 방식과 같이 0점으로 처리됩니다.
  • 개인 테스트케이스 작성은 test디렉토리에 있는 *.sl파일을 참고하여 주세요. (mytest 디렉토리에는 dune을 추가하지 않으셔도 됩니다.)

• 과제가 마감되면 학생분들이 제출하신 테스트케이스 중에 임의로 5개를 선정하여 제출된 과제를 추가로 채점하게 됩니다. 추가로 채점된 부분은 기존 순위표의 성적과 합산되어 게시됩니다.

• 세부 점수 부여 기준은 다음과 같습니다.

if (Timeout or Crash) then 0 else 1

• 각 테스트 케이스별로 위 조건을 통해 원점수를 산정한 뒤, 산출된 점수를 0~100의 범위로 환산하여 점수가 게시됩니다.

• 각 문제당 제한시간은 2분입니다.

• 제출 마감일은 12월 4일(목) 23:59이며,
늦은 제출은 12월 6일(토) 23:59까지 가능합니다.

학생분들의 동기부여를 위해 순위표에 2024, 2023년 동일과제에서 우수한 성적을 거둔 학생의 점수를 게시하였습니다.

감사합니다.

—

Hello.
HW7 is a programming assignment to implement a Counter-Example Guided Inductive Synthesizer (CEGIS).
Please create a repository using the link below before starting the assignment.

• https://classroom.github.com/a/2evtMf8Z

Here are the detailed criteria for this homework:

• Custom Test Cases: Like previous assignments, you must write at least 5 personal custom test cases and add them to the mytest directory in the template code.

  • If there are fewer than 5 test cases added to the mytest directory or if there is a problem with the syntax of the test cases, your submission will be graded as zero points as in the previous coverage method.
  • For writing personal test cases, please refer to the *.sl files in the test directory. (You do not need to add dune to the mytest directory.)

• You can submit your synthesizer as much as you want. Gradescope will evaluate your synthesizer with the 30 test cases (5 are in your repository, and others are hidden).

• We will grade your score based on the leaderboard score on the due date.

• For late submissions, your score will be degraded according to the late submission policy.

• In detail, the raw score for each test case will be assigned as below,

if (Timeout or Crash) then 0 else 1

• The timeout for this homework will be two minutes per problem.

• The accumulated raw score will be scaled to a range of 0-100 and posted to the leaderboard.

• Due is 12.4(Thu.) 23:59, and late submission is available until 12.6(Sat.) 23:59.

To motivate students, we have posted the scores of students who achieved outstanding results in the same assignments in 2024 and 2023 on the ranking board.

Thank you.

[Yonas-ga]

Hello, I get this issue when I try to submit my code to Gradescope Turnitin. It has persisted the whole night. Has anyone also encountered this issue ?

[duncan020313]

The last version you submitted (December 4 at 1:07 PM) appears to have been graded successfully. Please check it.

[Yonas-ga]

Thank you, I wonder why it didn’t work but I’m glad it does now !

[duncan020313]

This issue usually occurs due to Gradescope's unstable grading servers. Resubmitting 2-3 times should resolve it.

[heejbin]

안녕하세요. 실행 결과가 다음과 같이 나오는데, 이를 어떻게 해석하면 될까요?
Test 1: 0
Test 2: 6

[duncan020313]

해당 숫자는 합성에 소요된 시간을 나타냅니다

---

These numbers indicate the time taken for synthesis.