Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
FIT5174
Parallel and Distributed Systems
Introduction & Overview
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
FIT5174Parallel & Distributed Systems2013
Lecturer:  Dr. Ronald Pose
e-mail:Ronald.Pose@monash.edubut please include “FIT5174” in the subject line
home phone:03 9527 1331
Consutation time:5-6pm Wednesdaysin H7.87 or contact me by telephone or e-mail.
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
FIT5174 Information
FIT5174 web page
Students should check the web page often sincethat is where I will leave useful information, filesfor assignments and lab sessions.
Moodle will also contain links to these and otherresources. Just be patient while I set things up.
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
OVERVIEW
Distributed and Parallel Systems is a verybroad description. Many modern computingsystems are distributed in that their processingresources and their data resources may bescattered over various networks. Theseresources may or may not be used in parallel.
Modern computer systems contain parallelismin both hardware and software.
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
OVERVIEW continued
This unit covers distributed systems and alsoparallelism in both general purpose andapplication specific computer architectures andthe programming paradigms that allowparallelism to be exploited in software.
The unit examines both shared memory andmessage passing paradigms in both hardwareand software; concurrency, multithreading andsynchronicity; parallel, clustered anddistributed computing models and languages.Students will program in these paradigms.
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
OBJECTIVES:
A knowledge and understanding of:a variety of distributed and parallelarchitectures, such as bus-based, massivelyparallel, cluster, vector;
a variety of parallel programming paradigms,synchronisation and parallelisation primitives,message passing, data parallel, tuple space;
concurrency, synchronicity and parallelism;
the design issues of distributed and parallelsystems.
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
Contact Time:
The subject is taken over 12 weeks:
Lectures: 2 hours each week (Wednesdays 6-8pm)
Lab / Tutorial Sessions:  2 hours per week.
Consultations: the hour prior to the lecture in H7.87
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
Essential Background Knowledge
Programming experience in C (C++ or Java programmer will need to allocateextra time to get used to the C programming style)Co-requisites: None.Prohibition: FIT4001, CSE4333
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
Handouts and other Resource Materials:
Available on subject page for download
Attendance Policy:
Highly recommended
Course Work:
This component will be assessed by way of two assignments (25% each), aclass test (25% during final lecture), and laboratory work (25%).
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
Assessment
Distributed Part
Assignment 1:  25%
Parallel Part
Assignment 2:  25%
Class Test covering the whole curriculum:  25%
Assessed Lab work:  25%
No End of Semester Exam
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
HD
80% - 100%
High Distinction
D
70% - 79%
Distinction
C
60% - 69%
Credit
P
50% - 59%
Pass
N
0% - 49%
Fail
Grades
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
Plagiarism
The Faculty of Information Technology and Monash as awhole regard cheating as a serious offence. Whereassignments or other work are submitted which haveevidence of cheating, those concerned will be required toattend an interview with the subject lecturer and thecourse leader. On establishing that cheating has occurred,the matter may be referred to the Faculty DisciplineCommittee for further action. Penalties that may beimposed for cheating include: the awarding of zero marksfor the piece of work and the the subsequent failing of thesubject, suspension from the university and exclusionfrom the university. Students who provide their work forothers to copy are also subject to the same penalties asthose who copy.
You Must Read the UNIT GUIDE
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
Unit Contents
Distributed Systems
(50%)
Parallel Systems
(50%)
FIT5174
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
Schedule of Lectures / Topics
The following is a preliminary schedule fortopics to be covered in lectures. This willmost likely change after I learn more aboutstudents background knowledge andskills.
Updates will be posted on the web siteand Moodle.
All material presented in lectures will bemade available on-line.
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
Part I
The objective of this part is to introduce characteristics of distributedsystems, and to examine distributed system architectures andsoftware structure, and to learn algorithms for distributed systems.
The discussion will emphasize on fundamental concepts indistributed systems, such as communications, synchronisation,processes, and file services.
We will also look at advantages and disadvantages of distributedsystems including:
Performance
Reliability
Robustness
Scalability
Cost
Legal issues
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
Topics
Week 1: Introduction:
What is a distributed system?
Evolution of Distributed Systems
Distributed Systems Models
Design issues of Distributed Systems
Week 2: Communication in Distributed Systems
Desirable features
Message Passing
Failure Handling
RPC
Group Communication
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
Topics
Week 3: Message Passing Library (MPI)
Week 4: Synchronization in Distributed Systems
Clock sync
Mutual Exclusion
Deadlock
Election algorithm etc.
Week 5: Distributed Transaction and Concurrency Control
Week6: Faults, Distributed Consensus, Security and Parallel Computing
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
Part 2
Fundamental concepts in parallel computing hardware design andoperation.
Low level programming support for parallelism with knowledge ofparallel architectures.
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
Topics
Week7
Instruction Level Parallelism
Week8
Vector Architecture
Week9
Data Parallel Architectures and SIMD
Week10
Introduction to MIMD, Distributed Memory Architectures
Week11
Super-Scalar Processing
Week12
Class Test
Cheating
The School of Network Computing, the Faculty of InformationTechnology and Monash as a whole regard cheating as aserious offence. Where assignments or other work aresubmitted which have evidence of cheating, those concernedwill be required to attend an interview with the subjectlecturer and the course leader. On establishing that cheatinghas occurred, the matter may be referred to the FacultyDiscipline Committee for further action. Penalties that may beimposed for cheating include: the awarding of zero marks forthe piece of work and the the subsequent failing of thesubject, suspension from the university and exclusion fromthe university. Students who provide their work for others tocopy are also subject to the same penalties as those whocopy.
References and Software
Prescribed text(s) and readings as listed in the unitguide.
NB: Students who attend fewer than 80% of the lectures willneed to rely on the prescribed text and the reading list.
Virtual Machine Appliance available on the UNITWEBSITE (for home use)
Software required,
VMPlayer or VM Workstation (Windows, Linux)
VMWare Fusion (Mac) or Mac userscan simply run programsdirectly.