정보 이론

20 세기, 섀넌의 포티에 소개 된 이론의 기본 개념. 정보 이론 - 전송 저장하고, 자연 기술과 사회 시스템에서 데이터를 검색하는 과정의 과학. 같은 컴퓨터 과학, 언어학, 암호화, 제어 이론, 영상 처리, 유전학, 심리학, 경제학, 생산 방법의 조직과 같은 과학 분야의 많은 애플리케이션에서이 과학을 사용합니다.

매우 밀접 코딩 이론에 연결된 정보 이론 현대 조건 양자화 공부 및 복구 신호 스펙트럼 및 특징, 신호 및 메시지 및 신호 처리의 이론과 일치하는 가장 일반적인 문제점을 설명 상관 분석 을 포함한다.

정보 이론 계정의 가치, 때로는 의미를 고려하지 않고 정량적으로 대부분의 경우 "정보"의 기본 개념을 고려합니다. 이 방법에서는, 텍스트의 페이지는 약 표지판 및 기호의 수에 의해 결정 같은 양의 데이터가 포함됩니다, 그것은 일부 기호의 무의미와 혼돈 세트 절대적 경우에도, 엄밀히 말하면,이 인쇄되어 있다는 사실에 의존하지 않습니다.

그들이 정확하게 정보를 전달해야하기 때문에이 방법은, 정당화,하지만 통신 시스템의 시뮬레이션을위한 통신 채널, 문자 및 기호의 설정 될 수있다. 그것을 고려 값과 데이터의 의미를 취할 필요가 나타나면, 정량 방법은 수용 할 수없는 것이다. 이러한 상황이 이론의 응용 가능성의 분야에 상당한 제한을 부과.

정보 이론의 기본 데이터의 전송 및 수신에 직접 관련 등 다양한 문제의 고려를 포함한다. 다음과 같이 교육에서 고려되는 주요 통신 방식이다. 정보 이론 및 코딩 그는 이러한 단어 나 알파벳의 특정 문자를 쓴 단어의 집합이다 메시지의 소스, 있다고 생각한다. 메시지의 소스는 자연거나 텍스트가 될 수 인공 언어, 인간의 언어, 데이터베이스, 일부 , 수학적 모델 문자의 시퀀스를 생성. 신호 전송을위한 중간 - 송신기는 물리적 통신 채널의 특성에 대응하는 신호로 메시지를 변환한다. 등의 통로 중에 상기 정보 변수의 값에 왜곡을 도입 간섭을 받는다. 수신기는 수신 된 신호로부터 왜곡 원본 메시지를 복구한다. 어떤 사람이나 기술적 장치 - 감소 된 형태의 메시지는 대상에 온다.

메시지 소스, 즉 일정한 확률에 의해 결정되는 각 메시지의 외관 성질 통계이다. 섀넌의 정보 이론은 메시지의 확률이 단결 동일한 경우, 즉, 자신의 외모가 상당히 불확실성이 어떤 정보를 전달하지 않는 것을 믿지하다고 생각합니다.

정보 이론의 중요한 문제 중 하나는 메시지 소스의 통신 채널과 정보 특성의 조정을 고려합니다. 대역폭은 초당 1 비트의 유닛에 의해 결정된다.

통신 시스템의 한가지 문제점은 원하는 신호 경로에 대한 간섭이다. 섀넌, 불행하게도, 그 다루는 우리에게 구체적인 방법을 제공하지 않습니다. 그것은 더 많은 시간 비용이 걸리기 때문에 여러 번 메시지를 반복 가장 쉬운 제거 방법은 매우 효과적이지 정보의 전송을. 많은 효율성은 감지 할 수 코드와 데이터 전송의 오류를 수정의 사용을 할 수 있습니다.