【ミルクカフェ掲示板TOPページ】   ■掲示板に戻る■   最後のレス   1-   最新30  

NO.10393667

基本情報技術者試験対策(午前・午後)

18 名前:資格試験受験馬鹿一台:2006/02/24 11:58
問17.

10進数0.1を2進数に基数変換し、小数点以下第5位までを近似値とする(第6位以降は切り捨て)。このとき、丸め誤差は10進数でいくつになるか。

ア 0.00234375 
イ 0.00375
ウ 0.00625
エ 0.00728345



10進数0.1を2進数に基数変換すると0.000110011…となり、小数点以下第5位までを近似値とすると0.00011となる。これを10進数に変換すると、

2~(-4)+2~(-5)=0.0625+0.03125=0.09375

となり、真値である0.1との誤差は

0.1-0.09375=0.00625

となる。
新着レスの表示
スレッドを見る(22レス)  ■掲示板に戻る■